Amint egy rendszerben egynél több AI-ügynök kezd egymással kölcsönhatásba lépni, akár együttműködve, akár közös erőforrásért versengve, a klasszikus, egyetlen ágensre optimalizált gépi tanulási keret már nem elég. Ilyenkor a játékelmélet, vagyis a stratégiai döntéshozatal matematikai elmélete ad használható fogalmi keretet, és a multi-agent kutatás jelentős része ténylegesen ebből az elméleti alapból építkezik.
Miért nem elég a hagyományos, egyágenses gépi tanulási keret?
Egy hagyományos megerősítéses tanulási (reinforcement learning) feladatban egyetlen ágens tanul egy stabil, tőle független környezetben. Amint azonban több ágens van jelen, a "környezet" saját maga is folyamatosan változik, hiszen a többi ágens is tanul és alkalmazkodik. Ez azt jelenti, hogy egy stratégia, ami tegnap optimális volt egy adott ágens számára, ma már nem feltétlenül az, mert a többi ágens időközben megváltoztatta a viselkedését. Ez az úgynevezett nem-stacionárius környezet probléma az egyik fő oka annak, hogy a multi-agent rendszerek tervezése jelentősen eltér az egyágenses esettől.
Milyen alapfogalmakat ad a játékelmélet ehhez?
A játékelmélet olyan helyzeteket ír le formálisan, ahol több szereplő döntése együttesen határozza meg mindenki kimenetelét. A Nash-egyensúly fogalma azt a stratégia-kombinációt jelöli, amelyben egyetlen szereplőnek sem érdemes egyoldalúan eltérnie a saját stratégiájától, feltéve hogy a többiek is tartják a sajátjukat, ez gyakran szolgál referenciapontként multi-agent rendszerek stabilitásának vizsgálatakor. A kooperatív és a versengő (nem kooperatív) játékok megkülönböztetése is alapvető: kooperatív helyzetben az ágensek közös célért dolgoznak, és a kihívás a koordináció, versengő helyzetben az ágensek saját érdeküket követik, és a kihívás a stabil, kihasználható rések nélküli stratégia megtalálása.
Mit mutatnak a multi-agent kutatások a gyakorlatban?
A multi-agent megerősítéses tanulás kutatása azt vizsgálja, hogyan tanulhatnak ágensek jó stratégiát olyan környezetben, ahol a többi ágens viselkedése is folyamatosan változik. Kooperatív feladatoknál (például több robot közös célra való koordinálása) a kutatás jelentős része a hiteles jutalom-szétosztás (credit assignment) problémájával foglalkozik: ha egy közös cél sikerül, nehéz megállapítani, melyik ágens döntése mennyiben járult hozzá az eredményhez. Versengő vagy kevert helyzeteknél (ahol az ágensek részben együttműködnek, részben saját érdeküket követik) a kutatás gyakran azt vizsgálja, hogyan alakulnak ki stabil, kölcsönösen kiszámítható stratégiák, és hogyan kerülhető el, hogy az ágensek egy instabil, folyamatosan egymásra reagáló "versenyfutásba" kerüljenek, ahol egyik fél sem talál stabil stratégiát.
Hogyan alkalmazható ez üzleti AI-ágensek tervezésénél?
Amikor egy vállalati rendszerben több AI-ágens dolgozik együtt (például egy ügynök adatot gyűjt, egy másik dönt, egy harmadik végrehajt), érdemes explicit módon átgondolni, hogy a helyzet kooperatív, versengő vagy kevert jellegű-e, mert ez alapvetően meghatározza a tervezési döntéseket. Tisztán kooperatív helyzetben a fókusz a koordináción és az egyértelmű felelősségmegosztáson van, hogy elkerülhető legyen az átfedő vagy egymásnak ellentmondó döntés. Ha az ágensek korlátos erőforrásért (például számítási kapacitásért vagy egy adott felhasználó figyelméért) versengenek, érdemes explicit szabályokkal vagy prioritásokkal kezelni ezt a versengést, ahelyett hogy hagynánk, hogy az ágensek kiszámíthatatlan, egymásra reagáló módon próbálják kijátszani egymást.
Milyen buktatókra érdemes figyelni?
Az egyik gyakori hiba, amikor egy multi-agent rendszert úgy terveznek meg, mintha a környezet stabil lenne, és nem veszik figyelembe, hogy a többi ágens viselkedése is változik, ami instabil, oszcilláló viselkedéshez vezethet éles használatban. A másik gyakori hiba a hiteles jutalom-szétosztás elhanyagolása kooperatív rendszereknél: ha nem világos, melyik ágens döntése járult hozzá egy adott eredményhez, nehéz megállapítani, melyik komponenst kellene finomhangolni vagy javítani, ha a rendszer teljesítménye nem megfelelő.
Gyakran ismételt kérdések
Mi a Nash-egyensúly, és miért releváns AI-ágensek tervezésénél?
A Nash-egyensúly az a stratégia-kombináció, amelyben egyetlen szereplőnek sem érdemes egyoldalúan eltérnie a saját stratégiájától, ha a többiek tartják a sajátjukat. Multi-agent rendszereknél ez gyakran referenciapontként szolgál annak vizsgálatához, hogy a rendszer eljut-e egy stabil, kiszámítható működési állapotba, vagy instabil marad.
Miért nehezebb több AI-ágenst együtt tanítani, mint egyet?
Mert minden ágens szempontjából a "környezet" részét képezik a többi, szintén tanuló ágensek is, így a környezet folyamatosan változik (nem-stacionárius), ami megnehezíti a stabil, jól teljesítő stratégia megtanulását bármelyik ágens számára.
Mi a különbség a kooperatív és a versengő multi-agent helyzet között?
Kooperatív helyzetben az ágensek közös célért dolgoznak, és a fő kihívás a koordináció és a hiteles jutalom-szétosztás. Versengő helyzetben az ágensek saját érdeküket követik, és a kihívás egy stabil, kölcsönösen kiszámítható stratégia elérése, kihasználható rések nélkül.
Hogyan kerülhető el, hogy több AI-ágens egymást "kijátssza" egy vállalati rendszerben?
Explicit szabályok, prioritások és felelősségi körök meghatározásával azokban a helyzetekben, ahol az ágensek korlátos erőforrásért versengenek, ahelyett hogy hagynánk, hogy a viselkedésük kiszámíthatatlan, egymásra reagáló módon alakuljon ki.
