Az elmúlt évek egyik legerősebb, sokszor beigazolódott mintázata a nyelvi modellek fejlesztésében, hogy a nagyobb modell, több adat és több számítási kapacitás együttesen kiszámíthatóan jobb teljesítményt hoz. Ebből könnyen adódik a következtetés, hogy a jövő problémáit is egyszerűen "nagyobb modellel" lehet megoldani. A valóság ennél árnyaltabb: több, egymástól független korlát is arra mutat, hogy a puszta méretnövelés önmagában nem old meg mindent. Ez a cikk ezeket a korlátokat tekinti át.
Mit mondanak a méretezési törvények (scaling laws)?
A méretezési törvényekkel foglalkozó kutatás azt mutatta ki, hogy a modell mérete, a tanítóadat mennyisége és a felhasznált számítási kapacitás között kiszámítható, matematikai összefüggés van a modell teljesítményével (jellemzően a tanítási veszteséggel, loss-szal). A későbbi, "Chinchilla" néven ismertté vált kutatás továbbá azt is megmutatta, hogy a korábbi modellek egy része a rendelkezésre álló számítási kapacitáshoz képest alultanított volt: adott számítási költségvetés mellett a modellméret és a tanítóadat mennyisége között van egy optimális arány, és sok korai, nagy modell ennél kevesebb adaton lett tanítva, mint amennyi optimális lett volna.
Miért nem old meg minden problémát egyszerűen a méretnövelés?
A méretezési törvények csökkenő hozadékot írnak le: egy adott mértékű, további teljesítményjavuláshoz egyre nagyobb, gyakran exponenciálisan növekvő számítási ráfordítás szükséges. Ez azt jelenti, hogy egy bizonyos ponton túl a további méretnövelés egyre kisebb, egyre drágábban megvásárolt javulást hoz, ami gazdaságilag egyre kevésbé indokolt. Emellett nem minden képesség javul egyenletesen, kiszámíthatóan a mérettel: egyes feladatoknál (például pontos, többlépéses számolás vagy szigorúan következetes logikai levezetés) a nagyobb modell sem old meg megbízhatóan minden esetet, mert ezek a hibák nem elsősorban a modell méretéből, hanem a nyelvi modellek alapvető működési módjából fakadnak.
Mi az az "adatfal" (data wall) probléma?
A modellek tanításához felhasznált, jó minőségű, nyilvánosan elérhető szöveges adat mennyisége véges, és a legnagyobb modellek mára ennek egyre nagyobb hányadát használják fel. Ez felveti a kérdést, honnan származik a következő generációs modellek tanításához szükséges, további jó minőségű adat. A szintetikus, azaz maguk a nyelvi modellek által generált adat részben megoldást jelenthet, de ennek túlzott, ellenőrizetlen alkalmazása saját kockázatot hordoz: ha egy modell túlnyomórészt korábbi modellek kimenetén tanul, a hibák és torzítások felerősödhetnek, ahelyett hogy csökkennének, ezt a jelenséget a kutatás modellösszeomlásnak (model collapse) nevezi.
Hogyan nő a számítási és energiaköltség a mérettel?
A méretezési törvényekből következően egy adott, lineáris teljesítményjavuláshoz a szükséges számítási kapacitás ennél gyorsabb ütemben nő, ami közvetlenül megjelenik az infrastruktúra és az energiafelhasználás költségében is. Ez a gyakorlatban azt jelenti, hogy a legnagyobb modellek fejlesztése egyre inkább csak a legnagyobb számítási kapacitással rendelkező szereplők számára elérhető, és a méretnövelés önmagában egyre kevésbé költséghatékony út a további javuláshoz képest más megközelítésekhez viszonyítva.
Milyen problémákat nem old meg jól a puszta méretnövelés?
A hallucináció, vagyis amikor a modell magabiztosan, de tévesen állít valamit, nem szűnik meg megbízhatóan pusztán a modell méretének növelésével, mert ez a jelenség a modell alapvető működési elvéből (a legvalószínűbb következő szövegrész generálásából) fakad, nem egyszerűen a kapacitás hiányából. A modell tudása emellett a betanítás pillanatában rögzül, ezért a naprakész, a betanítás után keletkezett információt egy nagyobb, de statikus modell sem ismerheti, ehhez külső, frissülő adatforráshoz való hozzáférésre (visszakeresésre vagy eszközhasználatra) van szükség, nem pusztán több paraméterre.
Milyen alternatív irányok egészítik ki a puszta méretnövelést?
A visszakeresés-alapú kiegészítés (retrieval) és az eszközhasználat lehetővé teszi, hogy a modell külső, frissülő és pontos forrásokra támaszkodjon olyan feladatoknál, ahol a saját, statikus tudása nem elég megbízható, például pontos számoláshoz egy számológép-eszköz meghívása megbízhatóbb, mint a modell saját, belső "számolása". A tanítóadat minőségére és gondos válogatására fordított figyelem sok esetben nagyobb teljesítményjavulást hoz, mint a nyers adatmennyiség további növelése. Egyre nagyobb figyelmet kap emellett az úgynevezett kikövetkeztetési idejű (inference-time, vagy test-time) számítási kapacitás növelése is: ahelyett hogy a modellt egyszerűen nagyobbra tanítanák, a modell a válaszadás pillanatában több lépésben, explicit köztes gondolatmenettel vagy több választási lehetőség kiértékelésével jut el a válaszhoz, ami bizonyos feladatoknál hatékonyabban javítja a teljesítményt, mint a puszta paraméterszám-növelés.
| Amit a méretnövelés jól megold | Amit nem old meg megbízhatóan |
|---|---|
| Általános nyelvi folyékonyság és kontextuskezelés | Naprakész, a betanítás után keletkezett tudás |
| Széles, általános háttértudás | Pontos, megbízható, többlépéses számolás |
| Sokféle feladattípus felismerése | A hallucináció megszüntetése |
Gyakran ismételt kérdések
Mi az a méretezési törvény (scaling law) a nyelvi modelleknél?
Olyan kutatási eredmény, amely kiszámítható, matematikai összefüggést ír le a modell mérete, a tanítóadat mennyisége, a felhasznált számítási kapacitás és a modell teljesítménye között, jellemzően csökkenő hozadékkal: a további javuláshoz egyre nagyobb ráfordítás szükséges.
Mi az adatfal (data wall) probléma?
Az a helyzet, amikor a jó minőségű, nyilvánosan elérhető szöveges tanítóadat mennyisége végesnek bizonyul a legnagyobb modellek igényeihez képest, ami felveti a kérdést, honnan származik a további fejlődéshez szükséges, jó minőségű adat.
Miért nem csökken a hallucináció pusztán a modell méretének növelésével?
Mert a hallucináció a nyelvi modellek alapvető működési elvéből, a legvalószínűbb következő szövegrész generálásából fakad, nem egyszerűen a modell kapacitásának hiányából, ezért a probléma csökkentéséhez más módszerek (például visszakeresés-alapú kiegészítés vagy explicit forráshivatkozás) hatékonyabbak lehetnek, mint a puszta méretnövelés.
Mi az a kikövetkeztetési idejű (test-time) számítási kapacitás?
Olyan megközelítés, amelyben a modell a válaszadás pillanatában több lépésben, explicit köztes gondolatmenettel vagy több választási lehetőség kiértékelésével jut el a válaszhoz, ahelyett hogy pusztán a modell méretének növelésére támaszkodna, és bizonyos feladatoknál hatékonyabban javítja a teljesítményt, mint a nyers paraméterszám-növelés.
