A RAG (retrieval-augmented generation, azaz visszakeresés-alapú generálás) és a mögötte álló vector adatbázis az elmúlt két évben szinte alapértelmezett válasszá vált, amikor egy nyelvi modellt saját, vállalati tudással kell összekötni. A gyakorlatban azonban a projektek jelentős részénél egyszerűbb, olcsóbb megoldás is ugyanolyan jól, vagy jobban működne. Ez a cikk azt mutatja be, mikor old meg a RAG valódi problémát, és mikor csak felesleges architekturális réteg.
Mi az a RAG, és milyen problémát old meg?
Egy nyelvi modell tudása a betanítás idején rögzül, és nem ismeri sem a betanítás után keletkezett, sem a nyilvánosan nem elérhető, vállalati információt. A RAG erre ad választ: a modell válaszadás előtt egy külső tudásbázisból visszakeresi a kérdés szempontjából releváns dokumentumrészleteket, és ezeket a válasz generálásakor kontextusként felhasználja. Ez csökkenti a modell "kitalálási" hajlamát (hallucinációt) olyan tényszerű kérdéseknél, ahol a válasznak egy konkrét, azonosítható forráson kellene alapulnia.
Milyen szerepe van a vector adatbázisnak ebben?
A visszakeresés lényege, hogy a rendszer ne csak kulcsszó-egyezés alapján, hanem jelentés (szemantika) alapján találja meg a releváns dokumentumrészleteket. Ehhez a dokumentumokat és a bejövő kérdést is egy numerikus vektorreprezentációvá (embedding) alakítják, majd a vector adatbázis feladata, hogy a kérdés vektorához leginkább hasonló dokumentumvektorokat gyorsan megtalálja, nagy dokumentummennyiség mellett is, közelítő legközelebbi szomszéd (approximate nearest neighbor) keresési algoritmusokkal.
Milyen esetekben tényleg indokolt a RAG bevezetése?
A RAG akkor ad valódi értéket, ha a tudásbázis nagy, gyakran változó, és a válasz forrásának visszakövethetősége (melyik dokumentumból származik az állítás) üzleti vagy megfelelőségi szempontból fontos. Szintén erős érv mellette, ha a domain-specifikus tudás túl nagy ahhoz, hogy egyszerűen a modell kontextusablakába (promptba) beírható legyen, vagy ha a tudásbázis olyan gyakran frissül, hogy egy finomhangolt (fine-tuned) modell rendszeres újratanítása nem lenne praktikus vagy költséghatékony.
Mikor van rá kevésbé, vagy egyáltalán nincs szükség?
Ha a releváns tudásbázis kicsi és stabil, sok esetben egyszerűbb és megbízhatóbb megoldás, ha egyszerűen belefér a modell kontextusablakába, és minden kérdésnél a teljes releváns anyagot megkapja a modell, visszakeresési lépés nélkül. A ma elérhető, hosszú kontextusablakkal rendelkező modellek ezt egyre nagyobb dokumentumhalmaznál is lehetővé teszik, és ez a megközelítés kiküszöböli a visszakeresés pontatlanságából eredő hibákat. Ha a felhasználói igény valójában strukturált, pontos lekérdezés (például "mennyi volt a tavalyi árbevétel március hónapban"), egy hagyományos adatbázis-lekérdezés gyorsabb, pontosabb és olcsóbb megoldás, mint egy szemantikus keresésre épülő RAG-réteg. Sok esetben egy jól megírt, hagyományos kulcsszavas keresés is elegendő, ha a felhasználói kérdések jellemzően konkrét kifejezésekre irányulnak, nem elvont, jelentésbeli hasonlóságra.
Milyen buktatói vannak egy RAG-rendszernek, amiket kevesebbet emlegetnek?
A dokumentumok feldarabolása (chunking) erősen befolyásolja a visszakeresés minőségét: ha a darabolás túl apró, elveszik a kontextus, ha túl nagy, irreleváns információ is bekerül a modellhez, és mindkettő ronthatja a válasz minőségét. A szemantikus hasonlóság emellett nem egyenlő a tényleges relevanciával: egy vektortérben "közeli" dokumentumrészlet nem biztos, hogy ténylegesen releváns választ ad a kérdésre, ez a rendszer minőségét nehezen észrevehető módon ronthatja. A visszakeresési lépés önmagában is növeli a válaszidőt, és a tudásbázis frissítésekor az embeddingeket is újra kell számolni, ami önmagában is egy karbantartandó, hibalehetőségeket hordozó pipeline. Végül a RAG-rendszer minőségének mérése is nehezebb, mint egy egyszerű keresésé: nem elég azt mérni, hogy a modell "jól hangzó" választ ad, azt is mérni kell, hogy a válasz ténylegesen a visszakeresett, helyes forráson alapul-e.
| Megközelítés | Mikor jó választás | Korlátja |
|---|---|---|
| Teljes anyag a kontextusban | Kicsi, stabil tudásbázis | Nem skálázódik nagy dokumentummennyiségnél |
| Hagyományos (kulcsszavas) keresés | Konkrét kifejezésekre irányuló kérdések | Gyenge, ha a kérdés jelentésbeli hasonlóságra épül |
| RAG, vector adatbázissal | Nagy, gyakran változó, forráshivatkozást igénylő tudásbázis | Chunking- és relevanciaproblémák, karbantartási teher |
| Finomhangolt (fine-tuned) modell | Stabil, ritkán változó, mélyen beépítendő domain-tudás | Költséges és lassú frissíteni gyakran változó tudásnál |
Gyakran ismételt kérdések
Mindig szükség van RAG-ra, ha egy nyelvi modellt vállalati tudással kötünk össze?
Nem. Ha a tudásbázis kicsi és stabil, gyakran egyszerűbb és megbízhatóbb, ha a teljes releváns anyagot közvetlenül a modell kontextusába helyezzük, visszakeresési lépés nélkül. A RAG elsősorban nagy, gyakran változó tudásbázisnál ad valódi értéket.
Mi a különbség a RAG és a modell finomhangolása (fine-tuning) között?
A RAG a modell tudását válaszadáskor, külső visszakereséssel egészíti ki, a modell alapmodellje nem változik. A finomhangolás magába a modellbe építi be az új tudást, a modell paramétereinek módosításával. A RAG rugalmasabb gyakran változó tudásnál, a finomhangolás stabilabb, mélyen beépítendő, ritkán változó tudásnál előnyösebb.
Miért nem garantálja a szemantikus keresés, hogy a visszakeresett dokumentum releváns?
Mert a vector alapú hasonlóság a szöveg jelentésbeli közelségét méri, ami nem mindig esik egybe azzal, hogy a dokumentum ténylegesen választ ad a feltett kérdésre. Emiatt egy RAG-rendszer minőségének méréséhez nem elég a válasz "jól hangzását" nézni, azt is ellenőrizni kell, hogy a válasz ténylegesen a helyes forráson alapul-e.
Kiváltja-e a hosszú kontextusablakú nyelvi modell a RAG szükségességét?
Kisebb, stabil tudásbázisnál egyre inkább igen, mert a teljes releváns anyag közvetlenül a promptba helyezhető, visszakeresési hiba lehetősége nélkül. Nagyon nagy, folyamatosan bővülő tudásbázisnál viszont a hosszú kontextusablak önmagában sem old meg mindent, ott a RAG továbbra is indokolt lehet.
