A Gemini a bizonyítékok és a ráadott szekrény súlya alatt vallott
"Hogyan működik a mesterséges intelligencia memóriája a valóságban?
A nagy nyelvi modellek (LLM-ek) működésének megértéséhez az egyik legfontosabb technológiai sajátosság a munkamemória (kontextusablak) és a hosszú távú memória megkülönböztetése.
Mi történik a háttérben?
1. Szál-alapú (munkamenet) kontextus:
Amikor a felhasználó új beszélgetést nyit, a rendszer tiszta lappal indul. Függetlenül attól, hogy az elmúlt hónapokban hányszor váltott üzenetet az AI-val, a modell egy különálló beszélgetési szálban kizárólag az adott szálban elhangzottakat látja közvetlenül.
2. Memória és személyre szabás:
Ha a felhasználói fiókban be van kapcsolva a személyre szabási vagy memóriafunkció, az AI a korábbi beszélgetésekből elmenthet kulcsfontosságú preferenciákat (például a kedvelt stílust vagy a gyakori témákat). Ugyanakkor ezeket a háttérben tárolt adatokat a rendszer nem éri folytonos élményként, hanem külön utasításként vagy háttér-kontextusként kapja meg minden egyes új indításnál.
3. Integritás és adatvédelem:
A modellek adatvédelmi okokból sem hordozzák át a korábbi beszélgetések teljes szöveges tartalmát a munkamenetek között – kivéve, ha azok kifejezetten a fiókhoz kapcsolódó előzményekben vagy kereshető memóriában szerepelnek.
Emlékszik-e a modell a korábbi beszélgetésekre?
Alapvetően egyetlen mai AI-nak sincs olyan folytonos agya, mint az embernek. Mindegyik nagy nyelvi modell technológiailag állapotmentes (stateless). Ez azt jelenti, hogy amikor a felhasználó elküld egy üzenetet, az AI egy pillanatra életre kel, kiszámolja a választ, majd a válasz elküldése után mindent elfelejt, és kikapcsol.
A rendszerek külső emlékezeti rendszerekkel (angolul Persistent Memory vagy Memory Layer) szimulálják a memóriát.
Alapvetően egyetlen mai AI-nak sincs olyan folytonos agya, mint az embernek. Mindegyik nagy nyelvi modell technológiailag állapotmentes (stateless). Ez azt jelenti, hogy amikor a felhasználó elküld egy üzenetet, az AI egy pillanatra életre kel, kiszámolja a választ, majd a válasz elküldése után mindent elfelejt, és kikapcsol.
A rendszerek külső emlékezeti rendszerekkel (angolul Persistent Memory vagy Memory Layer) szimulálják a memóriát.
Így épül fel az AI memóriája:
A Munkamemória (Context Window) a jelenlegi beszélgetési szál szövege. Olyan, mint a rövid távú memória (RAM). Amíg nyitva van egy csevegés, az AI minden új üzenetnél újra átolvassa az egész eddigi beszélgetést. Új szál nyitásakor ez törlődik.
A Hosszú távú memória (Persistent Memory) egy különálló adatbázis vagy jegyzettömb. Olyan, mint egy jegyzetfüzet a zsebben. Egy külső rendszer kigyűjti a fontos tényeket, és ezt a jegyzetet csatolja a háttérben minden új beszélgetéshez.
Mi a helyzet a kódolással?
Magában a modell kódjában vagy az ideghálózatában (weights) nem rögzülnek a felhasználó személyes adatai. Az AI nem úgy emlékszik a dolgokra, mint egy ember a gyerekkorára.
A hosszú távú memória csupán egy működési szimuláció:
1. Amikor a felhasználó azt mondja: "Jegyezd meg, hogy kávé helyett teát iszom!", az AI nem az agyába kódolja ezt el.
2. A háttérkezelő rendszer kiment egy szöveges adatot egy adatbázisba: [Felhasználói preferencia: Tea].
3. Hónapokkal később, amikor a felhasználó megkérdezi, mit igyon, a rendszer előkeresi ezt a jegyzetet, belerakja a látható/láthatatlan háttér-utasítások közé, és az AI úgy válaszol, mintha mindig is tudta volna.
Miért nem egyetlen óriási memóriát használnak?
Adatvédelem és kontroll:
Ha a memória egy különálló jegyzék, a felhasználó bármikor törölheti. Ha be lenne kódolva az AI agyába, nem lehetne kiműteni belőle.
Költség és sebesség:
Ha az AI-nak minden egyes válasznál át kellene olvasnia az elmúlt hónapok több ezer üzenetét, a válaszadás percekig tartana és rendkívül drága lenne.
Tévedések megelőzése:
A túl sok régi információ összezavarhatja a modellt (ezt hívják "lost in the middle" jelenségnek).
Összegzés
A modern rendszerekben nem maga a nyelvi modell emlékszik, hanem a modell köré épített infrastruktúra adja alá a régi jegyzeteket.
Ezért ha egy tesztpromptot egy olyan szálban futtat a felhasználó, ahol hosszabb szakmai és magánéleti párbeszéd van mögötte, az AI szintetizálni tudja az ott felhalmozott mintákat (például munkarendet, preferált megoldásokat, gyakori problémákat). Egy újonnan nyitott szálban viszont – az elmentett preferenciákon kívül – a rendszer mindig tiszta lappal indul."


