Az OpenAI szeptember 5-én publikált tanulmánya rámutat, hogy a nagy nyelvi modellek hallucináció problémája a jelenlegi értékelési módszerekből ered, amelyek a találgatást jutalmazzák a bizonytalanság kifejezése helyett. A kutatás statisztikai elemzéssel bizonyítja, hogy a hallucináció nem rejtélyes hiba, hanem a képzési folyamat természetes következménye. A tanulmány szerint a GPT-5 jelentősen kevesebb hallucinációt produkál az érvelési feladatok során, de a probléma minden nagy nyelvi modellnél fennmarad, amíg az értékelési rendszerek változatlanok maradnak.
A kutatók konkrét példákkal támasztották alá elméletüket: amikor Adam Tauman Kalai (a tanulmány társszerzője) doktori disszertációjának címéről kérdeztek egy chatbotot, az három különböző helytelen választ adott magabiztosan. A SimpleQA értékelés eredményei szerint a GPT-5-thinking-mini modell 52%-os tartózkodási aránya mellett 26%-os hibaarányt ért el, míg az OpenAI o4-mini modell 1%-os tartózkodással 75%-os hibaarányt produkált. Ez demonstrálja, hogy a stratégiai találgatás javítja a pontosságot, de drasztikusan növeli a hallucináció gyakoriságát. A kutatás azt is kimutatta, hogy a jelenlegi értékelési benchmarkok túlnyomó többsége bináris pontozást alkalmaz, amely automatikusan bünteti a "nem tudom" típusú válaszokat.
A tanulmány kulcsfontosságú megállapítása, hogy a hallucináció nem kiküszöbölhető pusztán a pontosság javításával, mivel egyes valós kérdések eredendően megválaszolhatatlanok. Az OpenAI javaslata szerint az értékelési rendszereket át kell alakítani úgy, hogy jutalmazzák a megfelelő bizonytalansági kifejezéseket. A kutatók szerint ez a változás a terület irányát a megbízhatóbb AI rendszerek felé terelhetné, ahol a modellek beismerik tudásuk korlátait ahelyett, hogy hamis információt gyártsanak.
Források:
1.
2.
3.
Victor Tangermann
