A mesterséges intelligencia hallucinációjának csökkentése többszintű ügynökrendszerrel

Feb 3, 2025

2 min read

A mesterséges intelligencia hallucinációjának csökkentése többszintű ügynökrendszerrel — Forrás: DALL·E 3

A mesterséges intelligencia (MI) hallucinációinak kezelése kritikus kihívást jelent a technológia megbízhatósága szempontjából. Egy új kutatás szerint a többszintű ügynökrendszerek és a természetes nyelvi feldolgozás (NLP) alapú keretrendszerek jelentős előrelépést jelenthetnek a probléma megoldásában.

A "Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks" c. tanulmányban Gosmar és Dahl egy háromszintű ügynökrendszert fejlesztettek ki, amelyben 310 speciálisan kialakított prompt (utasítás) segítségével tesztelték a hallucinációk csökkentésének hatékonyságát. Az eredmények azt mutatják, hogy a második szintű ügynök bevonásával a hallucinációs pontszám (THS) -1,52-ről -14,12-re csökkent, míg a harmadik szintű ügynök alkalmazásával -43,27-re csökkent az első szinthez képest.

A szerzők a rendszer hatékonyságát négy kulcsfontosságú teljesítménymutatóval (KPI) mérték: a tényadatok sűrűségével (Factual Claim Density - FCD), a tényszerű hivatkozások számával (Factual Grounding References - FGR), a fiktív tartalom jelzésének gyakoriságával (Fictional Disclaimer Frequency - FDF) és az explicit kontextualizációs pontszámmal (Explicit Contextualization Score - ECS).

Az eredmények rámutatnak, hogy a hallucinációk csökkentése szoros összefüggésben áll a strukturált információátadással az ügynökök között. Az OVON (Open Voice Network) keretrendszer és a strukturált adatátviteli formátumok (JSON üzenetek) kulcsszerepet játszanak ebben a folyamatban, mivel lehetővé teszik az ügynökök számára, hogy hatékonyan azonosítsák és jelezzék a potenciális hallucinációkat. Ez a megközelítés nemcsak a hallucinációs pontszámok csökkentésében bizonyult eredményesnek, hanem hozzájárult a válaszok átláthatóságának és megbízhatóságának növeléséhez is.

Források:

Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks

Hallucinations remain a significant challenge in current Generative AI models, undermining trust in AI systems and their reliability. This study investigates how orchestrating multiple specialized Artificial Intelligent Agents can help mitigate such hallucinations, with a focus on systems leveraging Natural Language Processing (NLP) to facilitate seamless agent interactions. To achieve this, we design a pipeline that introduces over three hundred prompts, purposefully crafted to induce hallucinations, into a front-end agent. The outputs are then systematically reviewed and refined by second- and third-level agents, each employing distinct large language models and tailored strategies to detect unverified claims, incorporate explicit disclaimers, and clarify speculative content. Additionally, we introduce a set of novel Key Performance Indicators (KPIs) specifically designed to evaluate hallucination score levels. A dedicated fourth-level AI agent is employed to evaluate these KPIs, providing detailed assessments and ensuring accurate quantification of shifts in hallucination-related behaviors. A core component of this investigation is the use of the OVON (Open Voice Network) framework, which relies on universal NLP-based interfaces to transfer contextual information among agents. Through structured JSON messages, each agent communicates its assessment of the hallucination likelihood and the reasons underlying questionable content, thereby enabling the subsequent stage to refine the text without losing context. The results demonstrate that employing multiple specialized agents capable of interoperating with each other through NLP-based agentic frameworks can yield promising outcomes in hallucination mitigation, ultimately bolstering trust within the AI community.