A nagyméretű nyelvi modellek fejlesztése felgyorsult az elmúlt hónapokban. A HUN-REN Nyelvtudományi Kutatóközpont most bemutatta a PULI LlumiX modellt, amely egy magyar nyelvre optimalizált, folytatólagosan előtanított és utasításkövetésre finomhangolt rendszer. A modell részletes bemutatását a "PULI LlumiX modell: Egy folytatólagosan előtanított nagy nyelvi modell" című tanulmány tartalmazza (Yang et al., 2025), amely ismerteti az alkalmazott előtanítási és finomhangolási eljárásokat, valamint a modell teljesítményének értékelését különböző benchmarkokon.
A PULI LlumiX a Llama-2 architektúrára épül, és finomhangolásához 66 000 angol és 15 000 magyar promptot használtak. Az így kialakított rendszer kimagasló eredményeket ért el a magyar nyelvre szabott teszteken: a HuCOLA teszten 66,98%-os, a HuSST teszten 70,06%-os, a HuRTE teszten pedig 74,54%-os pontosságot mutatott felülmúlva a korábbi magyar nyelvű modelleket, mint a PULI Trio vagy a HILANCO-GPTX. A PULI LlumiX ezeken a teszteken úgy ért el kimagasló eredményeket, hogy nem kapott előzetes tanítást ezekre a konkrét feladatokra. Ez azt jelenti, hogy a modell a már meglévő nyelvi tudására és általános képességeire támaszkodva oldotta meg a teszteket, anélkül, hogy korábban példákat látott volna belőlük. A kutatás során külön figyelmet fordítottak a hosszú szövegkörnyezetben való teljesítményre, amelyet egy „Tű a szénakazalban” típusú teszt segítségével is vizsgáltak, demonstrálva, hogy a modell képes nagy mennyiségű szövegből hatékonyan visszakeresni a releváns információkat.
A kvantitatív eredmények mellett kvalitatív elemzések is igazolták a modell fejlett képességeit. Részletes vizsgálatok alapján a PULI LlumiX nemcsak a magyar nyelvű utasításokat követi pontosan, hanem képes különböző nyelvi regiszterekhez alkalmazkodni, megfelelően kezeli a társadalmi kontextusokat. Az elemzések alátámasztják, hogy a transzfertanulás révén a modell jelentős tudást képes átvenni más nyelvekből is, javítva a magyar nyelvű teljesítményét. A PULI LlumiX így nem csupán egy újabb nyelvmodell, hanem mérföldkő lehet a magyar nyelvtechnológia fejlődésében.
Forrás:
1.
