A Szegedi Tudományegyetem kutatói, Szécsényi Tibor és Virág Nándor a huBERT nyelvi modell kontextusfüggőségét vizsgálták pragmatikai annotáció során, különös tekintettel a felszólító alakok funkcióinak automatikus azonosítására. A MedCollect egészségügyi álhírkorpuszon végzett kutatás azt elemzi, hogyan befolyásolja a rendelkezésre álló kontextus mérete és pozíciója a modell annotációs pontosságát.
A vizsgálat során négy különböző tokenhosszúságú (64, 128, 256 és 512) szekvenciával tesztelték a modellt, és azt találták, hogy a kontextus növelésével javult az annotáció megbízhatósága, bár a javulás mértéke korlátozott volt - az F1 érték mindössze 0,80-ról 0,83-ra emelkedett. A kutatás egyik fontos megállapítása, hogy a modell nem egyenletesen használja fel a szövegkörnyezetet: a szavak előtti, bal oldali szövegrészre (25-30 szónyi terjedelemben) erősebben támaszkodik, mint a szavak utáni, jobb oldali részre (15-20 szónyi terjedelemben). A modell különösen hatékonyan azonosította a leggyakrabban előforduló kategóriákat: a nem felszólító funkcióban használt kötőmódú igealakokat (például: "Belefáradtam, hogy állandóan maszkot viseljek") és a közvetlen felszólításokat (például: "Mindenki viseljen maszkot!") 0,9-es pontossággal ismerte fel.
A kutatás legfontosabb következtetése, hogy bár a huBERT modell figyelembe veszi a kontextust a pragmatikai annotáció során, a figyelembe vett kontextus jelentősen kisebb, mint amit a humán annotátorok használnak. "A pragmatikai annotáció kontextusfüggősége nagy nyelvi modell esetében: Felszólító alakok funkcióinak annotálása huBert modellel" című tanulmány azt is kimutatta, hogy a modell teljesítménye (F1 = 0,83) összehasonlítható a humán annotátorok eredményével (F1 = 0,830), ami azt jelzi, hogy az automatikus annotáció hatékonyan alkalmazható a gyakorlatban, különösen a gyakori nyelvi funkciók azonosításában.
Források:
1.
