Az első átfogó jogi mesterséges intelligencia teljesítménymérési tanulmány, amelyet a Vals AI tett közzé 2025. február 27-én, jelentős különbségeket tárt fel a vezető jogi AI eszközök között, ahol a Harvey és a Thomson Reuters CoCounsel kiemelkedő eredményeket ért el hét kritikus jogi feladatkörben. A tanulmány négy AI eszközt – Harvey, CoCounsel, Vincent AI (vLex) és Oliver (Vecflow) – hasonlított össze ügyvédi kontrollcsoporttal, miközben a LexisNexis visszalépett a közzététel előtt.
A Vals AI tanulmány részletesen értékelte a jogi AI eszközök teljesítményét különböző feladatkörökben. (Megjegyzendő, hogy nem minden AI eszköz vett részt az összes tesztben; például a Harvey Assistant hat feladatban szerepelt, míg a CoCounsel négy feladatban vett részt.) A Harvey Assistant nevű eszköz volt a legsikeresebb: a tesztelt feladatkörökből ötben ez teljesített a legjobban. Különösen kiemelkedett két területen - amikor dokumentumokkal kapcsolatos kérdésekre kellett válaszolni (94,8%-os pontosság) és amikor időrendi sorrendbe kellett rendezni jogi eseményeket (80,2%-os pontosság). A második legeredményesebb eszköz a Thomson Reuters CoCounsel volt, amely négy feladatkörben vett részt, és ezekben átlagosan 79,5%-os pontossággal teljesített. A CoCounsel is különösen jól szerepelt a dokumentumokkal kapcsolatos kérdések megválaszolásában (89,6%-os pontosság) és a dokumentumok összefoglalásában (77,2%-os pontosság). Az AI eszközök és az ügyvédek közötti sebességbeli különbség figyelemreméltó volt - a jelentés szerint a leggyorsabb AI akár 80-szor gyorsabban adott választ, mint az ügyvédek, míg a leglassabb AI is hatszor gyorsabban működött. Az ügyvédek csak két specifikus területen teljesítettek jobban az AI eszközöknél: az EDGAR adatbázisban való kutatás során (70,1%-os pontossággal) és a szerződések korrektúrázásakor (79,7%-os pontossággal).
A Vals Legal AI Report jelentőségét tovább növeli, hogy tíz vezető amerikai és brit ügyvédi iroda bevonásával készült, valós jogi kérdéseket és feladatokat használva a teszteléshez. Ez a mérföldkő-jelentés objektív és átlátható keretet biztosít a jogi szakemberek számára a jogi AI eszközök értékeléséhez, hiszen a tesztek egyértelműen bizonyították, hogy bizonyos feladatokban – különösen a dokumentum-elemzés, információkeresés és adatkinyerés területén – az AI eszközök már felülmúlják az emberi teljesítményt, miközben jelentősen gyorsabb válaszidőt kínálnak.
Források:
1.
artificiallawyer
2.
Bob Ambrogi
