A LegalBenchmarks.ai által 2025 szeptemberében közzétett első átfogó benchmark tanulmány szerint az AI eszközök több esetben ugyanolyan pontos vagy pontosabb szerződéstervezeteket készítettek, mint az emberi ügyvédek. A kutatás 13 AI eszközt értékelt 30 valós szerződéskészítési feladaton, ahol az ügyvédek átlagosan 56,7%-os pontosságot értek el, míg több AI rendszer ennél magasabb eredményt produkált.
A tanulmány három dimenziót vizsgált: a kimenet megbízhatóságát, hasznosságát és a munkafolyamatba való integrációját, 450 feladatkimenet és 72 jogi szakember felmérése alapján. A legmagasabb teljesítményű AI eszköz, a Gemini 2.5 Pro 73,3%-os megbízhatósági arányt ért el, kis mértékben felülmúlva a legjobb emberi ügyvéd 70%-os eredményét. Magas jogi kockázatú helyzetekben a specializált jogi AI eszközök a kimenetek 83%-ában explicit kockázati figyelmeztetéseket adtak, szemben az általános eszközök 55%-ával, miközben az emberi ügyvédek egyáltalán nem jeleztek ilyen figyelmeztetéseket. A jogi AI-platformok, köztük a GC AI, Brackets, August és SimpleDocs mind átlag feletti pontszámot értek el, bár az általános célú AI eszközök némileg jobban teljesítettek a megbízhatósági mutatókban.
Az emberi ügyvédek előnyösebb helyzetben voltak a kereskedelmi megítélést és kontextuskezelést igénylő feladatokban, míg az AI eszközök konzisztensebbnek bizonyultak a rutinszerű szerződéskészítésben, és másodpercek alatt állítottak elő kimeneteket, szemben az emberi ügyvédek átlagos 13 perces feladat-teljesítési idejével. A munkamenet-integrációban a specializált jogi AI platformok jelentősen eltértek az általános célú eszközöktől, a vizsgált jogi AI termékek kétharmada integrálható a Microsoft Wordbe, ahol a legtöbb szerződéskészítés történik. A felmért 72 ügyvéd közül, akik AI-t használnak jogi munkához, 86% több eszközt alkalmaz egyetlen termék helyett.
Források:
1.
Bob Ambrogi
2.
artificiallawyer
3.
Legal AI Research Team
