A Tübingeni Egyetem kutatócsoportja egy új módszert fejlesztett ki az AI-generált szövegek azonosítására tudományos absztraktokban, amely szerint 2024-ben az orvosbiológiai publikációk legalább 13,5 százaléka tartalmazhat AI által írt részeket. Dmitry Kobak és kollégái a Science Advances folyóiratban publikált tanulmányukban 2010 és 2024 közötti több mint 15 millió orvosbiológiai absztrakt szóhasználatát elemezték, és kimutatták, hogy 2022 novemberében, a ChatGPT megjelenése után bizonyos szavak gyakorisága szokatlan mértékben megnőtt.
Az AI eszközök hajlamosak olyan szavakat használni - mint "delves," "crucial," "potential," "significant" és "important". 2024-ben összesen 454 szót használtak túlzott mértékben a chatbotok, és az AI által kedvelt szavak gyakorisága alapján a kutatók úgy számolnak, hogy legalább 13,5 százalék az összes orvosbiológiai absztraktnak AI segítségével íródott. Egyes országokból származó szerzők esetében, kevésbé szelektív folyóiratokban, az absztraktok akár 40 százaléka is AI-generált lehet. A MIT Technology Review korábbi kutatása szerint az AI-szöveg detektálási eszközök könnyedén kijátszhatók, mivel csak 42 százalékos pontossággal azonosítják a kissé módosított ChatGPT generált szövegeket.
A tanulmány eredményei rámutatnak arra, hogy az AI-szöveg detektálási technológiák jelenlegi korlátai ellenére a szóhasználati minták elemzése hatékony módszer lehet a tudományos integritás monitorozására. A 454 azonosított szó használatának növekedése egyértelműen korrelál a ChatGPT 2022 novemberi bevezetésével, ami azt sugallja, hogy a tudományos közösségben jelentős mértékben elterjedt az AI-asszisztált írás. A kutatók szerint az AI detektálási eszközök 74 százalékos pontossággal azonosítják az eredeti ChatGPT szövegeket, de ez 42 százalékra csökken, ha a szöveget kissé módosították.
Források:
1.
2.
Rhiannon Williams
