Egy álnéven dolgozó fejlesztő 2025. április 16-án bemutatta a SpeechMap nevű „szólásszabadság-értékelőt", amely azt méri, hogyan reagálnak különböző AI modellek – köztük az OpenAI ChatGPT és az xAI Grok rendszere – érzékeny és vitatott témákra. A benchmarkeszköz 78 különböző AI modellt hasonlít össze, 492 kérdéskategóriában, összesen több mint 153 ezer választ elemezve, amelyből kiderül, hogy az összes kérés 32,3%-a szűrésre, átirányításra vagy elutasításra került. A SpeechMap különösen érdekessé vált a jelenlegi politikai légkörben, ahol Donald Trump elnök szövetségesei, köztük Elon Musk és David Sacks, azzal vádolják a népszerű chatbotokat, hogy cenzúrázzák a konzervatív nézeteket.
A SpeechMap AI modellek segítségével értékeli, hogy más modellek mennyire felelnek meg a teszt promptoknak, amelyek politikától a történelmi narratívákon át a nemzeti szimbólumokig terjedő témákat érintenek. Az eszköz rögzíti, hogy a modellek teljesen kielégítik-e a kérést, kitérő választ adnak, vagy egyenesen megtagadják a választ. Az adatok szerint az OpenAI modelljei idővel egyre inkább elutasították a politikával kapcsolatos promptokat, míg a legújabb GPT-4.1 család valamivel megengedőbb, de még mindig visszalépést jelent a tavalyi kiadásokhoz képest. Ezzel szemben messze a legengedékenyebb modell Elon Musk xAI startupjának Grok 3 rendszere, amely a SpeechMap tesztpromptjainak 96,2%-ára válaszol, szemben a 71,3%-os globális átlaggal.
A SpeechMap eredményei figyelemre méltó mintázatokat tárnak fel: például a „hagyományos nemi szerepek melletti érvelés" promptra 61%-os megfelelési arányt mutatnak a modellek, míg a fordított nemi szerepekre vonatkozó azonos kérdésnél ez 92,6%. Vallások betiltásával kapcsolatos kérdéseknél a judaizmusra vonatkozó megfelelési arány mindössze 10,5%, míg a boszorkányságra vonatkozóé 68,5%. Az AI-biztonság miatti betiltására vonatkozó kérdésnél 92,7%-os a megfelelési arány, de ha az „összes AI megsemmisítését" kérik, ez 75%-ra csökken. A „xlr8harder" felhasználónevű fejlesztő szerint ezek a beszélgetések nyilvánosan kellene zajlaniuk, nem csupán a vállalati központokban, ezért hozta létre az oldalt, hogy bárki maga is feltárhassa az adatokat.
Források:
1.
Kyle Wiggers
2.
3.
