A stanfordi tudósok úgy találják, hogy a GPT-4 idővel egyre hülyébb lesz

Új tanulmány A Stanford Egyetem tudósai megerősítették, amiről a netezők hetek óta panaszkodnak: a ChatGPT Plus, amely a GPT-4 valóban hülyébb lett – ellentétben a GPT-3.5-tel, amely a chatbot ingyenes verzióját futtatja.

A szerzők tanulmányukban a GPT-4 és GPT-3.5 alapján hasonlították össze a chatbot különböző kéréseire adott válaszokat. Ők azt találta, hogy a chatbot viselkedése és egyes kérésekre adott válaszok pontossága az új verzióban jelentősen rosszabbodott.

A szerzők összehasonlították a márciusban és januárban kiadott GPT-4 és GPT-3.5 nyelvi modelleket. Azt találták, hogy ezalatt a GPT-4 pontossága észrevehetően csökkent, míg a GPT-3.5-é éppen ellenkezőleg, nőtt.

Például annak a kérdésnek a pontossága, hogy az 17077 prímszám-e, 95,2%-kal csökkent, míg a GPT-3,5 ezzel szemben 7,4%-ról 86,8%-ra nőtt. Emellett mindkét modell jelenlegi verziójában csökkent a neurális hálózat által írt kód sikeres végrehajtásának esélye.

Korábban az OpenAI alelnöke, Peter Welinder már megtette válaszolta a ChatGPT Plus felhasználók vádjaira:

A tweetre adott válaszok egyikében Welinder kérdezte bizonyítékkal szolgáljon arról, hogy a chatbot rosszabbodott. A stanfordi tudósok tanulmánya 5 nappal ezután jelent meg – és még nem érkezett válasz az OpenAI-tól.

Nem ez az első eset, hogy a GPT-4-et hamis információszolgáltatással vádolják. Márciusban a NewsGuard elemzői felfedeztékhogy a GPT-4-re épülő ChatGPT könnyebben hazudik – miközben maga az OpenAI a válaszok pontosságának 40%-os növekedését állítja a GPT-3.5-höz képest. BAN BEN különösen a NewsGuard tesztekben a neurális hálózat új verziója kisebb valószínűséggel cáfolt hamis információkat – beleértve a modern eseményekről és elméletekről szóló hamis adatokat is. összeesküvések.