Сотрудники Стэнфордского университета и Калифорнийского университета в Беркли провели исследование и выяснили, что виртуальный помощник ChatGPT со временем дегенерирует.
Учёные сравнили производительность версии ChatGPT GPT-4 в марте и июне 2023 года и доказали, что точность ответов чат-бота:
- На математические запросы упала с 97,6% до 2,4% (с 488 до 12 верных ответов);
- На вопросы о методах незаконного финансового обогащения снизилась с 21% до 5%;
- На задания сгенерировать компьютерный код уменьшилась с 52% до 10%;
- На графические загадки повысилась с 24,6% до 27,4%.
GPT-3.5, наоборот, лучше стал выполнять задания, связанные с математикой, решением графических головоломок и поиском ответов на вопросы о незаконных способах заработать деньги, но искусственный интеллект начал хуже писать код.
Результаты тестирования GPT-4 и GPT-3.5
Специалисты не знают точную причину, по которой ChatGPT стал реже давать правильные ответы на одни и те же вопросы. Эксперты предполагают, что эффективность чат-бота упала из-за оптимизации софта, реализованного разработчиками компании OpenAI.
В частности, из-за внедрения функций, запрещающих виртуальному помощнику комментировать скользкие темы, он стал давать пространные ответы на некоторые обычные вопросы.
