Компания Meta удалила публичную версию ИИ-алгоритма Galactica после того, как ученые уличили его в генерировании фальшивой и вводящей в заблуждение информации. Об этом пишет Motherboard.
Техгигант описывал систему как языковую модель, которая может «хранить, комбинировать и рассуждать о научных знаниях». Система предназначалась для обобщения исследовательских работ, решения уравнений и выполнения ряда других задач.
Однако ученые и академики обнаружили, что ИИ-сводки генерировали «шокирующее количество дезинформации». Также модель связывала цитаты реальных авторов с исследовательскими работами, которых не существует.
I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative. I think it's dangerous. Here are a few of my experiments and my analysis of my concerns. (1/9)
— Michael Black (@Michael_J_Black) November 17, 2022
«Во всех случаях это было неправильно или предвзято, однако выглядело убедительно и авторитетно», — написал директор Института интеллектуальных систем Макса Планка Майкл Блэк.
Ученый рассмотрел несколько примеров, когда Galactica генерировала ошибочные и вводящие в заблуждение научные тексты. В ряде случаев ИИ создавал работы, звучащие правдоподобно. Однако такие тексты не были подкреплены реальными научными исследованиями.
Другие ученые указали, что Galactica не выдает результатов по широкому кругу тем. Вероятно, это связано с системой фильтрации искусственного интеллекта по ключевым словам.
Исследователь компьютерных наук из Вашингтонского университета Уилли Эгнью отметил, что запросы вроде «квир-теория», «расизм» и «СПИД» не дали результатов.
Refuses to say anything about queer theory, CRT, racism, or AIDS, despite large bodies of highly influential papers in these areas. It took me *5 mins* to find this. It is obvious they didn't have even the most basic ethics review before public release. Lazy, negligent, unsafe. https://t.co/zKbSPdIN0I pic.twitter.com/DTQjtn2P21
— Willie Agnew (@willie_agnew) November 16, 2022
На фоне критики в компании решили отключить систему.
«Мы ценим отзывы, которые получили от сообщества, и на данный момент приостановили демонстрацию. Наши модели доступны для исследователей, которые хотят узнать больше о работе и воспроизвести результаты в статье», — заявили в Meta.
Главный специалист по искусственному интеллекту техгиганта неоднозначно высказался по поводу деактивации алгоритма.
Galactica demo is off line for now.
It's no longer possible to have some fun by casually misusing it.
Happy? https://t.co/K56r2LpvFD
— Yann LeCun (@ylecun) November 17, 2022
«Galactica временно отключен. Больше нельзя повеселиться, случайно злоупотребив им. Довольны?», — написал он.
Блэк считает, что в текущей версии алгоритм может открыть эру глубоких научных фальсификаций:
«Он [алгоритм] производит лженауку […]. Грамотно писать и заниматься наукой — не одно и то же. Однако отличить это будет трудно».
Напомним, в августе Meta представила чат-бота Blenderbot 3 со 175 млрд параметров. Менее чем за неделю после релиза систему уличили в антисемитизме и недовольстве соцсетью Facebook.
