Компания ElevenLabs сообщила о приостановке тестирования ИИ-сервиса клонирования голоса из-за «растущего числа случаев злоупотреблений». Об этом пишет Motherboard.
Представители стартапа не уточнили, о каких нарушениях идет речь. Однако журналисты выяснили, что пользователи 4chan использовали продукт с целью создания голосов знаменитостей для распространения расистских и гомофобных высказываний.
В одном из клипов голос, имитирующий актрису Эмму Уотсон, читает отрывок из «Майн кампф». В другом дипфейк политического комментатора Бена Шарпио делает расистские замечания в адрес конгрессвумен Александрии Окасио-Кортес.
Клипы варьируются от безобидных до жестоких, гомофобных и расистских. В одной из подборок на 4chan содержалась ссылка на бета-версию от ElevenLabs. Пользователи предположили, что для создания клипов использовался именно этот инструмент.
На веб-сайте ElevenLabs говорится, что воспользоваться сервисом может любой зарегистрированный пользователь. Для генерирования голоса необходимо загрузить образец длительностью больше одной минуты.
ElevenLabs также предлагает «профессиональное клонирование», которое «может воспроизвести любой акцент». Варианты использования включают озвучивание информационных бюллетеней, книг и видео, говорится на веб-сайте стартапа.
Компанию основали бывший инженер по машинному обучению Google Петр Дабковски и бывший стратег развертывания Palantir Мати Станишевски. В январе 2023 года стартап объявил о привлечении $2 млн в предварительном раунде финансирования.
Вскоре после распространения клипов в ElevenLabs признали проблему злоупотреблений.
Crazy weekend — thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!
— ElevenLabs (@elevenlabsio) January 30, 2023
«Хотя мы видим, что наша технология в подавляющем большинстве случаев применяется с пользой, мы также наблюдаем увеличение числа случаев неправильного использования клонирования голоса», — заявили в компании.
Представители ElevenLabs добавили, что не могут отследить любой сгенерированный звук до конкретного пользователя. Однако в компании изучают дополнительные меры безопасности. К ним относятся требование платежной информации, «полная идентификация личности» для работы с сервисом или ручная проверка каждого запроса.
Напомним, в декабре 2022 года Disney создала ИИ-инструмент для омоложения актеров.
В ноябре Intel представила детектор дипфейков.
В сентябре ученые представили метод распознавания аудиоподделок.
Государство и общество
