Точность изображения оставляет желать лучшего, но успехи нейросети удовлетворяют ученых
Перед использованием нейросети Speech2Face через нее прогнали несколько миллионов роликов, на котором некое лицо произносило речь. При этом каждое видео было разделено на две дорожки: аудио и видео. Одна часть алгоритма пыталась выделить особенности лица путем анализа видеоряда. Вторая часть преобразовывала аудиодорожку в спектрограмму, после чего, используя данные анализа видеоряда, воссоздавала облик человека.
Результаты исследования пока не особо впечатляют. Нейросеть может с максимальной точностью определить пол и даже расу говорящего человека. Разработчики отмечают, что алгоритм часто верно относит людей к азиатской или европеоидной расе. А вот с определением возраста пока не все так гладко. Однако ученые не стремятся к тому, чтобы Speech2Face создавал точную копию лица, им достаточно выделить из голоса особые параметры, которые помогут найти произносящего речь человека.
