По словам разработчиков нейросети и робота, человек может на взгляд определить, каким предмет может быть на ощупь и, наоборот, потрогав объект, визуализировать его на бумаге, в уме или описать словами. Робот ограничен в таких действиях, он может распознать предмет, но о его структуре узнать только через прикосновение.
Для нового устройства MIT компания KUKA создала специальную механическую руку с тактильным сенсором GelSight. Затем, взяв для обучения машины генеративно-состязательную нейросеть, через нее прогнали почти 12 000 видеоклипов, отобранных из VisGel. В результате робот, не обладающий функциями визуализации, смог «вслепую» описать предмет, с которым он взаимодействовал. Подобные технологии необходимы в тех областях, где у механизмов имеется нехватка визуальных данных.
