Содержание статьи:
Четыре техники, которые помогают машине быть похожей на человека.
Если технология искусственного интеллекта когда-либо «общалась» с вами посредством голосовых или текстовых сообщений, значит, она обладала возможностями обработки естественного языка (NLP).
Распознавание языков отличается от большинства других алгоритмов машинного обучения феноменальной беспорядочностью вовлеченных данных: чтобы делать точные предсказания и предпринимать конкретные действия, вместо четких таблиц ИИ приходится обрабатывать неструктурированную информацию в хаотичном порядке, разные шрифты, опечатки, акценты и т.п.
Эта статья посвящена алгоритмам, которые работают с письменными языками, но принцип их работы схож с обработкой речи. Вот четыре ключевые основы обучения ИИ чтению и письму.
1. Контекст имеет значение
Слова могут нести разный смысл для разных людей в разное время. Например, слово «ужасно» можно наделить как негативной, так и нейтральной коннотацией (сравните: «Обслуживание было организовано ужасно» и «Мне ужасно жаль, что я опоздал»), из чего следует вывод, что само по себе слово «ужасно» довольно неоднозначно.
Для людей это не новость, однако машинный разум спотыкается о подобную двойственность. Для решения этой проблемы были недавно разработаны и введены векторные представления слов: глубокие методы обучения, такие как Word2vec (от Google) и GloVe (от Стэнфорда) создают числовые представления слов на основе контекста, чтобы лучше понимать смысловые оттенки.
Типичный пример — простая лексическая ассоциация. Если бы я сказал: «Мужчина — король, а женщина — ___", вы бы сказали: «Королева». Векторы слов действуют по той же логической схеме.
Модели ИИ могут использовать эти числовые/векторные представления слов и учитывать контекст, чтобы разбирать текст на гораздо более глубоком уровне.
2. ИИ увидел — ИИ повторил
Обычно ИИ учится читать и писать по тому же принципу, что и люди в прошлом. Для обучения моделей ИИ в систему заносятся разнообразные исторические тексты, чтобы дать машине представление о хорошем или плохом стиле письма. Использование обучающей информации для прогрессирования и настройки моделей с целью машинного обучения — это не новая концепция, а еще это сильно ограничивает способности ИИ обрабатывать и создавать текст. ИИ, как правило, может только повторить то, что уже было сказано человеком ранее, но не может генерировать альтернативный порядок слов и ход рассуждений.
Новейшая разработка в системе глубокого обучения, называемая Sequence-to-Sequence (последовательность-к-последовательности), способна поглощать и генерировать последовательности слов и демонстрирует значительный рост способности ИИ изучать архитектуру письма, чтобы на выходе генерировать фрагменты собственного текста, учитывая полученные подсказки.
3. Метаданные / взаимосвязанные системы
На один и тот же вопрос можно ответить по-разному в зависимости от связанной с сообщением информации — метаданных. Если клиент интернет-магазина хочет узнать статус своего онлайн-заказа, ИИ может спросить клиента, о каком заказе речь, проверить его статус и ограничиться этим. Или не ограничиваться и посмотреть историю переписки пользователя с компанией.
Можно пойти еще дальше и, отметив, что конкретно этот пользователь трижды задавал один и тот же вопрос за последнюю неделю, скорректировать свой ответ, придав ему сочувственный тон: «Мне очень жаль, что вам приходится задавать вопрос неоднократно и т. д.». Метаданные могут включать время суток, когда было получено сообщение, или канал, по которому оно поступило (например, был это твит или электронное письмо).
4. Словарный запас
Одна из простейших и стандартных характеристик NLP заключается в том, что размеры слов и комбинации букв на человеческом языке, как правило, очень неоднородны и требуют больших объемов времени и вычислительной мощности на обработку. Эта проблема имеет особый вес, когда машина должна запомнить все возможные слова, комбинации слов и самые распространенные опечатки.
Обычно это означает, что память забивается миллионами всевозможных текстовых символов. Для борьбы с этим используется метод «понижения размерности», который помогает распознать в тексте скрытую структуру и за счет этого оптимизировать вычислительную мощность и скорость. Эта техника используется для понимания тем высокого уровня и использования этих тем для генерирования более продвинутого ответа.
Такие технологии, как Alexa, Siri и ИИ службы поддержки, уже руководствуются этими четырьмя принципами в попытке разработать ИИ с распознаванием языков для ежедневного взаимодействия с нами. Обработка естественного языка будет по-прежнему создавать новые препятствия, но вместе с тем вдохновлять на новые решения и открытия в области ИИ и глубокого обучения.
