Корпорация Microsoft представила концепцию Algorithm of Thoughts (AoT). Это новый механизм обучения больших языковых моделей (LLM). Компания заявляет, что он потенциально может произвести революцию в секторе ИИ.
Согласно опубликованной работе, AoT направляет LLM по более оптимизированному пути решения проблем. Механизм основан на контекстном обучении, утверждает автор, что позволяет модели исследовать различные решения.
Ему противопоставляются методики Chain of Thoughts (CoT) и Tree of Thoughts (ToT). Первая предполагает линейное обучение «по цепочке», вторая — использование множественных запросов.
«Наша концепция превосходит CoT и находится на одном уровне с недавно предложенным механизмом со множеством запросов ToT. Достигнутые результаты исследования показывают, что обучение модели алгоритмом приведет к тому, что ее производительность превзойдет его самого», — говорится в документе.
В перспективе AoT позволит сделать программные решения на базе ИИ более «человечными», подчеркнули в компании. Также эта методика оптимизирует процесс, минимизируя затраты и время обучения.
Основная идея AoT — переход от контролируемого поиска к внедрению автономного механизма обучения. В перспективе этот подход позволит LLM решать сложные комплексные задачи с небольшим количеством подсказок. При этом модель также будет задействовать внешние инструменты, что сделает результат более информативным.
Microsoft и сектор ИИ
В начале 2023 года компания «миллиарды долларов» в фирму OpenAI, разработчика бота ChatGPT. Сразу после выхода последнего она об интеграции ПО в свои продукты — Bing и Edge.
Позднее компанию даже в неэтичном поведении, когда Microsoft распустила соответствующее подразделение, тормозившее выход ChatGPT. При этом уже в мае 2023 года в организации власти ускориться с подготовкой нормативной базы для сектора.
