Израильский стартап AI21 Labs разработал языковую модель Jurassic-1 Jumbo, которая превзошла конкурентную GPT-3 по количеству параметров и объему словарного запаса.
Today we’re launching AI21 Studio, a platform where you can instantly access our state-of-the-art language models to build your own applications — including a 178B parameters model, Jurassic-1 Jumbo. We can’t wait to see what you create! https://t.co/NhCnF1Emcy
— AI21 Labs (@AI21Labs) August 11, 2021
В компании сообщили, что самая большая версия модели содержит 178 млрд параметров. Это на 3 млрд больше, чем GPT-3, однако она значительно уступает PanGu-Alpha от Huawei или Wu Dao 2.0.
Jurassic-1 может распознавать 250 000 лексических элементов, включая выражения, слова и фразы. Это в пять раз больше, чем у других подобных систем, отметили разработчики.
Словарь Jurassic-1 Jumbo также одним из первых охватил «многословные» элементы, например, «Эмпайр-стейт-билдинг». Это значит, что модель может иметь более богатое семантическое представление понятий, составляющих смысл для людей, сообщили разработчики.
«Расширение границ искусственного интеллекта на основе языков требует большего, чем просто распознавание образов, предлагаемое нынешними языковыми моделями», — сказал генеральный директор AI21 Labs Йоав Шохам.
В компании также заявили, что их цель — демократизировать использование языковых моделей для всех желающих.
В настоящее время алгоритм находится в стадии открытого бета-тестирования и доступен разработчикам через API или интерактивную веб-среду.
Напомним, в августе OpenAI представила платформу для автоматического написания кода по текстовым подсказкам Codex, основанную на GPT-3.
В начале августа Microsoft разработала языковую модель MEB со 135 млрд параметров и интегрировала ее в поисковик Bing.
В июне Пекинская академия искусственного интеллекта представила модель WuDao 2.0, превосходящую GPT-3 в десять раз.
В январе Google представила языковую модель Switch Transformer, которая содержит 1,6 трлн параметров.
