«Яндекс» представил новую русскоязычную нейросеть
Компания «Яндекс» выложила в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках. Как утверждает компания, это самая большая GPT-подобная модель, опубликованная в свободном доступе.
«YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире», — описывает пресс-служба «Яндекса» работу новой модели.
Как утверждает компания, новую нейросеть можно использовать для создания рекламы, описания товаров, генерировать любые тексты, даже стихи, и применять ее для классификации текста, например по стилю.
Модель обучали на суперкомпьютерах «Яндекса», которые были признаны самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.
Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
Петр Попов, генеральный директор «Яндекс Технологий», заявил, что, выкладывая YaLM 100B в открытый доступ, компания рассчитывает, что это даст толчок развитию генеративных нейросетей.
Самой мощной языковой моделью в мире сейчас считается GPT-3 от OpenAI, впервые представленная в 2020 году. Она основана на более чем 175 млрд параметров. Она способна генерировать текст высокого уровня сложности. 8 сентябре 2020 года британское издание The Guardian опубликовало заметку, написанную при помощи GPT-3. В этой статье нейросеть, в частности, написала: «Я здесь, чтобы убедить вас не волноваться. Искусственный интеллект не уничтожит людей. Поверьте мне».
Летом 2021 года «Яндекс» представил нейросетевой языковой алгоритм генерации текстов YaLM. На его основании работал сервис «Балабола», в котором пользователи могли пообщаться с нейросетью. Однако в апреле компания закрыла к нему доступ.
Свою нейросеть для генерации русскоязычных текстов представлял и «Сбер», ее бета-версия находится в открытом доступе. Она построена на 760 млн параметров.
