«Яндекс» представил новую русскоязычную нейросеть
Компания «Яндекс» выложила в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках. Как утверждает компания, это самая большая GPT-подобная модель, опубликованная в свободном доступе.
«YaLM 100В содержит 100 млрд параметров — больше, чем какая-либо из существующих моделей для русского языка. Это позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка. Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире», — описывает пресс-служба «Яндекса» работу новой модели.
Как утверждает компания, новую нейросеть можно использовать для создания рекламы, описания товаров, генерировать любые тексты, даже стихи, и применять ее для классификации текста, например по стилю.
Модель обучали на суперкомпьютерах «Яндекса», которые были признаны самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках.
Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub.
Петр Попов, генеральный директор «Яндекс Технологий», заявил, что, выкладывая YaLM 100B в открытый доступ, компания рассчитывает, что это даст толчок развитию генеративных нейросетей.
Самой мощной языковой моделью в мире сейчас считается GPT-3 от OpenAI, впервые представленная в 2020 году. Она основана на более чем 175 млрд параметров. Она способна генерировать текст высокого уровня сложности. 8 сентябре 2020 года британское издание The Guardian опубликовало заметку, написанную при помощи GPT-3. В этой статье нейросеть, в частности, написала: «Я здесь, чтобы убедить вас не волноваться. Искусственный интеллект не уничтожит людей. Поверьте мне».
Летом 2021 года «Яндекс» представил нейросетевой языковой алгоритм генерации текстов YaLM. На его основании работал сервис «Балабола», в котором пользователи могли пообщаться с нейросетью. Однако в апреле компания закрыла к нему доступ.
Свою нейросеть для генерации русскоязычных текстов представлял и «Сбер», ее бета-версия находится в открытом доступе. Она построена на 760 млн параметров.
Попробуйте новую функцию «ГигаЧат» — общаться голосом
Какое вино подать к ужину, если не знаешь предпочтения гостей
Как приготовить говядину в вине по-бургундски
Чем занять детей, пока взрослые общаются за столом
Как легко завести разговор в компании, где все только что познакомились
О чём надо позаботиться, если собираешься позвать много гостей
Из каких сыров и ветчин собрать тарелку закусок к вину
Что делать, если пролил красное вино на белую скатерть
Какие есть правила классической сервировки стола
Какие игры можно предложить для взрослой компании дома
Как легко запомнить имена людей, которых тебе представили
