В России создали мыслящий образами искусственный интеллект
. Он анализирует и описывает изображения и отвечает на вопросы по нимВ России создали искусственный интеллект, который умеет мыслить образами
В научно-исследовательском Институте искусственного интеллекта AIRI разработали ИИ-модель OmniFusion, которая умеет анализировать и описывать изображения, а также отвечать на вопросы по ним, поддерживая непрерывный диалог с пользователем. Об этом РБК Life сообщила пресс-служба организации.
Модель может детально анализировать предоставленные пользователем изображения: распознавать на них объекты, их количество, цвет или расположение. Она умеет отвечать на вопросы, связанные с изображением, а также использовать извлеченную информацию во время общения с человеком. Например, объяснить мем или распознать сфотографированное блюдо и предложить рецепты его приготовления.
«Общение с помощью изображений — это новый уровень взаимодействия ИИ-модели с человеком, более естественный и привычный для каждого из нас формат коммуникации. Мы будем продолжать активно развивать модель и добавлять в нее новые модальности», — отметил доктор физико-математических наук, СЕО Института искусственного интеллекта AIRI Иван Оселедец.
Обучением модели занималась научная группа FusionBrain Института AIRI под руководством кандидата технических наук Андрея Кузнецова при участии ученых из Sber AI и Sber Devices.
В процессе обучения OmniFusion разработчики использовали датасеты (набор данных, которые используются в различных видах анализа и машинного обучения), составленные из картиночно-текстовых диалогов, а также вопросов с ответами по картинкам. На данный момент модель работает на английском языке и обучается грамотному владению русским.
Ранее команда ученых из России и Германии создала мобильное приложение на базе искусственного интеллекта, которое позволяет управлять музыкой. С помощью голосовых команд, жестов или мимики пользователь может попросить программу воспроизвести мелодию абсолютно по-другому, создавая, таким образом, уникальные варианты произведения.
