Эксперты НИУ ВШЭ оценили эрудицию GigaChat
Под наблюдением экспертов из Института образования НИУ ВШЭ мультимодальная нейросетевая модель GigaChat успешно сдала ЕГЭ по обществознанию на 67 баллов. Об этом рассказал вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов в рамках конференции AI Journey, которая проходила в Москве 22–24 ноября.
Для эксперимента использовалась новая языковая модель на 29 млрд параметров, разработанная специалистами «Сбера». Ранее по итогам ее испытаний был сделан вывод, что она, в сравнении с предыдущей версией, на 23% лучше справляется с редактированием и рерайтом текстов и на 25% — с фактологией. Теперь исследование доказало, что нейросеть показывает на едином госэкзамене результаты выше, чем проходной балл (45) и чем средний балл по предмету в 2023 году (56,4).
«Для нас важно оценивать эффективность GigaChat не только по техническим метрикам, но и с точки зрения обычного человека — способен ли сервис помочь в какой-то отдельной области знаний, насколько модель сообразительна, креативна, — подчеркнул Филиппов. — Результаты экзамена говорят о том, что GigaChat «понимает» основные законы общества и ориентируется в вопросах морали. Это еще одно свидетельство, что пользователи могут использовать наш сервис для решения реальных задач, связанных с фактологией».
