Пользователи ИИ-помощника «ГигаЧат» получили возможность работать с обновлённой нейросетью «ГигаЧат Аудио». Эта большая языковая модель теперь способна обрабатывать аудиофайлы и голосовые сообщения напрямую, без необходимости сначала переводить речь в текст. Искусственный интеллект научился распознавать интонации и эмоции, что значительно расширило его возможности в работе со звуком.
По словам Антона Фролова, старшего вице-президента и руководителя направления «Развитие генеративного ИИ» в Сбербанке, голос — самый естественный способ взаимодействия с технологиями, но при этом требующий максимальной точности. Ошибки в распознавании или неверно понятая эмоция могут подорвать доверие к помощнику. Поэтому развитие аудио-технологий рассматривается как важный шаг для рынка ИИ. Открытый доступ к таким моделям даст возможность разработчикам и учёным создавать разнообразные сервисы — от голосового перевода в реальном времени до поддержки людей с проблемами речи. Мультиязычность и простота обучения другим языкам открывают хорошие перспективы и за пределами страны.
Теперь «ГигаЧат» умеет определять эмоциональный настрой пользователя по голосу — будь то раздражение или радость — и отвечает более уместно. Например, он может смягчить реакцию на раздражённый запрос или поддержать, если человек делится хорошими новостями. Модель обрабатывает записи до трёх часов, умеет ориентироваться внутри них, выделять ключевые моменты по запросу, пересказывать отдельные части или создавать краткие обзоры с отметками времени. Она также распознаёт разных говорящих, что пригодится при анализе совещаний и звонков.
Помимо этого, ИИ способен запоминать важные детали из голосовых диалогов и учитывать их при следующих обращениях. К примеру, если пользователь ранее озвучил интересы для путешествия, «ГигаЧат» учтёт их при планировании маршрута. При этом управление этой функцией полностью остаётся за пользователем — он может просматривать, редактировать или отключать сохранённые данные в настройках.
Внутренние тесты показали, что «ГигаЧат Аудио» по уровню понимания и ответов сопоставима с лучшими мировыми аналогами. В слепом сравнении по тесту «Арена Хард Аудио» модель набрала 75 процентов побед, что почти на одном уровне с «Гемини-3-Флеш-превью» (77,5 процента) и существенно выше «Гемини-2.5-Про» (62 процента). Точность распознавания эмоций у «ГигаЧат Аудио» достигает 80 процентов, что превосходит показатели моделей «Квен3-Омни-30Б» (70 процентов) и «Кими-Аудио» (62 процента).
Кроме интеграции в «ГигаЧат», разработчики выпустили облегчённую версию «ГигаЧат3.1-Аудио-10Б» в открытый доступ. Она распознаёт русский, английский и другие языки. На её базе можно создавать сервисы для транскрибации, тренажёры произношения, инструменты оценки качества озвучки, голосовые переводчики с учётом контекста и сервисы пересказа длинных аудиозаписей.
Также открыт доступ к «ГигаАМ Многоязычный» — семейству моделей автоматического распознавания речи. Это первая российская открытая модель с поддержкой нескольких языков, которая по качеству распознавания русского языка превосходит все другие открытые решения. «ГигаАМ» пригодится для кол-центров, голосовых ассистентов, расшифровки встреч, интервью, подкастов и голосового ввода в приложениях.
Научные статьи, посвящённые новым моделям, уже приняты к публикации на одной из ведущих международных конференций по речевым технологиям «Интерспич 2026».
