Сбер представил первую в России диффузионную языковую модель под названием GFusion. Как сообщают разработчики, проект является экспериментальным и базируется на технологиях GigaChat.
Ключевое отличие новинки заключается в принципе формирования текста. В то время как классические большие языковые модели генерируют контент последовательно, слово за словом, GFusion использует принципиально иной подход. Обычным моделям для исправления даже одной ошибки зачастую приходится переписывать весь ответ целиком.
Модель GFusion функционирует по алгоритму, аналогичному тому, что используется в нейросетях для генерации изображений или видео: сначала система создает черновой «набросок» будущего текста, а затем пошагово его уточняет и дорабатывает. Благодаря параллельной генерации, GFusion демонстрирует высокую производительность: по внутренним тестам Сбера, скорость работы новой модели до 45% выше, чем у GigaChat 3.
Помимо высокой скорости, авторы отмечают и другие преимущества диффузионного подхода:
- Гибкость генерации: текст не обязательно пишется строго слева направо. Модель самостоятельно определяет, какие фрагменты ответа требуют дополнения на каждом конкретном шаге.
- Эффективность обучения: диффузионные модели способны извлекать больше полезных данных из ограниченного массива, проходя через обучающий датасет несколько раз.
В Сбере подчеркивают, что диффузионные методы сегодня считаются одним из самых сложных, но при этом перспективных направлений в области генеративного искусственного интеллекта. GFusion стала первой российской моделью такого масштаба, выпущенной в открытый доступ. Помимо самой модели, компания также опубликовала набор инструментов для оптимизации обучения подобных систем.
