Современные ИИ-агенты на базе больших языковых моделей (LLM), предназначенные для выполнения многоэтапных задач с использованием различных инструментов, всё активнее внедряются в реальные сервисы. Однако до сих пор малоизученным оставался вопрос стабильности их поведения: насколько предсказуемо они действуют при подаче абсолютно идентичных запросов? Это критически важный фактор для отладки, оценки производительности и общей надёжности систем на базе искусственного интеллекта.
Для поиска ответа на этот вопрос было проведено систематическое исследование поведенческой согласованности агентов. В тестировании участвовали три популярные модели: Llama 3.1 70B, GPT-4o и Claude Sonnet 4.5. В качестве инструментария исследователи использовали датасет HotpotQA, содержащий вопросы с несколькими вариантами ответов. Работа была выполнена группой экспертов из Стэнфордского университета, Университета Карнеги-Меллона и Монреальского университета.
В ходе 3 000 экспериментов (по 100 задач, каждая из которых запускалась 10 раз для каждой из трёх моделей) выяснилось, что ИИ-агенты часто выбирают принципиально разные последовательности действий даже при идентичных входных данных. В среднем фиксируется от 2,0 до 4,2 уникальных траекторий на 10 запусков, а разброс по количеству выполненных шагов в рамках решения одной задачи достигает 55%.
Результаты исследования
Ключевой вывод работы заключается в прямой зависимости между стабильностью и точностью. Высокая согласованность поведения (не более 2 уникальных траекторий) позволяет модели достигать точности в 80–92%. В то же время при высокой вариативности (6 и более траекторий) точность ответов падает до 25–60%. Важно отметить, что 69% всех расхождений возникают уже на втором шаге — сразу после первого запроса. Длина траектории также имеет решающее значение: короткие цепочки из 3 шагов дают 90% правильных ответов, тогда как длинные (8+ шагов) приводят к успеху лишь в 43% случаев.
Для повышения стабильности авторы предлагают снижать температуру генерации (с 0.7 до 0.0), что уменьшает количество уникальных траекторий и повышает точность на 5,4 процентных пункта. Исследователи рекомендуют внедрять мониторинг согласованности поведения в реальном времени: если агент начинает «путаться» на ранних этапах, высока вероятность, что и итоговый результат окажется ошибочным. Это открывает новые возможности для автоматического контроля качества и выбора более надёжных моделей для конкретных задач.
Исследование подчеркивает: даже при ограниченном наборе инструментов ИИ-агенты демонстрируют существенную вариативность, которая только усиливается с ростом сложности задач. Для практического применения критически важно не только улучшать общую точность, но и добиваться предсказуемости поведения, что является необходимым условием для создания безопасных и надежных систем.
