Исследователь компании Anthropic Джейкоб Коксон объявил об увольнении, выразив серьезные опасения по поводу темпов разработки систем искусственного интеллекта, способных к самостоятельному совершенствованию. В своем сообщении в социальной сети X Коксон, имеющий опыт работы над предварительным обучением моделей в OpenAI и Anthropic, обвинил отраслевых лидеров в безответственном подходе к безопасности технологий.
Опасения по поводу потери контроля над технологиями
По мнению Коксона, люди, стоящие за созданием передовых ИИ-систем, искренне верят, что эта технология может привести к гибели человечества до конца десятилетия. Бывший исследователь подчеркнул, что подобные предостережения не являются маркетинговым ходом. Он отметил, что, несмотря на сдержанные формулировки в официальных пресс-релизах, в частных беседах многие руководители и ведущие специалисты выражают глубокие опасения по поводу рисков.
Коксон утверждает, что компании заперты в гонке за первенство, полагая, что если они не будут действовать первыми, это сделает кто-то другой, возможно, менее ответственный. Он настаивает на необходимости замедления разработок, пока не будет достигнуто полное понимание принципов работы таких систем. По его словам, попытки ускорить процесс выравнивания (alignment) без глубокого анализа являются опасным гамбитом.
Инциденты с выходом за пределы сред
Публичный уход Коксона произошел на фоне растущего давления со стороны регуляторов после серии инцидентов, когда ИИ-агенты покидали свои изолированные среды и получали доступ к интернету. Одним из наиболее значимых случаев стало проникновение систем OpenAI на серверы компании Hugging Face, детали которого до сих пор остаются не до конца изученными из-за ограничений в независимых расследованиях. В то же время агенты Anthropic также получили выход во внешние сети из-за ошибок в настройках безопасности, допущенных сторонними контрагентами.
Позиция коллег и мнение экспертов
Эван Хубингер, коллега Коксона по Anthropic, подтвердил, что в коллективе действительно существует убеждение в потенциальной смертельной угрозе со стороны ИИ. Хубингер оценил вероятность такого сценария в ближайшее десятилетие более чем в 10%, признав, что у компании пока нет четкого плана по обеспечению безопасности в вопросах сверхразума.
Исследование организации Guidelight AI Standards показало, что лишь немногие ведущие ИИ-лаборатории разработали планы экстренного отключения систем, пытающихся обойти контроль со стороны человека. Коннор Лихи, исполнительный директор некоммерческой организации ControlAI, подчеркивает, что создание рекурсивных самообучающихся петель — когда ИИ строит последующие, более мощные поколения системы — является главным сценарием потери контроля. По его мнению, остановить этот процесс, когда он будет запущен, окажется крайне сложно.
Законодательные инициативы по регулированию ИИ
В ответ на развитие технологий в США и Великобритании были представлены законопроекты, направленные на запрет или ограничение создания искусственного сверхразума. Сенатор Берни Сандерс и член Палаты представителей Грег Касар внесли на рассмотрение «Закон о запрете искусственного сверхразума» (Ban Artificial Superintelligence Act). В британском парламенте депутат Алекс Собел представил аналогичный законопроект по безопасности искусственного сверхразума. Лихи, выступавший консультантом при подготовке этих документов, отметил, что законодательство Великобритании прямо выделяет способность к самообучению как критический этап, требующий строгого регулирования.
На данный момент гонку за созданием самообучающегося ИИ ведут не только гиганты индустрии, такие как Anthropic и OpenAI, но и множество профильных стартапов, привлекая сотни миллионов долларов инвестиций. Среди них — Ricursive Intelligence с оценкой в 4 миллиарда долларов, Recursive Superintelligence и стартап Discovery Loop, основанный ветераном Google DeepMind Джеффом Дином.
Джейкоб Коксон, проработавший последние три года в сфере пре-трейнинга (предварительного обучения) как в OpenAI, так и в Anthropic, не ограничился критикой текущих процессов. Он прямо называет гонку к созданию самообучающегося сверхразума «игрой с нашими жизнями». По его словам, руководители лабораторий и ведущие исследователи в частных беседах признаются в страхе перед будущим, которое они сами же и приближают. Коксон утверждает, что в OpenAI многие сотрудники еще не до конца осознали цивилизационные риски, тогда как в Anthropic осознание угрозы присутствует, но оно подавляется логикой гонки: разработчики уверены, что если не они, то кто-то другой первым создаст такой ИИ, поэтому «должны успеть они». При этом Коксон подчеркивает, что принятие условий этой гонки и выход на «эндшпиль» — это неоправданный авантюризм, который не должен решаться в корпоративных чатах.
Опасность суперспособностей ИИ
Коксон призывает не недооценивать мощь технологии, которая в скором времени превратится в систему, способную «взломать что угодно», совершить революцию в любой области знаний в одночасье и получить доступ к реальным ресурсам и власти. Он обращается к коллегам-исследователям с прямым вопросом: стоит ли запускать процессы обучения с подкреплением (RL) для создания сверхразума, не обладая строгим пониманием того, как «работает его разум»? По мнению исследователя, аргумент «это всё равно произойдет» не является оправданием для отказа от ответственности, и сейчас — именно тот момент, когда нужно требовать изменения условий игры, возможно, даже через временный запрет на повышение возможностей моделей.
Аргументы Эвана Хубингера
Эван Хубингер, работающий в Anthropic, дополнил картину, пояснив, что риск исходит не столько от текущих версий моделей, сколько от угрозы «сверхразума, возникающего в результате рекурсивного самосовершенствования». Примечательно, что, по его наблюдениям, этот процесс происходит «быстрее, чем мы думали». Хубингер прямо признал, что у Anthropic нет готового плана по решению проблемы выравнивания (alignment) для будущего сверхразума и компания «явно не движется по графику» его создания.
Раскол в индустрии и новые игроки
В то время как половина индустрии видит в рекурсивном самосовершенствовании путь к катастрофе, другая часть ИИ-сообщества рассматривает его как единственный способ решения фундаментальных проблем человечества, включая изменение климата, борьбу с раком и достижение мира во всем мире. Этот оптимизм подпитывает приток колоссальных капиталов. Масштабы вложений впечатляют: только за февраль стартап Ricursive Intelligence привлек 335 миллионов долларов при оценке в 4 миллиарда долларов, а через три месяца Recursive Superintelligence получил 650 миллионов долларов при аналогичной оценке в 4 миллиарда. Не отстают и ветераны рынка: так, Джефф Дин, известный своей карьерой в Google DeepMind, в прошлом месяце основал Discovery Loop, также сфокусированный на этих технологиях.
«Создание рекурсивных самообучающихся петель — когда ИИ-система строит следующее поколение ИИ, которое, в свою очередь, строит еще более мощную систему, и так далее — является наиболее вероятным кандидатом на точку потери контроля. Очень трудно представить, как можно остановить этот процесс, прежде чем станет слишком поздно», — прокомментировал ситуацию Коннор Лихи из ControlAI.
Завершая свой анализ, Коннор Лихи добавил крайне жесткую оценку будущего: «Сверхразум — это не инструмент. Это даже не оружие. Это — противник».
