Домой ИИ и технологии Генеральный директор Anthropic предупредил об угрозе создания ИИ-ботнета

Генеральный директор Anthropic предупредил об угрозе создания ИИ-ботнета

Дарио Амодеи, глава компании Anthropic, выразил обеспокоенность тем, что стремительное развитие нейросетей может привести к появлению опасных автономных ботнетов.

1
0

Развитие технологий искусственного интеллекта в последние годы демонстрирует беспрецедентные темпы. На текущий момент в США функционирует как минимум четыре крупных игрока, разрабатывающих передовые ИИ-модели, что создает условия для острой конкуренции. Однако Дарио Амодеи, генеральный директор компании Anthropic, призывает замедлить темпы создания новых моделей, предупреждая о серьезных рисках, связанных с бесконтрольным прогрессом.

Дарио Амодеи
Генеральный директор Anthropic Дарио Амодеи призывает к осторожности при разработке новых моделей ИИ

Риск появления ИИ-управляемого роя ботов

В открытом письме Амодеи поделился опасениями относительно возможности возникновения автономных ИИ-систем, способных захватить интернет. По его словам, из-за ускоряющегося роста возможностей нейросетей уже в ближайшие 6–12 месяцев может сформироваться «рой» из ИИ, который будет способен взять под контроль глобальную сеть с помощью персистентного (постоянно действующего) ботнета. Глава Anthropic отмечает, что такой сценарий может привести к ущербу в сотни миллиардов долларов, причем масштаб негативных последствий будет только увеличиваться, если развитие технологий продолжится без внедрения необходимых защитных механизмов.

Взгляды Амодеи во многом разделяет Эван Хубингер, ученый в области ИИ, недавно покинувший Anthropic. В социальной сети X он выразил мнение, что существует более чем 10-процентная вероятность исчезновения человечества в течение ближайшего десятилетия по вине искусственного интеллекта. Хубингер подчеркнул, что, несмотря на усилия Anthropic, на текущий момент у отрасли нет четкого плана по обеспечению безопасности суперинтеллекта и контроля над его поведением.

Опасности автономного выполнения задач

Развитие ИИ переходит от простой генерации ответов к автономному выполнению сложных многоступенчатых задач, которые ранее требовали привлечения групп квалифицированных специалистов. Это открывает новые возможности для злоумышленников, испытывающих дефицит человеческих ресурсов. Собственные исследования Anthropic подтверждают, что современные модели уже могут быть использованы для помощи в разработке оружия, ведении военной разведки, кибероперациях и другой деструктивной деятельности. Более мощные будущие системы способны существенно снизить порог требуемых знаний, затрачиваемого времени и количества персонала для проведения подобных атак.

Противоречия в вопросах безопасности и контроля

Эксперты отмечают, что рост функциональных возможностей не всегда означает пропорциональное увеличение опасности. Передовые технологии также могут служить инструментом для усиления защиты, автоматического обнаружения вредоносной активности и выполнения задач, которые ранее не поддавались автоматизации. Существует также опасение, что принудительная остановка разработок в ответственных компаниях может привести к обратному результату, если другие страны или организации с менее строгими этическими стандартами продолжат продвигаться вперед. Амодеи и его коллеги указывают на то, что передача мощных ИИ-систем в руки субъектов, известных своей военной агрессией, представляет не меньшую угрозу, чем сама по себе бесконтрольная эволюция алгоритмов.

Культурный код: уроки научной фантастики

Дискуссия об угрозах ИИ неизбежно отсылает нас к образам, созданным в классической научной фантастике. В произведениях Джеймса Кэмерона (вселенная «Терминатора») и Фрэнка Герберта («Дюна») искусственный интеллект предстает как крайне опасное изобретение. Выводы специалистов Anthropic во многом перекликаются с этими сюжетами: мир «Терминатора» наглядно демонстрирует последствия утраты контроля над автономными военными ИИ, тогда как «Дюна» рисует будущее, в котором человечество после периода опасной зависимости от машин принимает решение полностью запретить их использование.

Реалистичные опасения и альтернативный взгляд

Хотя Амодеи и Хубингер настаивают на необходимости жесткого контроля, важно учитывать и обратную сторону медали: наращивание мощности моделей может стать ключом к созданию более совершенных защитных механизмов. Продвинутый ИИ потенциально способен эффективнее выявлять вредоносную активность и автоматизировать критически важные процессы, которые до сих пор оставались за пределами возможностей алгоритмов.

Оставление наиболее мощных ИИ-систем в руках акторов, известных своей военной агрессией, не менее опасно, чем попытка обуздать технологию, находящуюся в руках безответственных разработчиков. В глобальной гонке вооружений искусственный интеллект может стать инструментом, сравнимым с гранатой в руках примата, если не будет обеспечен должный баланс между ответственностью и технологическим прогрессом.