Корпорация Google столкнулась с новой серьезной проблемой в работе системы AI Overviews. Функция кратких ответов на основе искусственного интеллекта, интегрированная в поисковик, начала воспринимать материалы из фанатской вселенной SCP Foundation как достоверные научные данные. На эту особенность алгоритмов обратили внимание журналисты издания Futurism.
SCP Foundation представляет собой масштабный проект коллективного творчества, участники которого пишут отчеты об «аномальных объектах» в подчеркнуто псевдонаучном стиле. Несмотря на то что все материалы являются художественным вымыслом, система AI Overviews в ряде случаев игнорировала этот факт, подавая контент как реальные документальные данные.
Результаты исследования и примеры ошибок
В ходе изучения работы поискового ИИ было выявлено не менее 20 случаев, когда нейросеть представляла вымышленные SCP-объекты как существующие в реальности сущности. Ярким примером стал запрос про SCP-426. По сюжету проекта — это «тостер», который заставляет любого, кто о нем говорит, использовать первое лицо единственного числа. ИИ-система Google не только не указала на вымышленный статус объекта, но и фактически воспроизвела художественную манеру повествования, приняв условия игры за чистую монету.
Аналогичные сбои произошли с описаниями других объектов, таких как SCP-922 и SCP-779. В ряде сводок система даже использовала термин «лор» (lore), однако делала это без пояснения, что речь идет об элементах вымышленной вселенной, а не о научных исследованиях. В самих материалах SCP Foundation всегда подчеркивается статус контента, но ИИ зачастую опускал эти важные ремарки, вводя пользователей в заблуждение.
Реакция алгоритмов и риски для пользователей
При повторных попытках воспроизвести ошибку выяснилось, что результат не всегда стабилен: иногда Google AI Overviews все же помечает запросы по теме как «вымышленную аномалию» (fictional anomaly). Это свидетельствует о том, что разработчики уже начали вносить корректировки в алгоритмы. Тем не менее, сам факт появления подобных ответов в топе поисковой выдачи вызывает вопросы к надежности модели.
Основная опасность заключается в том, что ответы ИИ-системы занимают самое заметное место на странице поиска. Люди, не знакомые с контекстом, включая детей и подростков, могут принять подобные утверждения за факты. Данный инцидент лишь подтверждает общую проблему генеративного ИИ: склонность систем выдавать ошибочные данные с высокой степенью уверенности. Ранее Google уже критиковали за неверные исторические справки и потенциально опасные советы, выдаваемые функцией AI Overviews.
