Разработчики систем искусственного интеллекта регулярно используют диалоги пользователей для дообучения своих моделей, однако процесс обработки этих данных долгое время оставался непрозрачным. Как сообщает издание 404 Media, компания OpenAI привлекла сотни сторонних подрядчиков для ручного просмотра транскриптов чатов в рамках инициативы, известной как Project Lily.
Особенности работы Project Lily и задачи ревьюеров
В распоряжении журналистов оказались внутренние инструкции, данные из Slack-каналов компании и примеры реальных диалогов. Согласно полученным сведениям, сотрудники, именуемые «ревьюерами промптов», занимаются оценкой качества ответов нейросети. В их обязанности входит проверка того, насколько корректно ChatGPT отвечает на запрос, избегает ли излишнего использования «искусственного» тона, покровительственных интонаций, эмодзи или чрезмерной лести.
Существуют строгие правила: нейросети запрещено проявлять антропоморфизм и ссылаться на несуществующий «личный опыт». Например, формулировка «Я нашел информацию» допустима, тогда как фразы вроде «как шеф-повар, я считаю…» считаются нарушением. Работа ревьюеров описывается как монотонная, но при этом высокооплачиваемая: по имеющимся данным, ставка превышает 50 долларов в час. Сами проверяющие отмечают, что внутренние инструкции компании часто меняются и порой противоречат друг другу.
Риски для конфиденциальности личных данных
Хотя OpenAI применяет процедуры анонимизации, удаляя имена пользователей перед передачей данных, представители компании признали в общении с 404 Media, что фильтры могут пропускать личную информацию, особенно в коротких диалогах. Это вызывает опасения, поскольку многие пользователи воспринимают чат-бота как собеседника или «психотерапевта», делясь с ИИ интимными подробностями своей жизни или секретами.
Кроме того, специалистам для анализа предоставляется так называемая «сводка воспоминаний пользователя» (user memories summary), которая содержит краткое изложение интересов, контекста общения и даже данные о геолокации. Важно отметить, что в задачи участников Project Lily не входит проверка фактической точности ответов ИИ — они лишь отмечают очевидные ошибки, что подразумевает существование отдельных команд для оценки достоверности информации и проверки безопасности.
Настройки конфиденциальности и доступность данных
Вопрос о том, знают ли пользователи, что их переписки могут читать люди, остается дискуссионным. После запроса журналистов OpenAI предоставила ссылку на FAQ, где упоминается возможность человеческой проверки для улучшения моделей, однако эта информация присутствовала на сайте компании еще два года назад и не является новой. После публикации материала фирма обновила страницу с инструкциями по отказу от сбора данных, но в тексте по-прежнему нет явного упоминания о привлечении операторов-людей.
Важно понимать, что настройки приватности, позволяющие отказаться от использования диалогов для обучения, не работают ретроактивно. Если переписка уже попала в базу данных OpenAI, она будет там храниться, если пользователь не запросит удаление. При этом даже после удаления история диалогов может уже находиться в составе обучающих наборов данных в анонимизированном виде.
Практика ручной проверки данных характерна и для других игроков рынка. Так, Google прямо указывает в разделе конфиденциальности Gemini, что люди могут просматривать часть сохраненных чатов, аналогичную политику проводит Anthropic. В то же время позиция Perplexity остается менее определенной: их уведомление о конфиденциальности не подтверждает и не опровергает доступ сотрудников к журналам чатов.
Подробности методологии и внутренние противоречия
В дополнение к оценке тона и стиля, «ревьюеры промптов» работают по системе классификации, которая является основой проекта Project Lily. Несмотря на то что работа кажется довольно простой, проверяющие сталкиваются с серьезными трудностями: по их словам, руководства по оценке постоянно меняются и часто содержат внутренние противоречия. Это создает ситуацию, знакомую многим разработчикам ПО, когда критерии «правильного» ответа ИИ размыты, а требования к выполнению задачи могут меняться в зависимости от текущих целей обучения модели.
Примечательно, что в поле зрения сотрудников проекта попадают не только сами реплики чат-бота, но и «сводка воспоминаний пользователя» (user memories summary). Этот документ представляет собой сжатую выжимку интересов, контекста диалогов и других данных, которые ChatGPT накопил в ходе общения с конкретным пользователем. Особое беспокойство вызывает тот факт, что в эту сводку потенциально может попадать информация о геолокации, что значительно расширяет объем чувствительных данных, доступных для прочтения сторонними подрядчиками.
Реальные опасения пользователей и ограничения анонимизации
Журналисты подчеркивают, что многие пользователи используют ChatGPT как импровизированного друга или даже терапевта, доверяя боту глубокие личные тайны. Риск утечки этой информации велик, так как, несмотря на прохождение чатов через систему автоматической анонимизации, представители OpenAI признали, что фильтры не всегда справляются с задачей. Особенно часто личные данные просачиваются в коротких диалогах, где контекста для эффективной фильтрации недостаточно. Более того, в самих логах часто встречаются запросы, где пользователи прямо просят нейросеть сохранять содержание беседы в секрете, не осознавая, что по ту сторону экрана их может читать реальный человек.
Реакция OpenAI и индустриальный контекст
Ситуация с настройками приватности также вызывает вопросы у экспертов. Функция «разрешить использовать наши чаты для улучшения продукта» по умолчанию включена практически во всех потребительских чат-ботах, включая платные подписки. Исключение составляют лишь корпоративные, бизнес-версии и тарифы для образовательных учреждений, где эта настройка по умолчанию отключена. Однако даже отключение переключателя не работает ретроактивно: все данные, накопленные до изменения настроек, остаются в распоряжении OpenAI. Аналогично, удаление чатов пользователем не гарантирует, что они не были уже включены в процесс обучения и не хранятся в составе огромных массивов данных в анонимизированном виде.
Существование Project Lily наглядно демонстрирует, что современные модели ИИ развиваются не только за счет технологического прогресса и алгоритмов, но и благодаря вовлечению большого количества людей. Что касается политики других компаний, ситуация выглядит следующим образом:
- Google Gemini: четко прописывает в Privacy Hub, что люди могут просматривать часть сохраненных чатов для улучшения работы сервиса.
- Anthropic: придерживается аналогичной открытой политики, посвящая данному вопросу отдельную страницу в документации.
- Perplexity: сохраняет двусмысленную позицию, так как их официальное уведомление о конфиденциальности не содержит прямого подтверждения или опровержения возможности доступа человека к логам переписки.
