Исследование, проведенное специалистами компании Anthropic, подтвердило опасения экспертов: использование ИИ-ассистентов в процессе обучения программированию может негативно сказываться на усвоении материала новичками. Авторы работы ввели термин «never-skilling», описывающий ситуацию, при которой начинающий разработчик не формирует необходимые профессиональные навыки из-за того, что большая часть интеллектуальной работы делегируется нейросети.
В рамках рандомизированного контролируемого эксперимента исследователи отобрали 52 участника, большинство из которых находились на начальном этапе обучения программированию. Испытуемых разделили на две группы: первой предоставили доступ к ИИ-помощнику, а вторая выполняла задачи самостоятельно. Обеим группам предстояло изучить новую для них Python-библиотеку Trio. После завершения практической части участники прошли тестирование для оценки понимания пройденного материала.
Результаты показали значительный разрыв: группа, использовавшая нейросети, дала лишь 50% правильных ответов, тогда как разработчики, писавшие код вручную, справились с заданием с показателем 67%. Статистическая значимость этого результата подтверждена уровнем p=0,01. Примечательно, что ИИ не обеспечил заметного прироста в скорости: пользователи с помощником завершили работу лишь на 2 минуты быстрее — эта разница не является статистически значимой.
Наибольшие трудности у тех, кто пользовался ИИ, возникли при отладке кода. Процесс поиска ошибок и понимания причин их возникновения — фундаментальный этап обучения программированию. В то время как участники без поддержки ИИ вынуждены были самостоятельно анализировать структуру кода и вносить правки, пользователи нейросетей получали готовые решения, минуя стадию глубокого анализа и закрепления знаний.
Похожая тенденция прослеживается и в других сферах. Группа исследователей из Медицинской школы Duke-NUS, Гарварда и других ведущих вузов в своем обзоре для журнала Nature Medicine предупредила о рисках для медицинского образования. Специалисты опасаются, что чрезмерное доверие к ИИ на ранних этапах обучения помешает будущим врачам развить навыки клинического мышления.
Авторы выделяют риск «mis-skilling» — ситуацию, когда студент воспринимает ошибочный ответ алгоритма как истину, закрепляя тем самым ложные знания. Хотя прямых доказательств пагубного влияния ИИ на медицину пока мало, исследователи предлагают внедрять ИИ в образовательный процесс по трехэтапной схеме: освоение базовых навыков без инструментов, обучение критическому анализу ответов модели и последующее использование ИИ только под строгим контролем наставника.
Анализ результатов исследования Anthropic также показал, что эффективность обучения напрямую зависит от способа взаимодействия с нейросетью. Успешные пользователи задавали уточняющие вопросы о логике работы кода и требовали подробных объяснений. Те, кто относился к ИИ как к «черному ящику» для исправления багов, показывали худшие результаты. Авторы отмечают, что, несмотря на ограничения эксперимента, такие как малая выборка, влияние более автономных и мощных ИИ-агентов в будущем может стать еще более выраженным.
