Исследователи из Массачусетского университета представили новую архитектуру искусственного интеллекта, способную радикально снизить энергопотребление вычислительных систем. Результаты работы, опубликованные в журнале Nature Communications, доказывают, что нейросети могут работать гораздо эффективнее без ущерба для производительности.
Команда ученых под руководством профессора Хавы Зигельман сосредоточилась на решении двух главных проблем современной индустрии: чрезмерных затратах электроэнергии и ограниченной способности моделей к непрерывному обучению. Традиционные методы предполагают разделение на фазы обучения и использования (инференса), тогда как новая архитектура ориентирована на постоянную адаптацию системы по мере поступления входящих данных.
Профессор Зигельман отмечает парадокс: несмотря на технологический прогресс, текущие ИИ-модели остаются невероятно «прожорливыми». Человеческий мозг, состоящий из 86 миллиардов нейронов, потребляет около 20 Вт энергии, демонстрируя при этом колоссальную гибкость и сложность поведения. ИИ-системы на текущий момент требуют несопоставимо больших мощностей.
Главное отличие кроется в принципах работы: человеческий мозг функционирует асинхронно, активируя лишь малые группы нейронов в нужный момент. Современные нейросети, включая большие языковые модели, используют синхронную схему, где миллионы параметров обновляются одновременно под контролем глобального тактового сигнала. Это обеспечивает стабильность, но требует огромных энергетических ресурсов.
Ранее переход к асинхронным спайковым нейронным сетям был затруднен из-за сложностей с оптимизацией — они плохо поддавались обучению методами градиентного спуска, ставшими стандартом для глубокого обучения. Однако новая разработка ученых под названием ANT (Asynchronous Neural Turing networks) успешно обходит эти ограничения, сочетая асинхронную обработку с дифференцируемым обучением.
Суть подхода ANT заключается в отказе от «тактового сигнала». Система обновляет только те участки сети, которые действительно нужны для выполнения конкретной задачи. По словам авторов, это позволяет снизить энергопотребление на порядки, сохраняя вычислительную мощность, сопоставимую с классическими цифровыми системами.
Работа базируется на фундаментальных исследованиях профессора Зигельман, включая доказанную ею в 1995 году теорему о том, что рекуррентные нейронные сети обладают вычислительной мощностью, эквивалентной машине Тьюринга.
В настоящее время команда дорабатывает архитектуру для повышения эффективности и расширения возможностей обучения в реальном времени. Перспективными сферами применения технологии ANT станут робототехника, периферийные вычисления и автономные системы, где каждый ватт на счету. Если масштабирование метода пройдет успешно, индустрия сможет переключиться с «гонки параметров» на создание энергоэффективных систем, максимально приближенных к биологическим принципам работы.
