Тег: инференс
MLPerf Inference v6.1: 5.7x Per-Accelerator Gains, a 512-GPU Run, and Vera...
Организация MLCommons опубликовала пакет тестов MLPerf Inference v6.1 с новыми сценариями RAG и Edge Agentic, рекордным числом участников и первыми оценками для NVIDIA Vera Rubin, AMD Instinct MI350P и Intel Arc Pro B70.
AMD и Cerebras объединились для противостояния Nvidia Groq
AMD и Cerebras Systems представили совместную платформу для ИИ-инференса, объединяющую мощь ускорителей Instinct и скорость SRAM-памяти чипов WSE.
Китайская DeepSeek разрабатывает собственный ИИ-чип для инференса
Китайский стартап DeepSeek планирует создать собственный специализированный чип для ИИ-инференса, чтобы снизить зависимость от зарубежных поставок и санкционных ограничений.
Один GPU вместо нескольких: система VKAE ускорила инференс ИИ до 23...
Система VKAE от компании Vidraft оптимизирует работу GPU, ускоряя инференс ИИ до 23 раз за счет программных настроек без необходимости апгрейда оборудования.
OpenAI удалось более чем вдвое снизить стоимость работы ИИ без новых...
Инженеры OpenAI разработали систему оптимизации инференса, которая сократила затраты на вычислительные ресурсы более чем в два раза.
Инференс ИИ скоро подешевеет, но пользователи этого почти не заметят
Развитие ИИ-инфраструктуры снижает стоимость токенов, но из-за роста аппетитов нейросетей и перехода на оплату по факту конечные пользователи не заметят экономии.
Anthropic ищет альтернативу GPU: стартап Fractile может стать новым поставщиком чипов
Разработчик ИИ-моделей Anthropic рассматривает возможность использования чипов британского стартапа Fractile для снижения зависимости от Nvidia и оптимизации инференса.
Google расширяет цепочку поставщиков ИИ-чипов: переговоры с Marvell о новых TPU
Google планирует диверсифицировать производство чипов для ИИ, привлекая Marvell Technology для разработки специализированных TPU, ориентированных на инференс.
Alphabet ведёт переговоры с Marvell о разработке двух ИИ-чипов для инференса
Alphabet и Marvell планируют создание кастомных чипов для ускорения ИИ, чтобы снизить зависимость от Broadcom и оптимизировать работу поисковых сервисов.
Европейские стартапы обещают обогнать ИИ-чипы Nvidia по эффективности в 100 раз...
Разработчики из ЕС готовят альтернативные архитектуры для инференса ИИ, превосходящие GPU Nvidia по энергоэффективности в 100 раз, но сталкиваются с дефицитом капитала и производственных мощностей.
