Роль стандарта Compute Express Link и новые возможности памяти
Один из ключевых вариантов использования стандарта Compute Express Link (CXL) заключается в обеспечении подключения различных форм DRAM и других видов памяти через шину на базе PCIe.
Благодаря возможностям CXL высокого уровня по поддержанию когерентности кэша, этот стандарт позволяет устройствам обращаться не только к системной DRAM хоста, но и наоборот. Это потенциально открывает множество новых способов организации и совместного использования памяти как внутри систем, так и в рамках еще более крупных доменов.
Хотя добавление новых объемов памяти в сервер в условиях, когда дефицит оперативной памяти уже привел к резкому росту цен на RDIMM, может показаться не идеальным вариантом, CXL предлагает выход: оперативная память вовсе не обязательно должна быть типа DDR5.
Все современные процессоры для центров обработки данных используют память DDR5.
Многие модули DDR4 постепенно извлекаются из выводимых из эксплуатации систем.
Линейка Structera от компании Marvell предлагает контроллер CXL DDR4 3DPC и завоевала популярность среди гиперскейлеров, которые применяют CXL для снижения влияния ограничений поставок DDR5.
С тех пор как было выпущено видео для компании Marvell, эта концепция получила широкое распространение в индустрии.
Теперь компания Astera Labs представляет новый контроллер CXL и множество других разработок.
Компания Astera Labs последние несколько лет изучала возможности в рамках своей серии умных контроллеров памяти Leo, уделяя особое внимание общей емкости.
Однако в условиях «оперпамятегеддона» акцент смещается в сторону экономичных способов наращивания объема памяти в системах и повторного использования уже существующей памяти.
В Astera Labs считают, что 2026 год станет временем их триумфа.
Опираясь на запуск нового поколения умных контроллеров памяти Leo 2, которые расширяют поддержку памяти DDR4 и добавляют возможности подключения CXL 3.2 / PCIe Gen6, компания уверена, что рынок экспандеров памяти CXL растет как никогда прежде.
И на случай, если этого окажется недостаточно, в последнюю партию экспандеров Leo вошел полноценный контроллер с поддержкой фабричной архитектуры (fabric-attached) — Leo-X. Он позволяет пулам DRAM на базе Leo интегрироваться непосредственно в сетевые фабрики стоечных систем, существенно увеличивая емкость DRAM в таких сетях.
В сегодняшнем анонсе присутствует немало составных частей, поэтому давайте сразу перейдем к делу.
Серии Leo 2 E и P: расширение поддержки DDR4 и обновление функций экспандеров на базе процессоров
Прежде всего, Astera Labs выпускает второе поколение умных контроллеров памяти Leo для экспандеров памяти, подключаемых к процессору.
В линейке с подходящим названием Leo 2 базовый контроллер E-series и более продвинутый контроллер P-series получают одинаковый набор ключевых обновлений функционала.
Главным стимулом для обоих обновлений является приведение контроллеров Leo в соответствие с последними поколениями стандартов PCIe и CXL.
Если экспандеры Leo первого поколения базировались на PCIe Gen5 / CXL 2.x, то семейство Leo 2 переводит их на уровень PCIe Gen6 / CXL 3.2 — новейшие развернутые версии соответствующих стандартов, с которыми сейчас выходят на рынок первые хост-процессоры.
Для стандартов памяти CXL одно это изменение имеет весьма больше значение.
Базовый стандарт PCIe Gen6 удваивает пропускную способность, доступную на одну линию, и, как следствие, на один экспандер, эффективно удваивая пропускную способность памяти, которую каждый экспандер может добавить в систему.
Это помогает нивелировать один из главных недостатков расширения памяти CXL, заключающийся в том, что суммарная пропускная способность PCIe/CXL серверного процессора не так высока, как его пропускная способность DRAM.
Стандарт CXL 3.x также добавляет ряд весьма полезных функций в дополнение к росту пропускной способности, включая многоуровневую коммутацию, прямой доступ к памятиранг-в-ранг (peer-to-peer) и поддержку нескольких экспандеров памяти на один корневой порт PCIe.
В совокупности сочетание пропускной способности и новых функций делает экспандеры памяти CXL значительно более полезными, чем раньше.
Учитывая это, компании Astera Labs потребовалось обновить семейство контроллеров Leo не только для использования новых протоколов, но и для того, чтобы заставить эту пропускную способность работать с пользой.
Удвоение пропускной способности CXL требует удвоения пропускной способности модулей DIMM для питания экспандера, при этом память DDR4 не становится быстрее.
С этой целью контроллеры памяти Leo 2 удвоили количество каналов памяти, используемых на каждой плате, перейдя с 2 каналов на 4 канала.
Удвоение количества каналов удваивает пропускную способность и, в процессе этого, удваивает общий объем памяти, который может поддерживать каждый экспандер: Astera Labs квалифицирует до 768 ГБ памяти DDR4 или до 4 ТБ памяти DDR5 на каждый экспандер.
Между прочим, похоже, что Astera Labs действительно раздвигает границы возможного в отношении емкости DDR4.
Среди разработанных ими плат Leo 2 присутствует 4-канальная плата с конфигурацией 3DPC — такая конфигурация памяти DDR практически никогда не встречается на практике из-за связанных с этим сложностей.
Три модуля DIMM на канал в конечном итоге позволяют установить 12 модулей DDR4 DIMM на один экспандер.
Однако системам с DDR5 везет не так сильно, поскольку память DDR5 достаточно сложно запустить даже в конфигурации 2DPC.
Как отмечалось ранее, сценарий использования экспандеров Leo 2 серий E и P заключается не только в том, чтобы добавить больше оперативной памяти в систему, но и в том, чтобы в текущих условиях предоставить дата-центрам возможность сделать это недорого.
Новая память DDR5 стоит дорого.
Память DDR5 высокой емкости — тем более, в то время как память DDR4 (и даже предшествующая MRDIMM память DDR5), извлеченная из выведенных из эксплуатации серверов, стоит дешево.
Экономика повторного использования DDR4 и особенности контроллеров Leo 2
В условиях, когда вся отрасль сосредоточена на вопросах экономики (в особенности на экономике ИИ-токенов) на фоне продолжающегося наращивания мощностей, повторное использование памяти представляет собой весьма привлекательный сценарий применения.
Однако повторное развертывание больших объемов DDR4 сопряжено с определенными трудностями. Даже такое твердотельное оборудование, как DRAM, со временем деградирует, а большая часть памяти DDR4 из старых систем имеет возраст не менее полувека.
Исходя из этого, главным фокусом новых контроллеров Leo 2 стали их возможности RAS, которые необходимы для жизнеспособности повторного использования DDR4. Среди этих функций присутствует аппаратный тестовый движок, способный тестировать каждый модуль DIMM с помощью множества паттернов для проверки его безотказной работы. Более того, Astera задействует программную коррекцию ошибок soft-ECC поверх аппаратного ECC самих модулей DIMM. Это делается для того, чтобы повысить надежность пула памяти и выявлять ошибки, которые проходят мимо аппаратной коррекции.
Конечная цель заключается в том, что когда модуль DDR4 DIMM дает сбой (а в крупномасштабном развертывании это вопрос времени), неисправность можно исправить, а модуль оставить в эксплуатации вместо немедленной замены.
Что касается функций, серии Leo 2 E и P сохраняют то же общее разделение возможностей, которое было у оригинальных интеллектуальных контроллеров памяти.
Серия Leo 2 E представляет собой начальный контроллер Astera Labs, который спроектирован для подключения к единственному хост-процессору.
Между тем, более продвинутый контроллер серии Leo 2 P предназначен для расширителей памяти, разделяемых между двумя хост-процессорами. Это позволяет системам динамически делить пул памяти вместо требования фиксированного распределения под каждый хост-процессор.
Наконец, маркетинговый подход Astera Labs ожидаемо сильно опирается на рынки искусственного интеллекта, поскольку именно там сейчас вкладываются наибольшие инвестиции и наблюдается высочайший спрос на память.
Компания считает, что новые контроллеры Leo 2 отлично подходят для крупных баз данных, работающих в оперативной памяти, и для хранения больших KV-кэшей локально на серверах. Последний вариант применения в особенности является относительно новым сценарием для расширителей памяти CXL.
По сути, аргумент Astera заключается в производительности, так как больший KV-кэш (точнее, крупный KV-кэш, удерживаемый в памяти вместо обращения к диску) позволяет обеспечить более быстрый вывод токенов.
Серия Leo X и подключение расширителей памяти к сетевым фабрикам ускорителей
Хотя у Astera Labs есть умеренные идеи относительно использования серий Leo 2 E и P для кеширования KV, их крупнейшей ставкой в этой области является третий и финальный новый интеллектуальный контроллер памяти: серия Leo X.
Не ограничиваясь простым добавлением памяти к хост-процессорам по интерфейсам CXL, компания Astera разработала чип Leo, способный взаимодействовать с сетевыми фабриками, которые поддерживают стоечные ИИ-системы. Это позволяет расширителям памяти становиться выделенным узлом памяти в рамках таких стоечных систем и их сетей ИИ-ускорителей.
Технически серия Leo X является синергетическим решением с другим продуктом Astera — линейкой коммутационных чипов PCIe Scorpio.
Когда коммутационные чипы Scorpio используются как часть этой сетевой фабрики, расширители памяти на базе Leo X могут подключаться к данной фабрике посредством соединения с коммутатором Scorpio.
В результате к расширителю памяти могут напрямую обращаться ИИ-ускорители, формирующие сеть, что предлагает более прямую и потенциально более производительную альтернативу обращению за дополнительной памятью через хост-процессор.
Особым достоинством для Astera является то, что хотя коммутаторы Scorpio представляют собой преимущественно коммутаторы PCIe, самые высокопроизводительные чипы коммутаторов серии Scorpio X могут также применяться в определенных проприетарных протоколах сетевых фабрик. Это делает технологию применимой к более широкому спектру типов ИИ-ускорителей.
Astera не уточняет, какие именно фабрики она поддерживает, но стремится ориентироваться на гиперскейлеров, многие из которых либо используют аппаратное обеспечение от ограниченного числа вендоров, либо разрабатывают собственные ИИ-ускорители.
В результате расширители памяти Leo X могут подключаться не только за пределами стойки в качестве части ее масштабируемого домена (scale-out), но и внутри узла в качестве части более тесно связанного (и ограниченного по пространству) домена масштабирования (scale-up).
С аппаратной точки зрения серия Leo X технически является ускорителем первого поколения.
С этой целью Astera продемонстрировала расширитель памяти с четырьмя слотами для модулей DIMM на борту.
Это менее экстремально по сравнению с возможностями ускорителей Leo 2, но все же позволяет получить либо больше памяти, чем предлагает ускоритель на базе HBM текущего поколения, либо способ добавить аналогичный объем памяти в сеть за малую долю стоимости другого ускорителя.
Компания подтвердила, что этот контроллер поддерживает как DDR4, так и DDR5, поэтому производители серверов, выбирающие экономию в ущерб максимальной производительности, могут использовать более дешевые модули DIMM стандартов DDR4 вместо DDR5.
Что касается сценариев использования, Astera полностью делает ставку на серию Leo X как на решение для кеширования KV.
Интеграция памяти и перспективы линейки Leo от Astera Labs
Приближение больших пулов кэша KV к ускорителям в последнее время находится в фокусе внимания всей индустрии искусственного интеллекта, примером чему служит платформа Context Memory Storage от NVIDIA. Для компании Astera это стало попыткой объединить свои технологии интеллектуального контроллера памяти и коммутации PCIe в единое рыночное решение.
Как и в случае с другими аналогичными инициативами, основной акцент делается на повышение пропускной способности ИИ-ускорителей за счет устранения узких мест на этапе декодирования, который потребляет огромный объем полосы пропускания и емкости памяти.
Официально Astera заявляет, что в ходе тестирования их решения серии Leo X позволили улучшить время до получения первого токена на величину до 62%, а общую пропускную способность токенов — на 22%.
Тем не менее, тестирование Astera проводилось в сравнении с системой NVIDIA H200 на базе шины PCIe, а не с более новой системой на базе архитектуры Blackwell, поэтому данное тестирование нельзя назвать масштабным.
Сегодня в блоге компании будет опубликована запись, подробно описывающая проведенное тестирование и полученные результаты.
Рыночные перспективы и запуск новых контроллеров
Компания Astera Labs уже несколько лет развивает рынок расширителей памяти. И хотя технология приживалась медленно, в компании считают, что текущий рынок искусственного интеллекта и сопутствующий дефицит памяти играют на руку их сильным сторонам.
Потребность в увеличении объема памяти как в обычных серверах, так и в ИИ-ускорителях приводит к тому, что нестандартные подходы становятся жизнеспособными в тех случаях, когда это было невозможно раньше, особенно как способ экономически эффективного наращивания памяти.
С этой целью компания запускает свою самую амбициозную линейку интеллектуальных контроллеров памяти Leo, в которую вошли серии Leo 2 E и P, а также ориентированная на искусственный интеллект серия Leo X.
Благодаря поддержке новейших стандартов PCIe и CXL, увеличенной пропускной способности и возросшей емкости памяти, серия Leo 2 представляет собой эффективную эволюцию линейки интеллектуальных контроллеров памяти CXL от компании.
При этом сетевая серия Leo X является более амбициозным проектом компании.
Подключение памяти стандартов DDR4 и DDR5 к сетевой фабрике ИИ-ускорителя позволяет Astera Labs не только выйти на новый рынок, но и решить одну из важнейших задач для расширителей DRAM.
Не стоит забывать и о том, что речь идет о сегменте рынка, который с большей готовностью принимает компромиссные решения между емкостью и пропускной способностью, неизбежные при использовании подобных расширителей памяти.
По крайней мере на данный момент время играет на стороне Astera Labs.
Учитывая выход серверов с поддержкой CXL 3.x и цены на DRAM, находящиеся вблизи исторических максимумов, сейчас наступил наилучший момент для продвижения их расширителей памяти.
Все три новые модели интеллектуальных контроллеров памяти Leo от Astera уже поступили в продажу, что позволяет потенциальным заказчикам и клиентам незамедлительно приступить к работе с этим «железом».
