Гигабайты параметров лежат вне вычислительного кристалла.
Физика / memory wall
Вес модели
имеет расстояние
Токен рождается не только из умножений. До каждого умножения миллиарды неизменных параметров нужно доставить туда, где находится арифметика.
01 / Один токенОбычный ускоритель
Путь длиннее операции
При autoregressive decode каждый новый токен проходит модель слой за слоем. В memory‑bound режиме вычислительные блоки ждут, пока к ним приедет следующая порция весов. За два десятилетия peak FLOPS росли заметно быстрее DRAM и interconnect bandwidth.[53]
Контроллеры, interposer и сеть доставки превращают расстояние в энергию.
Данные проходят локальные буферы и регистры.
Сама арифметика часто дешевле движения её операндов.
Главный парадокс
Веса уже обученной модели одинаковы для первого и миллионного запроса. Универсальная машина всё равно снова и снова перевозит их, потому что память и вычислитель физически разделены.
Оценка видео~6 pJна доставку бита из внешней HBM; зависит от узла и системы[01]
Cerebras WSE-344 GBлокальной SRAM на wafer-scale кристалле — другой способ укоротить путь[36]
WSE-3 fabric21 PB/sзаявленная внутренняя пропускная способность памяти[36]
HC1 card~200 Wинтервью для одной карты; сервер с 10 картами — 2,5 кВт[04]
Альтернативная физика
Пусть материал хранит вес — и участвует в MAC
В analog compute‑in‑memory проводимость или заряд ячейки представляет параметр, а токи crossbar суммируются по законам электрической цепи. Это другая ветвь той же борьбы со стеной памяти, уже показанная на integrated PCM и RRAM chips.[42][52]
02 / HC1Геометрия параметров
Mask ROM: знание как рисунок металла
В HC1 неизменные параметры кодируются производственными масками. Но ROM остаётся памятью, а селекторы, предумножение, накопление и SRAM остаются вычислительной системой — «модель и есть чип» здесь метафора, не буквальное описание.
Фиксировано
Mask-ROM recall fabric
Топология поздних металлических слоёв содержит постоянные параметры. Taalas заявляет, что для нового набора весов меняются только две верхние маски, а общая базовая платформа остаётся прежней.[03][04]
Изменяемо
SRAM recall fabric
Контекст запроса, KV-cache, активации и адаптеры должны меняться. Они живут в обычной SRAM. Именно граница «постоянное в ROM / динамическое в SRAM» делает демонстратор практически используемым.[02]
03 / MSAРеконструкция
Multiply — Select — Add
Если вес имеет только несколько допустимых квантованных значений, произведения можно подготовить заранее, а физический код веса использовать для выбора нужного варианта.
Входное значение текущего слоя.
Параллельно подготовить варианты для 3‑битного веса.
Физически закодированный параметр выбирает произведение.
Дерево сумматоров накапливает результат.
Подробная VIA/crossbar‑схема — независимая реконструкция патентов, а не раскрытая Taalas полная микроархитектура.[05][06]
Физика без магии
Память не исчезает. Исчезает самый дорогой повторяющийся маршрут.
Mask ROM, SRAM, селекторы и сумматоры всё ещё существуют. Выигрыш появляется, когда постоянные параметры перестают пересекать границу внешней памяти для каждого следующего токена.