Пользователь Reddit собрал рабочую станцию с процессором Xeon и видеокартой RTX 3060, где вместо обычной оперативной памяти использовал 768GB снятых с производства Intel Optane DCPMM. Система справляется с локальным запуском модели Kimi K2.5 на скорости 4 токена в секунду.
Изображение: tomshardware.com
На Reddit появилась история о том, как энтузиаст сумел запустить триллионопараметровую языковую модель на рабочей станции с одним GPU, используя снятые с производства модули Intel Optane Persistent Memory. Пользователь APFrisco купил шесть планок Optane по 128GB каждая на вторичном рынке — всего 768GB памяти, которая обошлась значительно дешевле эквивалентного объёма обычной DRAM.
Конфигурация системы:
Optane изначально разрабатывалась как промежуточное решение между скоростью DRAM и ёмкостью SSD. Хотя эта память медленнее обычной оперативки в 2-3 раза, для инференса LLM такие характеристики оказались вполне приемлемы. APFrisco настроил систему в режиме памяти Optane с кэшированием на DDR4, а для обработки использовал гибридный подход GPU/CPU через llama.cpp с оптимизацией маршрутизации смеси экспертов модели Kimi K2.5.
Результат — около 4 токенов в секунду при запуске триллионопараметровой модели на столь скромном оборудовании энтузиаст считает значительным успехом. В комментариях он отмечает, что Intel поспешила с отказом от Optane, так как для определённых задач эта память остаётся полезной.
Американский производитель памяти модернизирует завод в Вирджинии и внедрит передовой техпроцесс 1α. Инвестиции в $2 млрд позволят обеспечить спрос на DDR4 в специализированных сегментах рынка.
Финансовый директор NVIDIA Колетт Кресс рассказала, как компания предвидела рост стоимости памяти и успела подготовиться к дефициту, в отличие от конкурентов.
Китайский производитель ChangXing Memory Technologies впервые попал в массовый сегмент памяти через Corsair. Обнаружены модули Vengeance DDR5 с чипами CXMT вместо привычных Samsung, SK Hynix или Micron.