Тег
#llm-инференс
2 новостей с этим тегом.
Энтузиаст запустил триллионопараметровую LLM на одном GPU с помощью 768GB Optane
Пользователь Reddit собрал рабочую станцию с процессором Xeon и видеокартой RTX 3060, где вместо обычной оперативной памяти использовал 768GB снятых с производства Intel Optane DCPMM. Система справляется с локальным запуском модели Kimi K2.5 на скорости 4 токена в секунду.
Тайваньский стартап создал ИИ-ускоритель на старых чипах с 384 ГБ памяти
Skymizer представила необычную PCIe-карту HTX301, которая запускает модели на 700 млрд параметров, потребляя всего 240 Вт. Вместо современных HBM и нанометровых техпроцессов используются 28-нм чипы и LPDDR4/LPDDR5.