Энтузиаст создал портативного AI-компаньона Sparky на базе Nvidia Jetson, который работает полностью офлайн, запускает Gemma 4 E4B и отвечает за 200 миллисекунд без интернета.
Изображение: tomshardware.com
Пользователь Reddit CreativelyBankrupt собрал полностью автономного робота в корпусе чемодана на базе Nvidia Jetson Orin NX Super с 16 ГБ памяти. Робот получил имя Sparky и работает исключительно на локальном оборудовании — никакого облака, Wi-Fi или мобильной сети не требуется.
Технические характеристики Sparky: устройство запускает языковую модель Gemma 4 E4B через llama.cpp с квантизацией Q4_K_M, поддерживает контекст на 12 тысяч токенов и обрабатывает информацию со своей памятью. Время до первого токена составляет примерно 200 миллисекунд, скорость генерации — 14–15 токенов в секунду. Робот оснащён более чем 30 датчиками для восприятия окружающей среды.
Для взаимодействия с пользователем используется SenseVoiceSmall для распознавания речи и Piper для синтеза. Анимация лица синхронизирована с PixiJS и обновляется с частотой 43 Гц. Управление возможно через кнопки, джойстик и энкодер. Gemma 4 теперь имеет встроенную поддержку компьютерного зрения и OCR, что позволяет роботу анализировать визуальную информацию без дополнительных моделей.
По словам разработчика, Sparky обладает собственным мнением и характером — в видеодемонстрации робот активно высказывается по различным вопросам. Сообщество r/LocalLLaMA восприняло проект с восторгом, отметив его практичность и инженерный уровень исполнения.
По данным Bloomberg, два гиганта полупроводниковой индустрии проявляют интерес к разработчику ИИ-акселераторов на базе RISC-V. Речь идёт о предварительных обсуждениях, официального подтверждения нет.
AMD объявила о масштабных инвестициях в расширение производственных мощностей для ИИ-процессоров. Компания нацелена на усиление позиций против NVIDIA на рынке решений для искусственного интеллекта.
По оценкам Morgan Stanley, стоимость памяти в новых AI-системах VR200 NVL72 достигла $2 млн за стойку. Память теперь занимает четверть от общей цены, а сами GPU Rubin обойдутся в $50 тыс.