Hardware

Docker Model Runner — это официальный инструмент Docker для запуска AI-моделей локально, но включение ускорения на GPU NVIDIA в Docker Model Runner требует специальной настройки.

Я выкопал некоторые интересные тесты производительности GPT-OSS 120b, работающей на Ollama на трех разных платформах: NVIDIA DGX Spark, Mac Studio и RTX 4080. Модель GPT-OSS 120b из библиотеки Ollama весит 65ГБ, что означает, что она не помещается в 16ГБ видеопамяти RTX 4080 (или более новой RTX 5080).

Docker Model Runner (DMR) — это официальное решение Docker для запуска моделей ИИ локально, представленное в апреле 2025 года. Этот справочник предоставляет быстрый доступ ко всем основным командам, настройкам и лучшим практикам.

В современном вычислительном ландшафте виртуализация стала неотъемлемой частью разработки, тестирования и запуска нескольких операционных систем. Для пользователей Linux, ищущих простой и интуитивно понятный способ управления виртуальными машинами, GNOME Boxes выделяется как легковесный и удобный вариант, который делает акцент на простоте использования без ущерба для функциональности.

Будущее ИИ не ограничивается более умными моделями - это также вопрос более умного железа. Специализированное оборудование для инференса ЛЛМ приводит к революции, аналогичной переходу майнинга биткоинов к ASIC.

NVIDIA DGX Spark — это реальное устройство, которое поступит в продажу 15 октября 2025 года, и оно предназначено для разработчиков CUDA, которым нужна локальная работа с LLM с интегрированным NVIDIA AI stack. Рекомендуемая розничная цена в США — $3,999; в Великобритании, Германии и Японии розничные цены выше из-за НДС и каналов сбыта. Австралийские и корейские вон пока не опубликованы широко.

Снова и снова сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ в частности и ИИ в целом. Конкретно я смотрю на цены на RTX-5080 и RTX-5090. Они немного снизились.

Приложения для мониторинга нагрузки GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia готовится к выпуску NVIDIA DGX Spark - небольшого суперкомпьютера для ИИ на архитектуре Blackwell с 128+ ГБ объединённой оперативной памяти и производительностью 1 ПФЛОПС в области ИИ. Отличное устройство для запуска больших языковых моделей.

Давайте сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ и ИИ в целом. В частности, обратите внимание на цены на RTX 5080 и RTX 5090. Они немного снизились.

Только три месяца назад мы не видели RTX 5090 в магазинах, а теперь они появились, но цены немного выше рекомендованной розничной цены (MRSP). Давайте сравним самые низкие цены на RTX 5080 и RTX 5090 в Австралии (https://www.glukhov.org/ru/post/2025/06/nvidia-rtx-5080-rtx-5090-prices-australia/ “цены на RTX 5080 и RTX 5090 в Австралии”) и посмотрим, как обстоят дела.

Топовая автоматизированная система для какой-то потрясающей работы.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

Я сильно пострадал от этой проблемы. Но вы должны проверить и протестировать свой компьютер, если ваш BSOD похож на мой.
Причина заключается в проблеме деградации процессоров Intel 13-го и 14-го поколений.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

В условиях хаоса современного мира здесь я сравниваю технические характеристики различных карт, подходящих для задач AI (Deep Learning, Обнаружение объектов и LLMs). Однако они все невероятно дорогие.