Hardware

После автоматической установки нового ядра, Ubuntu 24.04 потеряла сетевое подключение по Ethernet. Эта раздражающая проблема произошла со мной во второй раз, поэтому я документирую решение здесь, чтобы помочь другим, столкнувшимся с той же проблемой.

С этой безумной волатильностью цен на оперативную память, чтобы сформировать и иметь лучшее представление, давайте сначала отследим цену на оперативную память в Австралии.

Рынок памяти переживает беспрецедентную ценовую волатильность в конце 2025 года, с резким ростом цен на ОЗУ во всех сегментах.

Давайте сравним цены на топовые потребительские видеокарты, которые подходят для ЛЛМ и ИИ в целом. Конкретно я рассматриваю цены на RTX-5080 и RTX-5090.

Демократизация ИИ уже здесь. С открытыми моделями ИИ с открытым исходным кодом, такими как Llama 3, Mixtral и Qwen, которые теперь соперничают с проприетарными моделями, команды могут создавать мощную инфраструктуру ИИ с использованием потребительского оборудования - снижая затраты, сохраняя при этом полный контроль над конфиденциальностью данных и развертыванием.

Docker Model Runner — это официальный инструмент Docker для запуска моделей ИИ локально, но включение ускорения NVidia GPU в Docker Model Runner требует специальной настройки.

Я выкопал некоторые интересные тесты производительности GPT-OSS 120b, работающей на Ollama на трех разных платформах: NVIDIA DGX Spark, Mac Studio и RTX 4080. Модель GPT-OSS 120b из библиотеки Ollama весит 65ГБ, что означает, что она не помещается в 16ГБ видеопамяти RTX 4080 (или более новой RTX 5080).

Docker Model Runner (DMR) — это официальное решение Docker для запуска моделей ИИ локально, представленное в апреле 2025 года. Этот справочник предоставляет быстрый доступ ко всем основным командам, настройкам и лучшим практикам.

В современном вычислительном ландшафте виртуализация стала неотъемлемой частью разработки, тестирования и запуска нескольких операционных систем. Для пользователей Linux, ищущих простой и интуитивно понятный способ управления виртуальными машинами, GNOME Boxes выделяется как легковесный и удобный вариант, который делает акцент на простоте использования без ущерба для функциональности.

Будущее ИИ не ограничивается более умными моделями - это также вопрос более умного железа. Специализированное оборудование для инференса ЛЛМ приводит к революции, аналогичной переходу майнинга биткоинов к ASIC.

NVIDIA DGX Spark — это реальное устройство, которое поступит в продажу 15 октября 2025 года, и оно предназначено для разработчиков CUDA, которым нужна локальная работа с LLM с интегрированным NVIDIA AI stack. Рекомендуемая розничная цена в США — $3,999; в Великобритании, Германии и Японии розничные цены выше из-за НДС и каналов сбыта. Австралийские и корейские вон пока не опубликованы широко.

Proxmox Virtual Environment (Proxmox VE) — это открытая платформа гипервизора типа 1 и оркестрации дата-центров, построенная на основе Debian.

Снова и снова сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ в частности и ИИ в целом. Конкретно я смотрю на цены на RTX-5080 и RTX-5090. Они немного снизились.

Приложения для мониторинга нагрузки GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia готовится к выпуску NVIDIA DGX Spark - небольшого суперкомпьютера для ИИ на архитектуре Blackwell с 128+ ГБ объединённой оперативной памяти и производительностью 1 ПФЛОПС в области ИИ. Отличное устройство для запуска больших языковых моделей.

Давайте сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ и ИИ в целом. В частности, обратите внимание на цены на RTX 5080 и RTX 5090. Они немного снизились.