Hardware

Приложения для мониторинга нагрузки GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia готовится к выпуску NVIDIA DGX Spark - небольшого суперкомпьютера для ИИ на архитектуре Blackwell с 128+ ГБ объединённой оперативной памяти и производительностью 1 ПФЛОПс в вычислениях ИИ.

Давайте сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ и ИИ в целом. В частности, обратите внимание на цены на RTX 5080 и RTX 5090. Они немного снизились.

Просто три месяца назад мы не видели RTX 5090 в магазинах, а теперь они здесь, но цены немного выше, чем MRSP.
Давайте сравним самые низкие цены на RTX 5080 и RTX 5090 в Австралии и посмотрим, как обстоят дела.

Самая продвинутая автоматизированная система для потрясающей работы.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

Я сильно пострадал от этой проблемы. Но вы должны проверить и протестировать свой компьютер, если ваш BSOD похож на мой.
Причина заключается в проблеме деградации процессоров Intel 13-го и 14-го поколений.

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

В условиях хаоса современного мира здесь я сравниваю технические характеристики различных карт, подходящих для задач AI (Deep Learning, Обнаружение объектов и LLMs). Однако они все невероятно дорогие.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от настройки и доступных системных ресурсов.

Установка ET-8500 на Windows хорошо документирована в инструкции. Установка драйвера ET-8500 для Linux проста, но не тривиальна.

Сравнение скорости предсказания нескольких версий LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на процессоре и видеокарте.