Hardware

Aplicações de monitoramento de carga da GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia está prestes a lançar NVIDIA DGX Spark - pequeno supercomputador de IA baseado na arquitetura Blackwell com 128+GB de memória unificada e 1 PFLOPS de desempenho de IA. Dispositivo interessante para executar LLMs.

Vamos comparar os preços das principais GPUs de consumo, que são adequadas para LLMs em particular e para a IA em geral.
Especificamente, dê uma olhada nos preços do RTX 5080 e RTX 5090. Eles tiveram uma leve queda.

Apenas 3 meses atrás, não víamos a RTX 5090 nas lojas, e agora aqui estão, mas os preços estão ligeiramente mais altos que o MRSP. Vamos comparar os preços mais baixos para RTX 5080 e RTX 5090 na Austrália e ver como está indo.

Top sistema automatizado para alguma tarefa incrível.

Como os canais PCIe afetam o desempenho dos LLM? Dependendo da tarefa. Para treinamento e inferência com múltiplos GPUs - a queda de desempenho é significativa.

Fui muito impactado por esse problema. Mas você deve investigar e testar seu PC se seu BSOD for igual ao meu.
A causa foi o problema de degradação do CPU da Intel nas gerações 13ª e 14ª.

Tenho uma teoria para testar – se utilizar todos os núcleos de um processador Intel aumentaria a velocidade dos LLMs? Estou incomodado com o fato de que o novo modelo gemma3 27 bit (gemma3:27b, 17GB no ollama) não está cabendo na VRAM de 16GB da minha GPU, e está sendo executado parcialmente no CPU.

No meio do caos do mundo moderno aqui estou comparando especificações técnicas de diferentes cartas adequadas para tarefas de IA
(Deep Learning,
Detecção de Objetos
e LLMs).
Elas são todas incrivelmente caras, no entanto.

Quando o servidor Ollama recebe duas solicitações ao mesmo tempo, seu comportamento depende da sua configuração e dos recursos do sistema disponíveis.

A instalação do ET-8500 no Windows está bem documentada nas instruções.
A instalação do driver Linux ET-8500 é simples, mas não trivial.

Comparando a velocidade de previsão de várias versões de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) em CPU e GPU.