Verdade sobre os preços - RTX 5080 e RTX 5090
Apenas 3 meses atrás, não víamos a RTX 5090 nas lojas, e agora aqui estão, mas os preços estão ligeiramente mais altos que o MRSP. Vamos comparar os preços mais baixos para RTX 5080 e RTX 5090 na Austrália e ver como está indo.
Mais RAM, menos potência e ainda caro como...
Top sistema automatizado para alguma tarefa incrível.
Pensando em instalar uma segunda GPU para LLMs?
Como os canais PCIe afetam o desempenho dos LLM? Dependendo da tarefa. Para treinamento e inferência com múltiplos GPUs - a queda de desempenho é significativa.
E por que tenho estado vendo esse BSOD...
Fui muito impactado por esse problema. Mas você deve investigar e testar seu PC se seu BSOD for igual ao meu.
A causa foi o problema de degradação do CPU da Intel nas gerações 13ª e 14ª.
Ollama em CPU da Intel: núcleos eficientes vs. núcleos de desempenho
Tenho uma teoria para testar – se utilizar todos os núcleos de um processador Intel aumentaria a velocidade dos LLMs? Estou incomodado com o fato de que o novo modelo gemma3 27 bit (gemma3:27b, 17GB no ollama) não está cabendo na VRAM de 16GB da minha GPU, e está sendo executado parcialmente no CPU.
A IA exige muita potência...
No meio do caos do mundo moderno aqui estou comparando especificações técnicas de diferentes cartas adequadas para tarefas de IA
(Deep Learning,
Detecção de Objetos
e LLMs).
Elas são todas incrivelmente caras, no entanto.
Configurando ollama para execução de solicitações em paralelo.
Quando o servidor Ollama recebe duas solicitações ao mesmo tempo, seu comportamento depende da sua configuração e dos recursos do sistema disponíveis.
Vamos testar a velocidade dos LLMs na GPU versus a CPU
Comparando a velocidade de previsão de várias versões de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) em CPU e GPU.
