E por que tenho estado a ver este BSOD...
Fui duramente afetado por este problema. Mas você deve investigar e testar seu PC se o seu BSOD for igual ao meu. A causa foi o Problema de Degradação de CPU da Intel nas 13ª e 14ª Gerações.
Ollama em CPUs Intel: núcleos eficientes versus núcleos de desempenho
Tenho uma teoria para testar: se utilizar todos os núcleos de uma CPU Intel aumentaria a velocidade dos LLMs? Isso tem me incomodado: o novo modelo gemma3 de 27 bilhões (gemma3:27b, 17GB no Ollama) não cabe nos 16GB de VRAM da minha GPU e está rodando parcialmente na CPU.
A IA requer muita energia...
No meio da agitação do mundo moderno, estou aqui comparando as especificações técnicas de diferentes placas adequadas para tarefas de IA (Aprendizado Profundo, Detecção de Objetos e LLMs). Elas são todas incrivelmente caras, no entanto.
Compreenda a concorrencia do Ollama, a fila de processamento e como ajustar OLLAMA_NUM_PARALLEL para solicitações paralelas estáveis.
Este guia explica como o Ollama lida com requisições paralelas (concorrência, fila e limites de recursos), e como ajustar isso usando a variável de ambiente OLLAMA_NUM_PARALLEL (e outras configurações relacionadas).
É muito mais simples em comparação aos antigos drivers de impressora.
A instalação do ET-8500 no Windows está bem documentada no manual. A instalação do driver do ET-8500 para Linux é simples, mas não trivial.
Vamos testar a velocidade dos LLMs em GPU versus CPU.
Comparando a velocidade de predição de várias versões de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (código aberto) em CPU e GPU.
