Algumas maneiras de obter saída estruturada do Ollama
Grandes Modelos de Linguagem (LLMs) são poderosos, mas em produção raramente queremos parágrafos em formato livre. Em vez disso, queremos dados previsíveis: atributos, fatos ou objetos estruturados que você pode alimentar em um aplicativo. Isso é Saída Estruturada de LLM.
Meu próprio teste de agendamento de modelos Ollama
Aqui estou comparando quanto VRAM a nova versão do Ollama alocava para o modelo em relação à versão anterior do Ollama. A nova versão é pior.
Pensando em instalar uma segunda GPU para LLMs?
Como as faixas PCIe afetam o desempenho de LLMs? Depende da tarefa. Para treinamento e inferência com múltiplas GPUs, a queda de desempenho é significativa.
Ollama em CPUs Intel: núcleos eficientes versus núcleos de desempenho
Tenho uma teoria para testar: se utilizar todos os núcleos de uma CPU Intel aumentaria a velocidade dos LLMs? Isso tem me incomodado: o novo modelo gemma3 de 27 bilhões (gemma3:27b, 17GB no Ollama) não cabe nos 16GB de VRAM da minha GPU e está rodando parcialmente na CPU.
A IA requer muita energia...
No meio da agitação do mundo moderno, estou aqui comparando as especificações técnicas de diferentes placas adequadas para tarefas de IA (Aprendizado Profundo, Detecção de Objetos e LLMs). Elas são todas incrivelmente caras, no entanto.
Compreenda a concorrencia do Ollama, a fila de processamento e como ajustar OLLAMA_NUM_PARALLEL para solicitações paralelas estáveis.
Este guia explica como o Ollama lida com requisições paralelas (concorrência, fila e limites de recursos), e como ajustar isso usando a variável de ambiente OLLAMA_NUM_PARALLEL (e outras configurações relacionadas).
Próxima rodada de testes de LLM
Não foi muito tempo atrás que foi lançado. Vamos dar uma olhada e testar como o Mistral Small se compara a outros LLMs.
Teste de detecção de falácias lógicas
Recentemente, vimos o lançamento de vários novos LLMs. Tempos emocionantes. Vamos testar e ver como eles se comportam na detecção de falácias lógicas.
8 versões do LLM llama3 (Meta+) e 5 versões do LLM phi3 (Microsoft)
Testando como modelos com diferentes números de parâmetros e quantização estão se comportando.
Vamos testar a velocidade dos LLMs em GPU versus CPU.
Comparando a velocidade de predição de várias versões de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (código aberto) em CPU e GPU.
