Ai

O futuro da IA não se trata apenas de modelos mais inteligentes. Trata-se também de silício que corresponda à maneira como esses modelos são realmente servidos. O hardware especializado para inferência de LLM segue um caminho reminiscente da transição do mineração de Bitcoin de GPUs para ASICs de propósito específico, mas com restrições mais difíceis, pois os modelos e as receitas de precisão continuam a evoluir.

NVIDIA DGX Spark é real, à venda a partir de 15 de outubro de 2025, e voltado para desenvolvedores de CUDA que necessitam de trabalho local com LLMs, com uma pilha de IA da NVIDIA integrada. O MSRP nos EUA é de $3.999; o varejo no Reino Unido/Alemança/Japão é mais alto devido ao IVA e aos canais de distribuição. Os preços públicos de etiqueta em AUD/KRW ainda não foram amplamente divulgados.

Este guia oferece uma visão abrangente dos SDKs Go para Ollama e compara seus conjuntos de funcionalidades.

Aqui está uma comparação entre Qwen3:30b e GPT-OSS:20b, com foco na capacidade de seguir instruções e nos parâmetros de desempenho, especificações e velocidade.

Os modelos GPT-OSS da Ollama apresentam problemas recorrentes no manuseio de saída estruturada, especialmente quando utilizados com frameworks como LangChain, SDK da OpenAI, vllm e outros.

Modelos de Linguagem de Grande Escala (LLMs) são poderosos, mas em produção raramente queremos parágrafos livres. Em vez disso, queremos dados previsíveis: atributos, fatos ou objetos estruturados que você pode alimentar em um aplicativo. Isso é Saída Estruturada de LLM.

Aqui estou comparando quanto VRAM a nova versão do Ollama alocava para o modelo em relação à versão anterior do Ollama. A nova versão é pior.

Ollama tornou-se rapidamente uma das ferramentas mais populares para executar LLMs localmente. Sua interface de linha de comando simples e o gerenciamento de modelos streamlined o tornaram uma opção preferida para desenvolvedores que desejam trabalhar com modelos de IA fora da nuvem.

O Ollama hospedado localmente permite executar modelos de linguagem grandes na sua própria máquina, mas usá-lo via linha de comando não é amigável. Aqui estão vários projetos de código aberto que oferecem interfaces estilo ChatGPT que se conectam a uma instância local do Ollama.

A newsletter The Pragmatic Engineer publicou há alguns dias estatísticas de pesquisa sobre a popularidade de linguagens de programação, IDEs e ferramentas de IA e outros dados para meados de 2025.

A Nvidia está prestes a lançar o NVIDIA DGX Spark - um pequeno supercomputador de IA baseado na arquitetura Blackwell, com mais de 128 GB de RAM unificada e desempenho de IA de 1 PFLOPS. Um ótimo dispositivo para executar LLMs.

Como o Ollama padrão não possui uma API de rerank direta, você precisará implementar a rerank usando o Qwen3 Reranker em GO gerando embeddings para pares de consulta-documento e atribuindo pontuações a eles.

Neste teste, estou comparando como diferentes LLMs hospedados no Ollama traduzem páginas do Hugo de inglês para alemão.

Este pequeno Exemplo de código Go para reranking que chama o Ollama para gerar embeddings é usado para a consulta e para cada documento candidato, ordenando em ordem decrescente por similaridade cosseno.

Como as Pistas PCIe Afetam o Desempenho de LLM? Depende da tarefa. Para treinamento e inferência multi-GPU, a queda de desempenho é significativa.

Na biblioteca de modelos do Ollama, existem modelos capazes de converter conteúdo HTML para Markdown, o que é útil para tarefas de conversão de conteúdo.