Ollama

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

Strategic guide to hosting large language models locally, on consumer hardware, in containers, or in the cloud. Compare tools, performance trade-offs, and cost considerations.

Размещение ЛЛМ на собственных серверах позволяет контролировать данные, модели и вычисления — практический путь к суверенитету ИИ для команд, предприятий и стран. Здесь мы расскажем, что такое суверенный ИИ, какие аспекты и методы используются для его создания, как размещение ЛЛМ на собственных серверах вписывается в эту концепцию и как страны решают эту задачу.

Запуск крупных языковых моделей локально обеспечивает вам конфиденциальность, возможность работы оффлайн и отсутствие затрат на API. Этот бенчмарк раскрывает, чего именно можно ожидать от 9 популярных LLMs на Ollama на RTX 4080.

Экосистема Go продолжает процветать с инновационными проектами, охватывающими инструменты ИИ, самоуправляемые приложения и инфраструктуру разработчиков. Этот обзор анализирует самые популярные репозитории Go на GitHub в этом месяце.

Open WebUI — это мощное, расширяемое и функциональное веб-приложение для взаимодействия с большими языковыми моделями.

NVIDIA DGX Spark (GB10 Grace Blackwell) теперь доступен в Австралии в местных магазинах у крупных розничных продавцов ПК с наличием на складе. Если вы следили за глобальными ценами и доступностью DGX Spark, вам будет интересно узнать, что цены в Австралии составляют от 6 249 до 7 999 AUD в зависимости от конфигурации хранилища и продавца.

Cognee — это фреймворк на Python для создания знаний из документов с использованием LLMs. Но работает ли он с локальными моделями?

При работе с большими языковыми моделями в производственной среде получение структурированных, типизированных выходных данных имеет критическое значение. Два популярных фреймворка - BAML и Instructor - предлагают разные подходы к решению этой проблемы.

Выбор лучшей LLM для Cognee требует баланса между качеством построения графов, уровнем галлюцинаций и ограничениями оборудования. Cognee лучше всего работает с крупными моделями с низким уровнем галлюцинаций (32B+) через Ollama, но средние по размеру варианты подходят для более легких настроек.

Библиотека Python для Ollama теперь включает в себя нативные возможности поиска в интернете с Ollama. С несколькими строками кода вы можете дополнить свои локальные LLMs актуальной информацией из интернета, снижая вероятность галлюцинаций и повышая точность.

Ollama’s Web Search API позволяет дополнять локальные LLMs актуальной информацией из интернета. Это руководство показывает, как реализовать возможности веб-поиска на Go, от простых API-запросов до полнофункциональных поисковых агентов.

Локальное развертывание LLMs (https://www.glukhov.org/ru/llm-hosting/comparisons/hosting-llms-ollama-localai-jan-lmstudio-vllm-comparison/ “Локальное развертывание крупных языковых моделей”) стало все более популярным, поскольку разработчики и организации стремятся к повышенной конфиденциальности, снижению задержек и большему контролю над своей инфраструктурой ИИ.

Демократизация ИИ уже здесь. С открытыми моделями ИИ с открытым исходным кодом, такими как Llama 3, Mixtral и Qwen, которые теперь соперничают с проприетарными моделями, команды могут создавать мощную инфраструктуру ИИ с использованием потребительского оборудования - снижая затраты, сохраняя при этом полный контроль над конфиденциальностью данных и развертыванием.

Я выкопал некоторые интересные тесты производительности GPT-OSS 120b, работающей на Ollama на трех разных платформах: NVIDIA DGX Spark, Mac Studio и RTX 4080. Модель GPT-OSS 120b из библиотеки Ollama весит 65ГБ, что означает, что она не помещается в 16ГБ видеопамяти RTX 4080 (или более новой RTX 5080).

Запуск больших языковых моделей (LLM) локально стал все более популярным благодаря конфиденциальности, контролю затрат и возможностям работы офлайн. Ландшафт значительно изменился в апреле 2025 года, когда Docker представил Docker Model Runner (DMR), свое официальное решение для развертывания моделей ИИ.