Сократите расходы на LLM на 80% с помощью умной оптимизации токенов
Оптимизация токенов — это ключевой навык, который отделяет экономически эффективные LLM-приложения от экспериментов, разоряющих бюджет.
Ваши фотографии на самоуправляемом AI-облаке
Immich — это революционное открытое программное обеспечение с открытым исходным кодом для управления фотографиями и видео, которое дает вам полный контроль над вашими воспоминаниями. С функциями, сопоставимыми с Google Photos, включая распознавание лиц с использованием ИИ, умный поиск и автоматическое резервное копирование с мобильных устройств, при этом все ваши данные остаются конфиденциальными и защищенными на вашем собственном сервере.
Бенчмарки GPT-OSS 120b на трёх платформах ИИ
Я выкопал некоторые интересные тесты производительности GPT-OSS 120b, работающего на Ollama на трех разных платформах: NVIDIA DGX Spark, Mac Studio и RTX 4080. Модель GPT-OSS 120b из библиотеки Ollama весит 65ГБ, что означает, что она не помещается в 16ГБ видеопамяти RTX 4080 (или более новой RTX 5080).
Создавайте серверы MCP для ИИ-ассистентов с примерами на Python
Протокол Контекста Модели (MCP) революционизирует способ взаимодействия ИИ-ассистентов с внешними источниками данных и инструментами. В этом руководстве мы исследуем, как строить MCP-серверы на Python, с примерами, сосредоточенными на возможностях веб-поиска и парсинга.
Быстрая справка по командам Docker Model Runner
Docker Model Runner (DMR) — это официальное решение Docker для запуска моделей ИИ локально, представленное в апреле 2025 года. Этот справочник предоставляет быстрый доступ ко всем основным командам, настройкам и лучшим практикам.
Сравните Docker Model Runner и Ollama для локальных LLM
Запуск больших языковых моделей (LLM) локально стал все более популярным из-за приватности, контроля затрат и возможностей офлайн-работы. Ландшафт значительно изменился в апреле 2025 года, когда Docker представил Docker Model Runner (DMR), свое официальное решение для развертывания моделей ИИ.
Специализированные интегральные схемы (ASIC) и кастомные чипы повышают скорость и эффективность работы LLM при инференсе.
Будущее ИИ заключается не только в более умных моделях. Оно также связано с кремнием, который соответствует тому, как эти модели фактически обслуживаются. Специализированное оборудование для инференса LLM движется по пути, напоминающему эволюцию майнинга биткоинов от GPU к цельным ASIC-устройствам, хотя ограничения здесь жёстче, поскольку модели и схемы точности продолжают развиваться.
Доступность, фактические розничные цены в шести странах и сравнение с Mac Studio.
NVIDIA DGX Spark действительно существует, поступил в продажу 15 октября 2025 года и ориентирован на разработчиков CUDA, которым необходима локальная работа с LLM в сочетании с интегрированным ИИ-стеком NVIDIA. Розничная цена в США составляет $3 999; цены для конечных потребителей в Великобритании, Германии и Японии выше из-за НДС и ценообразования канала продаж. Публичные розничные цены в AUD (Австралия) и KRW (Южная Корея) пока широко не представлены.
Интеграция Ollama с Go: руководство по SDK, примеры и лучшие практики для production-среды.
Это руководство предоставляет подробный обзор доступных Go SDK для Ollama и сравнивает их функциональные возможности.
Сравнение скорости, параметров и производительности этих двух моделей
Вот сравнение Qwen3:30b и GPT-OSS:20b с акцентом на следовании инструкциям и параметрах производительности, спецификациях и скорости.
Не очень приятно.
Модели GPT-OSS от Ollama (https://www.glukhov.org/ru/llm-performance/ollama/ollama-gpt-oss-structured-output-issues/ “Ollama GPT-OSS”) постоянно сталкиваются с проблемами при работе со структурированным выводом, особенно при использовании с фреймворками вроде LangChain, OpenAI SDK, vllm и другими.
Способы получения структурированного вывода от Ollama
Большие языковые модели (LLM) могут быть мощными инструментами, но в производственных системах мы редко хотим получать свободные текстовые параграфы. Вместо этого нам нужен предсказуемый формат данных: атрибуты, факты или структурированные объекты, которые можно передать в приложение. Об этом как раз и идет речь в статье Структурированный вывод LLM.
Мое собственное тестирование планирования моделей Ollama
Здесь я сравниваю, сколько VRAM новая версия Ollama выделяет для модели по сравнению с предыдущей версией. Новая версия работает хуже.
Моё видение текущего состояния разработки Ollama
Ollama быстро стал одним из самых популярных инструментов для локального запуска LLM. Его простой CLI и упрощённое управление моделями сделали его выбором номер один для разработчиков, которые хотят работать с ИИ-моделями вне облака.
Краткий обзор наиболее заметных интерфейсов для Ollama в 2025 году
Локально размещённый Ollama позволяет запускать большие языковые модели на вашем собственном устройстве, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.
Сравнение инструментов и языков программирования
Недавно в письме Pragmatic Engineer были опубликованы статистические данные опроса о популярности языков программирования, IDE, инструментов ИИ и других данных на середину 2025 года.
