AI

Ollama в Docker Compose с использованием GPU и постоянным хранилищем моделей

Ollama в Docker Compose с использованием GPU и постоянным хранилищем моделей

Ollama-сервер с приоритетом композинга, поддержкой GPU и сохранением состояния.

Ollama отлично работает на «голом» железе. Но становится еще интереснее, если рассматривать его как сервис: стабильный конечный пункт, зафиксированные версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.

Ollama за обратным прокси-сервером Caddy или Nginx для потоковой передачи через HTTPS

Ollama за обратным прокси-сервером Caddy или Nginx для потоковой передачи через HTTPS

HTTPS для Ollama без нарушения потоковой передачи ответов.

Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.

Быстрый старт SGLang: установка, настройка и развертывание больших языковых моделей через API OpenAI

Быстрый старт SGLang: установка, настройка и развертывание больших языковых моделей через API OpenAI

Запускайте открытые модели быстро с помощью SGLang.

SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.

Быстрый старт переключателя моделей llama.swap для локальных LLM, совместимых с OpenAI

Быстрый старт переключателя моделей llama.swap для локальных LLM, совместимых с OpenAI

Горячая замена локальных LLM без изменения клиентов.

Вот вы скоро балансируете между vLLM, llama.cpp и прочим стеком — каждый на своем порту. Все downstream-системы все еще ожидают единый базовый URL /v1; иначе вы будете постоянно менять порты, профили и разовые скрипты. llama-swap — это прокси для /v1, стоящее перед этими стеками.

Обзор Opencode: честные результаты, риски биллинга и когда это того стоит

Обзор Opencode: честные результаты, риски биллинга и когда это того стоит

Что происходит на самом деле при запуске Ultrawork.

Oh My Opencode обещает «виртуальную команду AI-разработчиков» — Сизиф координирует специалистов, задачи выполняются параллельно, а волшебное ключевое слово ultrawork активирует всё это.

Обзор специализированных агентов Opencode и руководство по моделям

Обзор специализированных агентов Opencode и руководство по моделям

Познакомьтесь с Sisyphus и его командой специализированных агентов.

Наибольший скачок в возможностях OpenCode обеспечивается специализированными агентами: осозванным разделением оркестрации, планирования, выполнения и исследований.

Быстрый старт с OpenHands Coding Assistant: установка, флаги командной строки, примеры

Быстрый старт с OpenHands Coding Assistant: установка, флаги командной строки, примеры

Быстрый старт с OpenHands CLI за несколько минут

OpenHands — это открытая платформа, не зависящая от конкретной модели, для агентов ИИ в сфере разработки программного обеспечения. Она позволяет агенту вести себя скорее как партнер по программированию, чем как простой инструмент автодополнения.

Быстрый старт с LocalAI: запуск локальных LLM, совместимых с OpenAI

Быстрый старт с LocalAI: запуск локальных LLM, совместимых с OpenAI

Запустите собственные API, совместимые с OpenAI, с помощью LocalAI за несколько минут.

LocalAI — это самодостаточный сервер вывода с приоритетом на локальное использование, разработанный для работы как прямая замена OpenAI API для запуска ИИ-нагрузок на вашем собственном оборудовании (ноутбук, рабочая станция или сервер в центре обработки данных).

Быстрый старт llama.cpp с CLI и сервером

Быстрый старт llama.cpp с CLI и сервером

Как установить, настроить и использовать OpenCode

Я постоянно возвращаюсь к llama.cpp для локального вывода — он дает вам контроль, который Ollama и другие абстрагируют, и просто работает. Легко запускать модели GGUF интерактивно с llama-cli или предоставлять совместимый с OpenAI HTTP API с llama-server.

Инструменты для разработчиков ИИ: Полное руководство по разработке с использованием искусственного интеллекта

Инструменты для разработчиков ИИ: Полное руководство по разработке с использованием искусственного интеллекта

Искусственный интеллект меняет способы написания, проверки, развертывания и поддержки программного обеспечения. От ИИ-ассистентов для написания кода до автоматизации GitOps и DevOps-процессов — разработчики теперь используют инструменты на базе ИИ на протяжении всего жизненного цикла разработки ПО.

Airtable для разработчиков и DevOps — тарифные планы, API, вебхуки и примеры на Go/Python

Airtable для разработчиков и DevOps — тарифные планы, API, вебхуки и примеры на Go/Python

Airtable — ограничения бесплатного плана, API, вебхуки, Go и Python.

Airtable лучше всего рассматривать как платформу для создания приложений с низким уровнем кода, построенную вокруг совместного “базоподобного” интерфейса таблиц - отличное решение для быстрого создания операционных инструментов (внутренние трекеры, легковесные CRM, контентные конвейеры, очереди оценки ИИ), где неразработчикам нужен дружелюбный интерфейс, а разработчикам - API для автоматизации и интеграции.

Быстрый старт OpenCode: установка, настройка и использование терминального AI-агента для программирования

Быстрый старт OpenCode: установка, настройка и использование терминального AI-агента для программирования

Как установить, настроить и использовать OpenCode

OpenCode — это агент искусственного интеллекта для написания кода с открытым исходным кодом, который можно запускать в терминале (TUI + CLI) с опциональными поверхностями для настольных приложений и IDE. Это Быстрый старт OpenCode: установка, проверка, подключение модели/провайдера и выполнение реальных рабочих процессов (CLI + API).

Мониторинг инференса LLM в продакшене (2026): Prometheus и Grafana для vLLM, TGI, llama.cpp

Мониторинг инференса LLM в продакшене (2026): Prometheus и Grafana для vLLM, TGI, llama.cpp

Мониторинг LLM с помощью Prometheus и Grafana

Learn how to monitor LLM inference servers (vLLM, Hugging Face TGI, llama.cpp) using Prometheus and Grafana. This article covers what to measure, how to expose and scrape /metrics, example PromQL queries for p95 latency and tokens/sec, ready-to-use Docker Compose and Kubernetes manifests, Grafana dashboard provisioning, alerting, and real-world troubleshooting.