Cheatsheet

Режим маршрутизации llama.cpp — одно из самых полезных изменений в llama-server за последние годы. Наконец-то локальным операторам LLM предоставляется опыт управления моделями, близкий к тому, к которому пользователи привыкли в Ollama, при этом сохраняются высокая производительность и низкоуровневый контроль, которые делают llama.cpp стоящими того, чтобы использовать их в первую очередь.

Эта страница представляет собой практическое руководство по настройке агентов на базе LLM (температура, top_p, top_k, штрафы и их взаимодействие в многоступенчатых рабочих процессах с интенсивным использованием инструментов).

Hermes Agent от Nous Research — это модельно-независимый ассистент, использующий инструменты, который вы можете запускать локально или на VPS.

Большинство стеков ИИ-агентов по-прежнему рассматривают безопасность как проблему, которую нужно решать после демонстрации. NemoClaw исходит из противоположного предположения и делает изоляцию, политики и маршрутизацию настройками по умолчанию с первого дня.

Долгое время у llama.cpp была существенное ограничение: вы могли обслуживать только одну модель на процесс, а переключение требовало перезапуска.

Пакетные файлы и скрипты оболочки часто требуют короткой паузы, чтобы окно, запущенное двойным щелчком, или журнал установщика оставались видимыми. В Windows CMD для этого есть специальная команда pause. В оболочках Unix используется команда read.

SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.

Вскоре вы будете жонглировать vLLM, llama.cpp и другими решениями — каждый стек на своем порту. Все downstream-системы все еще хотят один базовый URL /v1; иначе вы постоянно переставляете порты, профили и одноразовые скрипты. llama-swap — это прокси /v1 перед этими стеками.

OpenHands — это открытая платформа, не зависящая от конкретной модели, для агентов ИИ в сфере разработки программного обеспечения. Она позволяет агенту вести себя скорее как партнер по программированию, чем как простой инструмент автодополнения.

LocalAI — это самодостаточный сервер вывода с приоритетом на локальное использование, разработанный для работы как прямая замена OpenAI API для запуска ИИ-нагрузок на вашем собственном оборудовании (ноутбук, рабочая станция или сервер в центре обработки данных).

Я снова и снова возвращаюсь к llama.cpp для локального инференса — он дает вам контроль, от которого отказываются Ollama и другие решения, и просто работает. Легко запускать GGUF-модели интерактивно через llama-cli или предоставлять совместимый с OpenAI HTTP API через llama-server.

OpenCode — это агент для программирования на базе ИИ с открытым исходным кодом, который можно запускать в терминале (TUI + CLI) с дополнительными интерфейсами для рабочего стола и IDE. Это руководство по быстрому старту OpenCode Quickstart: установка, проверка, подключение модели/провайдера и запуск рабочих процессов (CLI + API).

Выбор правильного стека для автоматизации браузера и веб-скрейпинга на Go влияет на скорость, обслуживание и место выполнения вашего кода.

Запускатели рабочего стола на Ubuntu 24 (и на большинстве рабочих столов Linux) определяются файлами .desktop: небольшими текстовыми файлами конфигурации, которые описывают приложение или ссылку.

Выбор правильного стека автоматизации браузера в Python влияет на скорость и стабильность. Этот обзор сравнивает Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge - с акцентом на Python, с учетом, где подходят Node.js или другие языки.

Два мощных варианта для создания терминальных пользовательских интерфейсов сегодня — это BubbleTea (Go) и Ratatui (Rust). Один предлагает вам opinionated-фреймворк в стиле Elm; другой — гибкую библиотеку immediate-mode.