SelfHosting

Фреймворки для ИИ-агентов с открытым исходным кодом стремительно набирают популярность на GitHub. Два проекта, являющихся основой экосистемы самохостинговых ИИ-систем — OpenClaw и Hermes Agent — настолько опередили остальных, что вся остальная отрасль борется за отдаленное третье место.

Я протестировал производительность спекулятивного декодирования (Multi-Token Prediction, MTP) в моделях Qwen 3.6 27B и 35B на видеокарте RTX 4080 с 16 ГБ видеопамяти (VRAM).

Режим маршрутизации llama.cpp — одно из самых полезных изменений в llama-server за последние годы. Наконец-то локальным операторам LLM предоставляется опыт управления моделями, близкий к тому, к которому пользователи привыкли в Ollama, при этом сохраняются высокая производительность и низкоуровневый контроль, которые делают llama.cpp стоящими того, чтобы использовать их в первую очередь.

Эта страница представляет собой практическое руководство по настройке агентов на базе LLM (температура, top_p, top_k, штрафы и их взаимодействие в многоступенчатых рабочих процессах с интенсивным использованием инструментов).

Вы уже общаетесь с агентом Hermes через телефон, используя текстовые сообщения. Теперь вы хотите говорить с ним напрямую и получать ответы голосом. Как правило, это правильное решение, особенно если вы уже используете Hermes как постоянно работающего автономного ассистента. Ввод длинных подсказок на маленьком экране медленный и подвержен ошибкам.

Агент Hermes поставляется с доской в стиле Канбан и шлюзом Hermes Gateway, который может перегрузить вашу локально развернутую модель LLM, если одновременно будет отправлено слишком много задач.

Hermes Agent рассматривает навыки (skills) как основной способ обучения повторяемым рабочим процессам. В официальной документации они описываются как документы с знаниями, доступные по требованию и соответствующие открытому формату agentskills.io. Они загружаются через механизм постепенного раскрытия (progressive disclosure), благодаря чему модель сначала видит небольшой индекс и извлекает полные инструкции только тогда, когда задача действительно в них нуждается.

Hermes Agent от Nous Research — это модельно-независимый ассистент, использующий инструменты, который вы можете запускать локально или на VPS.

MinIO Community Edition больше не является безопасным выбором по умолчанию для новых производственных систем.

Этот раздел собирает руководства по постоянной памяти и сохранению знаний для систем ИИ — как ассистенты хранят факты, предпочтения и сжатый контекст между сессиями, не пытаясь впихнуть каждый токен в один промпт. Здесь под памятью подразумевается осознанное хранение (факты о пользователе, резюме, хранилища с поддержкой плагинов), а не оперативная память GPU или веса моделей.

Современные ассистенты по-прежнему забывают всё, когда вы закрываете вкладку, если ничего не сохраняется за пределами окна контекста. Провайдеры памяти агентов — это сервисы или библиотеки, которые хранят факты и резюме между сессиями; они часто подключаются как плагины, чтобы фреймворк оставался легковесным, в то время как память масштабируется.

Вы знаете, как это бывает. Вы открываете чат с ИИ-агентом, объясняете суть проекта, делитесь предпочтениями, выполняете работу и закрываете вкладку. Возвращаетесь на следующей неделе, и кажется, будто вы говорите с незнакомцем — весь контекст утерян, каждое предпочтение забыто, проект приходится объяснять заново с нуля.

OpenClaw не провалилась как продукт. Он потерял свое топливо.

Долгое время у llama.cpp была очевидная limitation:
вы могли обслуживать только одну модель в процессе, а переключение требовало перезапуска.

Управление персональными знаниями (PKM) охватывает такие инструменты, как Obsidian, Logseq, DokuWiki, а также методологии Zettelkasten и PARA. Правильный выбор зависит от того, что вам нужно: локальный граф заметок, собственный хостинг вики или рабочий процесс, основанный на аутлайнерах.

Ассистент Hermes AI, официально документированный как Hermes Agent, позиционируется не как простая обертка для чата.