AI

Режим маршрутизации llama.cpp — одно из самых полезных изменений в llama-server за последние годы. Наконец-то локальным операторам LLM предоставляется опыт управления моделями, близкий к тому, к которому пользователи привыкли в Ollama, при этом сохраняются высокая производительность и низкоуровневый контроль, которые делают llama.cpp стоящими того, чтобы использовать их в первую очередь.

Основная идея проста: скомпилированные знания более пригодны для повторного использования, чем извлеченные фрагменты. RAG стал стандартным ответом на простой вопрос — как предоставить LLM доступ к внешним знаниям?

PKM, RAG, вики и системы памяти ИИ часто обсуждаются так, будто они решают одну и ту же задачу. Это не так. Все они имеют дело со знаниями, но работают на разных уровнях:

Большинство руководств по «структурированному выводу» (structured output) для больших языковых моделей (LLM) не обладают должной серьезностью. Они учат вас вежливо просить модель выдавать JSON и затем надеяться, что она поступит правильно. Это не валидация. Это оптимизм, обернутый в фигурные скобки.

Эта страница представляет собой практическое руководство по настройке агентов на базе LLM (температура, top_p, top_k, штрафы и их взаимодействие в многоступенчатых рабочих процессах с интенсивным использованием инструментов).

Вы уже общаетесь с агентом Hermes через телефон, используя текстовые сообщения. Теперь вы хотите говорить с ним напрямую и получать ответы голосом. Как правило, это правильное решение, особенно если вы уже используете Hermes как постоянно работающего автономного ассистента. Ввод длинных подсказок на маленьком экране медленный и подвержен ошибкам.

Агент Hermes поставляется с доской в стиле Канбан и шлюзом Hermes Gateway, который может перегрузить вашу локально развернутую модель LLM, если одновременно будет отправлено слишком много задач.

Hermes Agent рассматривает навыки (skills) как основной способ обучения повторяемым рабочим процессам. В официальной документации они описываются как документы с знаниями, доступные по требованию и соответствующие открытому формату agentskills.io. Они загружаются через механизм постепенного раскрытия (progressive disclosure), благодаря чему модель сначала видит небольшой индекс и извлекает полные инструкции только тогда, когда задача действительно в них нуждается.

Hermes Agent от Nous Research — это модельно-независимый ассистент, использующий инструменты, который вы можете запускать локально или на VPS.

Большинство стеков ИИ-агентов по-прежнему рассматривают безопасность как проблему, которую нужно решать после демонстрации. NemoClaw исходит из противоположного предположения и делает изоляцию, политики и маршрутизацию настройками по умолчанию с первого дня.

Этот раздел собирает руководства по постоянной памяти и сохранению знаний для систем ИИ — как ассистенты хранят факты, предпочтения и сжатый контекст между сессиями, не пытаясь впихнуть каждый токен в один промпт. Здесь под памятью подразумевается осознанное хранение (факты о пользователе, резюме, хранилища с поддержкой плагинов), а не оперативная память GPU или веса моделей.

Современные ассистенты по-прежнему все забывают, как только вы закрываете вкладку, если только что-то не сохраняется за пределами контекстного окна. Провайдеры памяти агентов (Agent memory providers) — это сервисы или библиотеки, которые хранят факты и резюме между сессиями. Зачастую они подключаются как плагины, чтобы фреймворк оставался легковесным, в то время как масштабируемость памяти росла.

Вы знаете, как это бывает. Вы открываете чат с ИИ-агентом, объясняете суть проекта, делитесь предпочтениями, выполняете работу и закрываете вкладку. Возвращаетесь на следующей неделе, и кажется, будто вы говорите с незнакомцем — весь контекст утерян, каждое предпочтение забыто, проект приходится объяснять заново с нуля.

OpenClaw не провалился как продукт. Он потерял свое топливо.

Долгое время у llama.cpp была существенное ограничение: вы могли обслуживать только одну модель на процесс, а переключение требовало перезапуска.

Ассистент Hermes AI, официально документированный как Hermes Agent, позиционируется не как простая обертка для чата.