SelfHosting

GitHub에서 오픈소스 AI 에이전트 프레임워크의 인기가 폭발적으로 증가하고 있습니다. 자기 호스팅 AI 시스템 생태계의 핵심에 있는 두 프로젝트인 OpenClaw와 Hermes Agent는 압도적인 선두를 차지하여, 나머지 분야에서는 3위 자리를 놓고 치열한 경쟁이 벌어지고 있는 상황입니다.

RTX 4080(16 GB VRAM) 환경에서 Qwen 3.6 27B 및 35B 모델의 추측 해독(Speculative decoding, 다중 토큰 예측(MTP)) 성능을 테스트했습니다.

llama.cpp 라우터 모드는 수년 동안 llama-server에 도입된 변화 중 가장 유용한 변화 중 하나입니다. 이는 로컬 LLM 운영자에게 Ollama에서 기대하는 모델 관리 경험에 가까운 기능을 제공하면서도, llama.cpp를 처음부터 사용하게 만드는 원시 성능과 저레벨 제어를 그대로 유지합니다.

이 페이지는 에이전트형 LLM 추론 튜닝에 대한 실용적인 참고 자료입니다(temperature, top_p, top_k, penalties 및 다단계 및 도구 중심 워크플로우에서의 상호 작용 방식).

이미 스마트폰으로 텍스트를 통해 헤르메스 에이전트(Hermes Agent)와 대화를 나누고 계실텐데요. 이제 직접 말로 소통하고 음성으로 답변을 받아보시는 게 좋습니다. 특히 헤르메스를 영구적인 자체 호스팅 어시스턴트로 사용하고 계신다면 이는 가장 올바른 선택입니다. 작은 화면에서 긴 프롬프트를 입력하는 것은 느리고 실수가 발생하기 쉽기 때문입니다.

Hermes Agent는 칸반 스타일의 보드와 Hermes Gateway를 함께 제공하며, 너무 많은 작업이 한 번에 배포되면 자체 호스팅 LLM을 포화 상태로 만들 수 있습니다.

Hermes Agent는 **스킬(skill)**을 반복 가능한 워크플로우를 가르치는 기본 방식으로 취급합니다. 공식 문서에서는 이를 오픈 agentskills.io 형식에 맞춘 온디맨드(on-demand) 지식 문서로 설명하며, **점진적 공개(progressive disclosure)**를 통해 로드되므로 모델은 먼저 작은 인덱스를 보다가 작업이 실제로 필요할 때만 전체 지침을 가져오게 됩니다.

Nous Research의 Hermes Agent는 로컬이나 VPS에서 실행할 수 있는 모델에 구애받지 않고 도구를 사용하는 에이전트입니다.

MinIO 커뮤니티 에디션(CE)은 더 이상 새로운 프로덕션 시스템의 안전한 기본값으로 간주되지 않습니다.

이 섹션은 AI 시스템의 지속적 지식과 메모리에 대한 가이드를 모았습니다. 즉, 어시스턴트가 모든 토큰을 하나의 프롬프트에 무작정 넣지 않고도 세션 간에 사실, 선호도 및 정제된 맥락을 어떻게 유지하는지에 관한 내용입니다. 여기서 ‘메모리’는 GPU RAM이나 모델 가중치가 아닌, 의도적인 보존(사용자 사실, 요약, 플러그인 기반 저장소)을 의미합니다.

탭을 닫으면 컨텍스트 창을 벗어나는 정보가 없다면 현대적인 어시스턴트는 여전히 모든 내용을 잊어버립니다. **에이전트 메모리 제공자(Agent memory providers)**는 세션 간에 사실과 요약을 유지하는 서비스 또는 라이브러리로, 프레임워크는 가볍게 유지하면서 메모리가 확장되도록 플러그인으로 연결되는 경우가 많습니다.

이미 잘 알고 계실 겁니다. AI 에이전트와 채팅을 시작하고, 프로젝트를 설명하고, 선호도를 공유한 뒤, 작업을 마치고 탭을 닫습니다. 그리고 다음 주에 다시 돌아오면 마치 낯선 사람과 대화하는 기분이 듭니다. 모든 문맥은 사라졌고, 모든 선호도는 잊혔으며, 프로젝트를 처음부터 다시 설명해야 합니다.

OpenClaw는 제품으로서 실패한 것이 아닙니다. 연료를 잃어버린 것입니다.

오랜 기간 동안 llama.cpp에는 뚜렷한 한계가 존재했습니다.
즉, 프로세스당 단 하나의 모델만 서빙(serving)할 수 있었으며, 모델을 변경하려면 재시작이 필요했습니다.

개인 지식 관리(PKM)는 옵시디언(Obsidian), 로그시크(Logseq), 도쿠위키(DokuWiki), 제트카스텐(Zettelkasten), 그리고 PARA를 아우릅니다. 올바른 선택은 로컬 노트 그래프가 필요한지, 자체 호스팅 위키가 필요한지, 아니면 아웃라이너 기반 워크플로우를 원하는지에 따라 달라집니다.

공식 문서상 ‘Hermes 에이전트(Hermes Agent)‘로 기록된 허메스 AI 어시스턴트는 단순한 채팅 래퍼(chat wrapper)로 포지셔닝되지 않습니다.