AI

2026년 AI 하드웨어 시장은 크게 변화했습니다. NVIDIA, AMD, 인텔은 모두 로컬 대규모 언어 모델(LLM)과 AI 추론 워크로드를 처리할 수 있는 GPU를 필요로 하는 개발자들을 두고 치열한 경쟁을 벌이고 있습니다.

데스크톱 클라이언트에서 다른 머신의 헤드리스 서버에 Hermes 에이전트를 실행하고 연결하려면 두 개의 서버 프로세스와 하나의 클라이언트 연결이 필요합니다.

프롬프트 인젝션은 LLM 시스템에서 가장 많은 보안 관심을 받고 있으며, 주목받을 만하지만 에이전트가 도구를 호출하고 작업을 다른 에이전트에 위임하기 시작하면 이것이 유일한 문제는 아닙니다.

대부분의 AI 에이전트 데모는 여전히 몇 가지 추가 단계를 거친 채팅 완성(chat completion)과 비슷하게 작동합니다. 프롬프트를 보내고 몇 초를 기다린 후, 하나의 응답으로 답변을 받습니다.

70B 모델은 포워드 패스당 1개의 토큰을 생성하며, 각 패스에서는 VRAM에서 가중치를 다시 로드하고, 컨텍스트에 대한 어텐션을 계산하며, 메모리를 동기화합니다. 토큰 사이에는 GPU가 순차적인 의존성이 해결되기를 기다리며 유휴 상태(idle)에 있게 됩니다.

구글의 에이전트 투 에이전트(Agent2Agent) 프로토콜, 즉 A2A는 첫해를 다소 혼란스럽게 보냈습니다.

폴링 에이전트(Polling Agent)는 AI 어시스턴트 아키텍처에서 가장 화려하지는 않지만, 동시에 가장 유용한 구성 요소 중 하나입니다.

AI 에이전트 아키텍처는 이제 두 가지 레이어로 분화되기 시작하고 있습니다.

A2A 프로토콜(에이전트 투 에이전트 프로토콜)은 독립적인 AI 에이전트 시스템 간의 통신을 위한 개방형 표준입니다.

Design decisions for production LLM systems — routing, cost, guardrails, and multi-model orchestration. The layer between running models and building reliable AI applications.

LLM 비용은 사용량에 따라 선형적으로 증가합니다. 하루에 10,000건의 요청을 처리하고 요청 건당 0.01달러를 지불하는 시스템의 경우, 일일 비용은 100달러이며 연간으로는 365달러가 됩니다. 엔터프라이즈 규모에서는 이 비용이 10,000달러를 넘습니다.

단일 모델 시스템은 단순합니다. 다중 모델 시스템은 강력합니다. 여기서 핵심 과제는 모델을 선택하는 것이 아니라, 이러한 모델들을 조율하는 아키텍처를 설계하는 것입니다.

200단어짜리 이메일을 요약하기 위해 700억 파라미터 모델 실행은 낭비입니다. 프로덕션 코드를 검토하기 위해 30억 파라미터 모델을 실행하는 것은 무모합니다. 대부분의 시스템은 이 두 극단 사이의 어딘가에 위치해 있으며, 바로 여기서 모델 라우팅(Model Routing)의 역할이 시작됩니다.

대형 언어 모델(LLM)은 예측 불가능합니다. 환각(hallucination) 현상이 발생하거나, 데이터가 유출되거나, 유해한 콘텐츠를 생성하거나, 합법적인 요청을 거부하기도 합니다. 가드레일(Guardrails)은 모델의 성능을 희생하지 않으면서도 모델의 행동을 제한합니다.

메모리는 어시스턴트를 반응형에서 지속형으로 바꾸지만, 동시에 많은 시스템이 조용히 부패하는 곳이기도 합니다. 최신 에이전트 메모리에 대해 단기 기억과 장기 기억의 이분법은 더 이상 충분하지 않다고 주장하는 조사가 있으며, OpenAI와 LangGraph SDK는 더 단순한 스택을 지시합니다 — 워킹 메모리(작업 메모리), 내구성 상태(durable state), 검색(retrieval).

생산 환경용 AI 어시스턴트는 단순히 “프롬프트가 붙은 LLM"이 아닙니다. 이는 의도(Intent)를 받아들이고, 상태를 유지하며, 언제 검색하거나 행동할지 결정하고, 실패를 디버깅할 수 있는 충분한 런타임 세부 정보를 제공하는 시스템입니다.