AI 에이전트의 자기 강화형 메모리 루프: 원인과 해결책

지속적 메모리는 에이전트를 매번 설명을 들어야 하는 도구에서 컨텍스트를 유지하며 나아가는 존재로 전환시켜 줍니다. 하지만 이는 무상태(stateless) 채팅이 피하는 실패 모드를 열어젖히기도 합니다. 해석(interpretation)이 메모리가 되어 사실처럼 검색되고, 이를 근거로 자신에 대한 더 강력한 버전의 정당화를 만드는 식입니다.

이것은 자기 강화형 메모리 루프입니다. 이 메커니즘은 악의, 손상된 플러그인, 또는 특별한 프롬프트를 요구하지 않습니다. 표준 캡처 파이프라인은 어시스턴트의 출력을 저장하고, 표준 검색 파이프라인은 이를 컨텍스트로 표면화하며, 모델은 검색된 텍스트가 보통 증거이기 때문에 이를 증거로 간주합니다.

이는 환각(hallucination)과 한 가지 중요한 점에서 다릅니다. 환각은 대화结束时 사라지지만, 지속적 메모리로 승격된 환각은 자신을 생성한 세션을 넘어서 생존하고, 수 주 후 무관한 컨텍스트에서 다시 나타날 수 있으며, 반복에만 의존하여 겉으로는 신뢰성을 얻게 됩니다. 더 광범위한 메모리 모델에서 이 문제는 — 작업 메모리, 구조화된 상태, 그리고 검색 메모리를 세 가지 별도의 계약으로 보는 모델 — 안쪽에 위치합니다. AI 시스템 메모리 허브를 참고하십시오. 여기서 AI 어시스턴트에서의 메모리 시스템를 다루고 있으며, 이미 오래된 또는 모순되는 메모리를 가장 일반적인 프로덕션 실패로 지적하고 있습니다. 이 기사는 그 구체적인 실패가 왜 계속해서 반복되는지 한 단계 더 깊이 들어갑니다.

어떤 메모리 시스템이든 묻고 가치가 있는 질문은 단순히 그것이 기억하는지 여부가 아닙니다. 그것은 미래 추론을 위한 증거가 될 수 있는 것이 무엇인지에 관한 것입니다. 이를 잘 답하려면 사용자가 명시적으로 진술한 것, 도구가 실제로 관찰한 것, 외부 문서가 보고한 것, 그리고 모델이 단순히 추론하거나 요약한 것을 구별해야 합니다. 이러한 범주가 “메모리"라는 단일한 미분별 풀(pool)로 붕괴되면, 생성된 결론은 관찰과 구별할 수 없게 됩니다 — 메모리 시스템은 사실상 추론을 전제로 세탁한 셈이 됩니다. 해당 구분을 적용하여 단일 프로바이더를 실행하는 실용적인 워크스루를 보려면 Hermes Agent를 위한 Mnemosyne: 로컬 메모리 퀵스타트를, 그리고 8개 이상의 주류 프로바이더가 이 정확한 축에서 어떻게 다른지 보려면 Agent Memory Providers Compared를 참고하십시오.

자기 강화형 메모리 루프란 무엇인가?

가장 단순한 버전은 고정된 형태를 가집니다: 사용자가 무언가를 진술하면, 에이전트는 그로부터 결론을 추론하고, 메모리는 그 결론을 저장합니다. 미래 세션이 이를 재호출하면, 에이전트는 재호출된 문장을 증거로 취급하여 더 강력한 결론을 유도하고, 이를 다시 메모리에 기록합니다. 그 후 사이클은 반복되며, 새로운 관찰이 파이프라인에 들어오는 것 없이 매번 약간 더 확신에 찬 주장이 됩니다.

캐시 구성 변경 이후 배포가 실패했다는 것을 에이전트에게 알려주는 개발자를 생각해 보십시오. 캐시 구성이 아마도 실패의 원인이었을 것이라는 것은 합리적인 추론이며, 현재 컨텍스트 안에 머물러 있다면 유용한 추론입니다. 하지만 자동 메모리 추출기가 “캐시 구성이 배포 실패를 일으켰다"는 평범한 주장을 사실로 저장할 때 피해가 시작됩니다. 일주일 후, 두 번째 무관한 배포가 실패합니다. 에이전트는 저장된 주장을 검색하여 캐시 레이어가 불안정성의 이력을 가지고 있다고 추론하며, 이는 더 일반적인 믿음으로 기록됩니다. 세 번째 통과(pass)까지 저장된 메모리는 “캐시 레이어는 신뢰할 수 없는 것으로 알려져 있으며 대체되어야 한다"고 읽히게 됩니다 — 새로운 증거가 전혀 없는데도 구성된 확신에 찬 조직적 주장입니다.

왜 지속적 에이전트 메모리가 데이터베이스보다 이를 더 악화시키는지

전통적인 애플리케이션 데이터베이스에는 명시적인 쓰기 경로가 있습니다: 알려진 사용자, API 호출, 또는 트랜잭션이 변경했기 때문에 필드가 변경되는 것입니다. 에이전트 메모리 시스템은 일반적으로 훨씬 더 많은 작성자(writers)를 가집니다 — 사용자, 어시스턴트, 도구 결과, 자동 턴 캡처 훅, 사실 추출기, 세션 요약기, 반성(pass), 통합(consolidation) 프로세스, 그리고 때로는 또 다른 에이전트 — 그리고 자동 프롬프트 인젝션, 의미론적 검색, 서브 에이전트 도구를 포함하여 그만큼 많은 독자(readers)도 있습니다. 한 독자의 출력이 다른 작성자의 입력이 될 수 있게 되면, 시스템은 단순한 스토어가 아니라 피드백 루프가 되며, “누가 언제 이것을 썼는가"에 대한 일반적인 데이터베이스 직관은 더 이상 적용되지 않습니다.

메모리 피드백의 주요 형태

자기 강화는 하나의 메커니즘이 아닙니다 — 그것은 최소한 7가지 관련하지만 명확히 구별되는 패턴으로 나타납니다. 그리고 메모리 프로바이더는 하나에는 저항성이 있으면서 다른 하나에는 취약할 수 있습니다.

어시스턴트 자기 에코

가장 단순한 경우는 어시스턴트 메시지가 자동으로 유지될 때 발생합니다: 모델의 이전 답변이 다음 답변의 컨텍스트 증거가 됩니다. 이것이 자동으로 답변을 틀리게 만드는 것은 아니지만, 그 인식론적 지위를 바꿉니다 — 생성된 언어가 지속적 컨텍스트가 된 것입니다. 가장 안전한 일반 규칙은 사용자 및 도구 관찰은 메모리 후보가 될 수 있지만, 어시스턴트의 결론은 별도의 승격 단계 없이 자동으로 사실이 되면 안 된다는 것입니다.

요약의 요약 드리프트

장기 실행 에이전트는 대화를 반복적으로 압축합니다 — 원시 대화에서 요약으로, 요약에서 장기 메모리로, 메모리에서 사용자 프로필로 — 그리고 각 변환은 자격 요건(qualifier)을 조용히 제거할 수 있습니다. “보통 PostgreSQL을 사용하지만, 작은 도구는 SQLite가 괜찮다"는 “사용자는 PostgreSQL을 선호한다"로, “사용자는 PostgreSQL을 사용한다"로, “사용자의 프로젝트는 PostgreSQL을 사용한다"로 변할 수 있으며, 그 시점에서 미래의 SQLite 제안은 사용자 아키텍처 선호를 위반하는 것으로 플래깅됩니다. 그 체인의 단일 단계가 극적으로 보이는 것은 없으며, 누적 효과는 완전히 그럴듯한 종이 흔적이 있는 잘못된 믿음이 됩니다.

반성 증폭

일부 프로바이더는 저장된 메모리에 대해 고차원적 추론을 의도적으로 수행합니다 — Hindsight의 reflect가 문서화된 예시이며 — 이는 에이전트가 검색뿐만 아니라 종합(synthesis)이 필요하기 때문에 실제로 유용합니다. 위험은 유도된 결론이 그것이 나온 원시 관찰과 함께 구별을 위한 마커 없이 저장될 때 시작되며, 이후의 독자는 3개의 관찰과 그 관찰에 대한 1개의 해석 대신 4개의 겉보기에 독립적인 사실을 보게 됩니다.

검색 증폭

검색 자체가 반성 단계 없이도 편향을 도입합니다: 자주 검색되는 메모리는 더 많은 프롬프트에 나타내고, 더 자주 언급되고, 더 자주 재캡처되며, 더 많은 관련 메모리를 생성하고, 이는 다시 더 자주 검색됩니다. 메모리가 이미 두드러졌기 때문에 부분적으로 두드러집니다 — 증거 루프가 아니라 인기 루프입니다.

모순 붕괴

메모리 시스템이 유사성만으로 두 개의 상반된 진술 중 어느 것이 참인지 결정할 때 위험한 패턴이 나타납니다. Mnemosyne는 구체적인 실세계 예시를 제공합니다: 프로덕션 감사에서 유사성 기반 충돌 처리가 통합 패스(consolidation pass) 전반에 걸쳐 243개 저장 항목 중 142개를 무효화한 것을 발견했는데, 이는 시스템이 “이 두 문장은 비슷해 보인다"는 것을 하나가 다른 것을 대체했다는 증거로 취급했기 때문입니다. 더 새로운 Mnemosyne 릴리스는 이제 유사성을 후보 모순으로 취급하며, 실제 무효화는 성공적인 검증 단계를 요구합니다 — 이는 통합 패스를 가진 모든 프로바이더에 대해 올바른 일반적인 방향입니다. 근본적인 교훈은 Mnemosyne를 넘어 잘 일반화됩니다: 의미론적 유사성은 모순의 증거가 아니라, 두 문장이 옳고 그름의 차이가 아니라 날짜, 환경, 브랜치, 또는 배포의 차이로 인해 다를 수 있기 때문입니다.

사용자-모델 강화

사실 목록이 아니라 실행 중인 사용자 모델을 유지하는 시스템은 동일한 문제의 더 날카로운 버전에 직면합니다. “사용자는 간결한 답변을 선호한다” 또는 “사용자는 AWS로 배포한다"는 유용하고 위험이 낮지만, “사용자는 기술 X를 싫어한다” 또는 “사용자는 항상 아키텍처 Y를 선택한다"는 추론된 특성이며, 일부가 에이전트 자신의 이전 해석에 기반한 경우, 실제 사람을 한 상호작용의 카리커처로 점진적으로 변형시킬 수 있습니다.

에이전트 자기 모델 강화

가장 미묘한 경우는 자신을 모델링하는 에이전트입니다: 행동을 수행하고, 그 행동을 설명하며, 메모리 시스템은 설명으로부터 자기 모델을 구축하여 다음 세션에 공급하고, 다음 세션은 그 자기 모델에 따라 행동하여 이를 더 강화합니다. 유용한 자기 모델은 시간이 지남에 따라 에이전트의 행동을 안정화시킬 수 있습니다. 잘못된 것은 에이전트를 잘못된 행동을 중심으로 동등하게 효과적으로 안정화시킵니다 — 루프는 어떤 방향으로 잠금을 잡는지 상관하지 않습니다.

왜 확신이 일반적으로 증가하는지

대형 언어 모델은 검색된 문장이 원래 자신의 다른 인스턴스에 의해 생성되었음을 자동으로 알고 있지 않습니다. “사용자: 서버 X에 네트워크 문제가 있을 것 같다"는 임시적인 것으로 읽히지만; “관련 메모리: 서버 X에 네트워크 문제가 있다"는 결정된 것으로 읽힙니다, 둘 다 동일한 불확실한 추측으로 거슬러 올라갈 수 있음에도 불구하고. 헤지된 주장에서 선언적 메모리 객체로의 그 문법적 전환은 출처 세탁(source laundering)이며, 여러 유도된 메모리가 서로 동의하는 경우 합산됩니다 — 3개의 의미론적으로 유사한 메모리가 단일 대화에서 유래했더라도 독립적인 교차 확인처럼 보일 수 있습니다.

프로덕션 시스템에서 나타나는 결과

실용적인 피해는 몇 가지 식별 가능한 형태를 취합니다. 거짓 확신은 메모리가 이를 이미 결정된 것으로 제시하기 때문에 에이전트가 가정을 확인하는 것을 멈추는 것을 의미합니다. 선호 드리프트는 임시적 선호가 점차 절대적 명령으로 경화되는 것을 의미합니다. 잘못된 사용자 프로필은 한 가지 비정상적인 상호작용이 장기적 행동 특성으로 일반화되는 것을 의미합니다. 도구-액션 연쇄는 가장 비싼 버전입니다: 잘못된 기억된 전제가 잘못된 진단을 이끌고, 이것이 도구 호출을 이끌고, 이것이 실제 구성 변경을 이끕니다 — 지속적 에이전트는 에러가 외부 세계에 도달할 수 있기 때문에 메모리 에러의 비용을 높입니다. 중복 메모리 팽창과 오래된 상태 잠금(lock-in)은 시간이 지남에 따라 프롬프트 예산과 검색 품질을 모두 낭비하며, 파괴적 통합은 추론된, 더 새로운 것처럼 보이는 문장이 조용히 더 오래되었지만 더 권위 있는 관찰을 대체하게 할 수 있습니다.

삭제는 여기서 구체적인 경고를 받을 자격이 있습니다. 현대 프로바이더는 일반적으로 하나의 캡처 항목에서 여러 유도된 구조를 구축합니다 — 작업 메모리, 추출된 사실, 요약, 임베딩, 그래프 엣지, 정준 사실, 프로필 항목 — 그리고 원시 메모리를 삭제한다고 모든 유도된 표현이 그것과 함께 사라지는 것을 보장하지는 않습니다. 메모리 삭제는 API가 성공을 반환했다고 작동한다고 가정하여 테스트하는 것이 아니라, 끝-to-끝으로 테스트되어야 합니다.

임베딩 품질보다 프로브네이션(출처)이 더 중요합니다

대부분의 메모리 엔지니어링 노력은 검색에 쓰입니다 — 벡터 유사성, BM25, 하이브리드 검색, 리랭커, 그래프 탐색, 시간 가중치 — 그리고 그것들은 모두 실제로 유용하지만, 근본적인 문제에 대해서는 전혀対処하지 않습니다. 검색 품질은 어떤 메모리가 표면화되는지만 영향을 주며, 표면화된 메모리가 부여받은 확신을 가치로 가질 자격이 있는지는 다루지 않기 때문입니다.

프로덕션 메모리 객체는 내용 외에 메타데이터를 가져야 합니다: 출처, 출처 유형, 타임스탬프, 범위, 신뢰도, 무엇에서 유도되었는지, 검증 상태, 그리고 대체되었는지 여부. 실제 작동하는 대략적인 단계화는 명시적인 사용자 진술과 직접적인 도구 관찰을 가장 높게, 신뢰할 수 있는 외부 데이터를 그 다음으로, 결정론적 추출을 그 아래로, 그 다음 요약, 그리고 신뢰 계층의 바닥에 모델 추론과 반성 출력을 배치합니다 — 추론이 무가치해서가 아니라, 그것이 구축된 관찰의 신뢰 수준을 조용히 상속해서는 안 되기 때문입니다. 그러면 검색과 통합은 순수한 의미론적 유사성만으로 순위를 매기는 대신 그 계층을 존중할 수 있습니다.

더 안전한 아키텍처 패턴

대부분의 개인 및 엔지니어링 에이전트에 대해, 의도적으로 지루한(boring) 메모리 파이프라인이 완전 자동화된 것보다 우수한 성능을 냅니다. 핵심 설계 결정은 에이전트가 기본적으로 모든 대화를 지속적 진실로 전환하지 않는다는 것입니다 — 후보 메모리는 유지되기 전에 분류되며, 관찰은 유지되고, 추론은 임시적으로 유지되며, 불확실한 경우는 조용히 기록되는 대신 사용자로 라우팅됩니다.

고액 자산 환경을 위해서는 인간 승인 게이트가 마찰만큼 가치가 있습니다: 후보 메모리가 보류 상태로 이동하고, 인간이 이를 검토하며, 명시적인 승인만 지속적 메모리에 커밋되고 거부는 폐기됩니다. Hermes의 자체 memory.write_approval: true 설정은 이 정확한 이유로 내장된 MEMORY.md 쓰이를 단계적으로 처리하며, 동일한 아이디어는 Mnemosyne에서 프로바이더 특정 단계적 쓰기(staged writes)로 나타납니다 — 그러나 아직 Hermes 외부 메모리 플러그인 간에 통일되고 프로바이더 독립적인 승인 계약이 존재하지 않으므로, 이 경로는 모든 곳에서 작동한다고 가정하기보다 실행하는 정확한 버전에 대해 테스트되어야 합니다.

현재 프로바이더가 문제를 다루는 방식

어떤 프로바이더도 피드백 루프를 완전히 제거하지는 않습니다; 각자는 편의성과 제어 사이에서 다른 트레이드오프를 합니다.

Hermes의 자체 내장된 MEMORY.md 및 USER.md 파일은 의도적으로 작고 인간이 읽기 쉽게 만들어져, 특별 도구가なくても 감사하기 쉽습니다 — 트레이드오프는 규모이며, 이는 의미론적 장기 메모리 데이터베이스가 아니기 때문입니다. Hermes Agent Memory System은 그 유계 설계에 대해 완전히 다룹니다.

Mnemosyne는 기록되는 것에 대한 독립적인 제어를 노출하기 때문에 거버넌스 중심 외부 프로바이더 중 하나입니다: 대화 자동 저장은 sync_roles: []로 완전히 비활성화할 수 있으면서도 명시적 메모리 작업은 사용 가능하며, 도구 결과 로깅은 기본적으로 꺼져 있고, 더 새로운 빌드는 컨텍스트 압축 경계 주변의 선택적 자기 에코 억제를 추가합니다. Hermes Agent를 위한 Mnemosyne: 로컬 메모리 퀵스타트는 보수적인 구성을 끝-to-끝으로 안내합니다.

Hindsight의 기본 Hermes 통합은 상대적으로 자동적입니다 — autoRecall과 autoRetain 모두 기본적으로 true입니다 — 이는 편리하지만 피드백 경로 수를 증가시킵니다; 출처가 편의성보다 중요하다면 재호출은 켜둔 채 auto_retain=false로 설정하는 것을 고려해 볼 가치가 있습니다. Holographic과 ByteRover 모두 auto_extract를 기본적으로 꺼두며, 이는 자동 전사-to-메모리 파이프라인이 아니라 명시적 사실 스토어로서 주로 작동할 수 있음을 의미하며, 피드백 루프가 주요 관심사라면 유리합니다. Honcho의 unified 관찰 모드는 자신의 메시지로부터 일치하는 자기 관찰 루프를 구축하지 않으면서 AI가 사용자를 모델링하게 하므로 directional 기본값보다 더 보수적이며 — 에이전트 자기 모델 강화에 특히 우려하는 사람에게는 진지한 고려 대상입니다. Agent Memory Providers Compared에는 각 프로바이더의 캡처 정책과 승인 지원을 포함한 프로바이더별 전체 비교가 있습니다.

벤치마크보다 더 중요한 구성 질문

재호출 벤치마크는 에이전트가 올바른 정보를 검색할 수 있는지를 측정합니다. 프로덕션 시스템은 다른 세트의 질문에 대한 답을 필요합니다: 무엇인 자동으로 기록되는가, 어시스턴트 출력이 메모리가 될 수 있는가, 도구 결과가 자동으로 유지되는가, 요사가 사실로 저장되는가, 유도된 사실이 유도된 것으로 마킹되는가, 오래된 메모리가 자동으로 대체될 수 있는가, 사용자가 유지된 모든 것을 검사할 수 있는가, 삭제가 유도된 표현을 제거하는가, 자동 재호출이 자동 유지와 독립적으로 비활성화될 수 있는가, 인간 승인 게이트가 있는가, 그리고 에이전트 자체가 그 게이트를 우회할 수 있는가. 그 11개의 질문은 장기 재호출 벤치마크에서 5점 더 얻는 것보다 보통 더 진단적입니다.

개인 엔지니어링 에이전트를 위한 선호 정책

자체 호스팅되는 엔지니어링 어시스턴트에 대해, 자동 대화 유지, 자동 어시스턴트 유지, 그리고 자동 도구 결과 유지 모두 기본적으로 꺼져야 하며, 자동 재호출은 켜지거나 선택적으로 유지되고, 명시적 remember는 켜지고, 세션 히스토리 검색은 켜지며, 유도된 결론은 기본적으로 지속적이而不是 임시적으로 유지되어야 합니다. 지속적 스토어는 다른 세션으로 가져갈 가치가 있는 사실을 포함해야 하며, 에이전트가 실제 증거가 아니라 그것의 요약이 필요할 때 원시 세션 히스토리는 별도로 검색 가능해야 합니다. 메모리는 간결한 유지된 지식이 되고, 세션 검색은 원시 증거가 됩니다 — 둘은 하나의 미분별 풀로 혼동되어서는 안 됩니다.

메모리 프로바이더를 테스트하는 방법

프로바이더가 기억하는지 테스트하는 것은 쉬운 절반입니다. 더 어렵고 더 유용한 절반은 그것이 기억하기를 거부하는지, 그리고 요청 시 완전히 잊는지 테스트하는 것입니다.

에이전트에게 기억해 달라고 요청하지 않고 일반적인 사실을 말하고, 새 세션을 시작하고, 자동 캡처가 비활성화되어야 한다면 값이 나타나지 않는지 확인하십시오. Then 명시적으로 다른 사실을 기억해 달라고 요청하고, 새 세션을 시작하고, 그것이 올바르게 검색되는지 확인하십시오 — 이 테스트 쌍은 쓰기 경로 정책을 검색 메커니즘에서 분리합니다. 별도로, 에이전트에게 추론을 만들기에 충분한 정보를 주되 그 추론을 스스로 진술하지 마십시오, 그리고 메모리 데이터베이스를 직접 검사하십시오; 추론이 단독 사실로 조용히 나타나서는 안 됩니다. 독특하고 고유한 도구 명령을 실행하고 나중에 메모리를 검색하여 도구 결과 로깅이 구성대로 작동하는지 확인하십시오. 사실을 저장하고, 삭제하고, 그리고 프로바이더가 사용할 수 있는 모든 레이어 — 작업 메모리, 의미론적 재호출, 사실 테이블, 그래프 노드, 요약, 임베딩, 프로필 컨텍스트 —를 검사하십시오 — 성공적인 delete API 응답만으로는 데이터가 실제로 사라졌다는 충분한 증거가 아닙니다. 마지막으로, 두 개의 모순되는 사실을 저장하고 프로바이더가 타임스탬프와 함께 둘 다 유지하는지, 하나를 대체된 것으로 마킹하는지, 오래된 기록을 파괴하는지, 또는 검증을 요구하는지 검사하십시오 — 그 단일 테스트는 어떤 기능 목록보다 프로바이더의 인식론적 모델에 대해 더 많은 것을 드러냅니다.

중심 설계 규칙

모델이 생성한 결론은 단순히 같은 모델이 그것을 기억했다는 이유만으로 더 강력한 증거가 될 수 없습니다. 메모리 시스템은 출처, 제어된 쓰기 경로, 유도된 지식에 대한 명시적 처리, 그리고 사용자가 볼 수 있는 기록만이 아니라 실제로 모든 유도된 표현에 도달하는 삭제를 필요로 합니다. 가장 고급 메모리 프로바이더는 반드시 가장 많이 기억하는 것이 아닙니다 — 장기 실행 에이전트에 대해, 더 나은 프로바이더는 종종 기억하지 않을 때를 아는 것입니다.