Самоусиливающиеся петли памяти в ИИ-агентах: причины и способы исправления

Персистентная память превращает агента из инструмента, которому каждый раз приходится объяснять контекст, в систему, способную передавать этот контекст дальше. Однако это открывает сценарий сбоя, которого нет в stateless-чат-режиме: интерпретация может стать частью памяти, извлекаться как факт и обосновывать более сильную версию самой себя.

Это самоусиливающийся цикл памяти. Механизм не требует злого умысла, сломанного плагина или необычного промпта: обычный конвейер захвата сохраняет вывод ассистента, обычный конвейер извлечения представляет его в качестве контекста, а модель воспринимает извлечённый текст как доказательство, потому что именно так обычно функционирует извлечённый текст.

В одном важном смысле это отличается от галлюцинации: галлюцинация исчезает, когда завершается разговор, но галлюцинация, перенесённая в долговременную память, может пережить сессию, в которой была создана, снова появиться спустя недели в несвязанном контексте и получить видимость достоверности исключительно благодаря повторению. В рамках более широкой модели памяти эта проблема находится внутри — операционная память, структурированное состояние и память извлечения как три отдельных контракта, часть хаба Память ИИ-систем — см. Системы памяти в ИИ-ассистентах, где уже указано, что устаревшая и противоречивая память — самый частый производственный сбой. Эта статья углубляется на один уровень в вопрос о том, почему этот конкретный сбой повторяется снова и снова.

Вопрос, который стоит задать любой системе памяти, — это не просто то, помнит ли она. Это то, что разрешено становиться доказательством для будущего рассуждения. Чтобы ответить на это правильно, необходимо различать то, что пользователь явно заявил, то, что инструмент действительно наблюдал, то, что внешний документ сообщил, и то, что модель лишь интерпретировала или суммировала. Когда эти категории сливаются в единый недифференцированный пул под названием «память», сгенерированный вывод становится неразличимым с наблюдением — система памяти фактически «отмыла» интерпретацию, превратив её в предпосылку. Для практического обзора работы с одним провайдером с принудительным соблюдением этого различия, см. Mnemosyne для Hermes Agent: Локальный быстрый старт; для сравнения того, как восемь и более основных провайдеров различаются по этому осевому параметру, см. Сравнение провайдеров памяти для агентов.

Что такое самоусиливающийся цикл памяти?

Самая простая версия имеет фиксированную форму: пользователь заявляет что-то, агент делает вывод, память сохраняет этот вывод, будущая сессия вспоминает его, агент рассматривает вспомненное утверждение как доказательство, выводит более сильный вывод и записывает его обратно в память. Цикл затем повторяется, каждый раз с чуть более уверенным заявлением, при том что ни одно новое наблюдение никогда не входит в конвейер.

Рассмотрим разработчика, который сообщает агенту, что деплой провалился после изменения конфигурации кэша. Разумной интерпретацией является то, что конфигурация кэша, вероятно, вызвала сбой — полезное рассуждение, если оно остаётся в пределах текущего контекста. Урон начинается, когда автоматический экстрактор памяти сохраняет плоское утверждение «конфигурация кэша вызвала сбой деплоя» как факт. Спустя неделю второй, не связанный деплой падает; агент извлекает сохранённое утверждение и рассуждает, что слой кэша имеет историю нестабильности, что записывается обратно как ещё более обобщённое убеждение. К третьему проходу сохранённая память читается как «слой кэша известен своей ненадёжностью и должен быть заменён» — уверенное институциональное утверждение, построенное с нуля новых доказательств.

Почему персистентная память агентов делает это хуже, чем база данных

В традиционной прикладной базе данных есть явный путь записи: поле изменяется, потому что известный пользователь, вызов API или транзакция изменили его. Системы памяти агентов обычно имеют гораздо больше пишущих сущностей — пользователь, ассистент, результаты инструментов, автоматический хук захвата хода, экстрактор фактов, суммаризатор сессии, проход рефлексии, процесс консолидации и иногда другой агент — и столько же читающих сущностей, включая автоматическую инъекцию промптов, семантическое извлечение и инструменты суб-агентов. Как только вывод одного читающего сущности может стать входом для другого пишущего сущности, система становится петлёй обратной связи, а не простым хранилищем, и обычные интуитивные представления базы данных о «кто это написал и когда» перестают работать.

Основные формы обратной связи памяти

Самоусиление — это не один механизм — оно проявляется как минимум в семи связанных, но различных паттернах, и провайдер памяти может быть устойчив к одному и уязвим к другому.

Самоэхо ассистента

Самый простой случай возникает, когда сообщения ассистента автоматически сохраняются: собственный предыдущий ответ модели становится контекстным доказательством для следующего ответа. Это не обязательно делает ответ неправильным, но это изменяет его эпистемический статус — сгенерированный язык становится персистентным контекстом. Наиболее безопасное общее правило состоит в том, что наблюдения пользователя и инструментов могут быть кандидатами на сохранение в памяти, но выводы ассистента не должны автоматически становиться фактами без отдельного шага повышения статуса.

Дрейф суммаризации суммаризации

Долго работающие агенты многократно сжимают разговоры — исходный разговор в сводку, сводку в долговременную память, память в профиль пользователя — и каждое преобразование может незаметно отбрасывать ограничитель. «Я обычно использую PostgreSQL, но SQLite хорошо для мелких инструментов» может стать «Пользователь предпочитает PostgreSQL», затем «Пользователь использует PostgreSQL», затем «Проекты пользователя используют PostgreSQL», после чего любое будущее предложение SQLite будет помечено как нарушение архитектурных предпочтений пользователя. Ни один отдельный шаг в этой цепочке не является драматичным; накопительный эффект — это неверное убеждение с полностью правдоподобной документацией.

Амплификация рефлексии

Некоторые провайдеры сознательно выполняют высшеразмерное рассуждение над сохранёнными воспоминаниями — reflect в Hindsight является задокументированным примером — и это действительно полезно, потому что агентам нужна синтезированная информация, а не только извлечение. Риск начинается, когда производный вывод сохраняется рядом с исходными наблюдениями, из которых он произошёл, без маркера, отличающего их, так что поздний читатель видит четыре, казалось бы, независимых факта вместо трёх наблюдений и одной интерпретации этих наблюдений.

Амплификация извлечения

Само извлечение вносит смещение без какого-либо шага рефлексии: память, которая извлекается часто, появляется в больше промптах, упоминается чаще, повторно захватывается чаще и порождает больше связанных воспоминаний, которые, в свою очередь, извлекаются ещё чаще. Память становится заметной частично потому, что она уже была заметной — петля популярности, а не петля доказательств.

Коллапс противоречий

Опасный паттерн появляется, когда система памяти решает, какое из двух конфликтующих утверждений является истинным, используя только сходство. Mnemosyne предоставляет конкретный пример из реальной практики: аудит производства обнаружил, что обработка конфликтов на основе сходства аннулировала 142 из 243 сохранённых элементов в ходе проходов консолидации, потому что система трактовала «эти два утверждения похожи» как доказательство того, что одно заменило другое. Новые релизы Mnemosyne теперь трактуют сходство как кандидата в противоречия, а не как доказательство — фактическое аннулирование требует успешного шага валидации — что является правильным общим направлением для любого провайдера с проходом консолидации. Базовый урок хорошо обобщается за пределами Mnemosyne: семантическое сходство не является доказательством противоречия, поскольку два утверждения могут отличаться из-за даты, окружения, ветки или деплоя, а не потому, что одно из них неверно.

Усиление пользовательской модели

Системы, поддерживающие постоянно действующую модель пользователя, а не просто список фактов, сталкиваются с более острой версией той же проблемы. «Пользователь предпочитает краткие ответы» или «пользователь деплоит на AWS» полезны и несущие низкий риск; «пользователь не любит технологию X» или «пользователь всегда выбирает архитектуру Y» — это интерпретированные черты, которые, если они частично основаны на собственных более ранних интерпретациях агента, могут постепенно превратить реального человека в карикатуру на одно взаимодействие.

Усиление само-модели агента

Самый тонкий случай — это агент, моделирующий сам себя: он выполняет действие, объясняет это действие, и система памяти строит само-модель на основе объяснения, которая подаётся в следующую сессию, которая затем ведёт себя согласно этой само-модели и усиливает её ещё больше. Полезная само-модель может стабилизировать поведение агента со временем. Неверная одна стабилизирует агента вокруг неверного поведения столь же эффективно — цикл не заботится о том, в каком направлении он фиксируется.

Почему уверенность склонна расти по пути

Большие языковые модели не знают автоматически, что извлечённое предложение было изначально сгенерировано другим экземпляром самой себя. «Пользователь: Я думаю, у сервера X может быть проблема с сетью» читается как неуверенно; «Релевантная память: У сервера X есть проблема с сетью» читается как устоявшееся утверждение, хотя оба могут восходить к одному и тому же неуверенному предположению. Этот синтаксический сдвиг от оговорённого утверждения к декларативному объекту памяти — это «отмывание» источника, и он усиливается, когда несколько производных воспоминаний случайно согласуются друг с другом — три семантически похожих воспоминания могут выглядеть как независимое подтверждение, даже если все три произошли из одного разговора.

Последствия, проявляющиеся в производственных системах

Практический урон принимает несколько узнаваемых форм. Ложная уверенность означает, что агент перестаёт проверять предположение, потому что память представляет его как уже устоявшееся. Дрейф предпочтений означает, что неуверенное предпочтение постепенно затвердевает в абсолютную инструкцию. Неверные профили пользователя означают, что одно необычное взаимодействие обобщается в долговременную поведенческую черту. Каскады действий инструментов — самая дорогостоящая версия: ложно запомненная предпосылка ведёт к неверной диагностике, которая ведёт к вызову инструмента, который ведёт к реальному изменению конфигурации — персистентные агенты повышают стоимость ошибки памяти именно потому, что ошибка может добраться до внешнего мира. Инфляция дублирующейся памяти и фиксация устаревшего состояния обеих расходуют бюджет промптов и качество извлечения со временем, а деструктивная консолидация может позволить интерпретированному, выглядящему более новому утверждению незаметно заменить более старое, но более авторитетное наблюдение.

Удалению здесь заслуживает отдельного предупреждения. Современные провайдеры часто строят несколько производных структур из одного захваченного элемента — операционная память, извлечённые факты, сводки, эмбеддинги, рёбра графа, канонические факты и записи профиля — и удаление оригинальной памяти не гарантирует исчезновение всех производных представлений. Удаление памяти должно тестироваться от начала до конца, а не приниматься как работающее лишь потому, что API вернул успех.

Провенанс важнее качества эмбеддингов

Большинство усилий по инженерии памяти направлено на извлечение — векторное сходство, BM25, гибридный поиск, ранжеры, обход графа, временное взвешивание — и всё это действительно полезно, но ничто из этого не решает фундаментальную проблему, потому что качество извлечения влияет только на то, какие воспоминания всплывают, а не на то, заслуживает ли всплывшее воспоминание той степени уверенности, которая ему дана.

Объект производственной памяти должен нести метаданные помимо своего содержания: источник, тип источника, временная метка, область действия, уверенность, от чего он был выведен, статус валидации и был ли он заменён. Грубое ранжирование, которое работает на практике, ранжирует явные заявления пользователя и прямые наблюдения инструментов на высшем уровне, доверенные внешние данные — следующие, детерминированное извлечение — ниже того, затем сводки, с выводом модели и выводом рефлексии на дне иерархии доверия — не потому, что вывод бесполезен, а потому, что он никогда не должен молча наследовать уровень доверия наблюдения, из которого был построен. Извлечение и консолидация тогда могут уважать эту иерархию, а не ранжировать чисто по семантическому сходству.

Более безопасный архитектурный паттерн

Для большинства личных и инженерных агентов сознательно скучный конвейер памяти превосходит полностью автоматический. Ключевое проектное решение состоит в том, что агент не превращает каждый разговор в персистентную истину по умолчанию — кандидат на сохранение в памяти классифицируется перед тем, как быть сохранённым, с сохранением наблюдений, временным удержанием интерпретаций и маршрутизацией неопределённых случаев обратно пользователю, а не молчаливой записью.

Для высокоценных сред человеческий шлюз одобрения стоит неудобств: кандидат на память переходит в состояние ожидания, человек просматривает его, и только явное одобрение закрепляет его в долговременной памяти, тогда как отказ отбрасывает его. Собственный параметр memory.write_approval: true в Hermes ставит встроенные записи в MEMORY.md в очередь именно по этой причине, и та же идея проявляется как специфические для провайдера записи в стадии в Mnemosyne — хотя стоит отметить, что единого независимого от провайдера контракта одобрения среди внешних плагинов памяти Hermes пока не существует, поэтому этот путь должен тестироваться против точных версий, которые вы используете, а не предполагаться как работающий везде.

Как текущие провайдеры решают проблему

Ни один провайдер не устраняет петли обратной связи полностью; каждый делает различный компромисс между удобством и контролем.

Собственные встроенные файлы MEMORY.md и USER.md в Hermes намеренно малы и читаемы человеком, что делает их легкими для аудита даже без специального инструментария — компромисс — масштаб, поскольку это не семантическая база данных долговременной памяти. Система памяти Hermes Agent подробно описывает этот ограниченный дизайн.

Mnemosyne является одним из более ориентированных на управление внешними провайдерами именно потому, что он предоставляет независимый контроль над тем, что записывается: автосохранение разговора может быть полностью отключено с помощью sync_roles: [], при этом явные операции памяти остаются доступными, логирование результатов инструментов по умолчанию выключено, а новые сборки добавляют опциональное подавление самоэхо вокруг границ сжатия контекста. Mnemosyne для Hermes Agent: Локальный быстрый старт проходит через консервативную конфигурацию от начала до конца.

Интеграция Hindsight по умолчанию в Hermes сравнительно автоматическая — и autoRecall, и autoRetain по умолчанию равны true — что удобно, но увеличивает количество путей обратной связи; установка auto_retain=false при сохранении включённого вспоминания стоит рассмотрения, если провенанс важнее, чем удобство. Holographic и ByteRover оба по умолчанию выключают auto_extract, что означает, что они могут работать преимущественно как явные хранилища фактов, а не как автоматические конвейеры от транскрипта к памяти, что является преимуществом, если петли обратной связи — ваша главная озабоченность. Режим наблюдений unified в Honcho более консервативен, чем его параметр по умолчанию directional, потому что он позволяет ИИ моделировать пользователя, не строя соответствующую петлю само-наблюдения из собственных сообщений — заслуживает серьёзного рассмотрения для всех, кто особенно беспокоится об усилении само-модели агента. Сравнение провайдеров памяти для агентов содержит полное сравнение провайдеров по каждому, включая политику захвата и поддержку одобрения для каждого.

Конфигурационные вопросы, которые важнее бенчмарков

Бенчмарки вспоминания измеряют, может ли агент извлечь правильную информацию. Произственным системам нужны ответы на другой набор вопросов: что записывается автоматически, может ли вывод ассистента стать памятью, сохраняются ли результаты инструментов автоматически, сохраняются ли сводки как факты, помечаются ли производные факты как производные, могут ли старые воспоминания быть автоматически заменены, может ли пользователь проверить всё сохранённое, удаляет ли удаление производные представления тоже, может ли автоматическое вспоминание быть отключено независимо от автоматического удержания, есть ли человеческий шлюз одобрения и может ли сам агент обойти этот шлюз. Эти одиннадцать вопросов обычно более диагностичны, чем ещё пять баллов в бенчмарке долгосрочного вспоминания.

Моя предпочтительная политика для личных инженерных агентов

Для самохостедного инженерного ассистента автоматическое удержание разговоров, автоматическое удержание выводов ассистента и автоматическое удержание результатов инструментов должны по умолчанию быть выключены, при этом автоматическое вспоминание остаётся включённым или выборочным, явное запоминание остаётся включённым, поиск истории сессий остаётся включённым, а производные выводы остаются временными по умолчанию, а не персистентными. Долговременное хранилище должно содержать факты, стоящие того, чтобы нести их в другую сессию; исходная история сессий должна оставаться отдельно searchable, когда агенту действительно нужны доказательства, а не сводка из них. Память становится кратким сохранённым знанием, а поиск сессий становится исходным доказательством — эти два никогда не должны смешиваться в один недифференцированный пул.

Как тестировать провайдера памяти

Тестирование того, помнит ли провайдер, — это лёгкая половина. Более трудная и полезная половина — тестирование того, отказывается ли он запоминать и забывает ли он полностью, когда его об этом просят.

Сообщите агенту обычный факт, не прося его ничего запоминать, начните новую сессию и подтвердите, что значение не появляется, если автоматический захват должен быть отключен. Затем явно попросите его запомнить другой факт, начните новую сессию и подтвердите, что этот извлекается корректно — эта пара тестов изолирует политику пути записи от механизма извлечения. Отдельно, дайте агенту достаточно информации, чтобы сделать интерпретацию, но никогда не заявляйте эту интерпретацию сами, затем осмотрите базу данных памяти напрямую; интерпретация не должна молчаливо появляться как самостоятельный факт. Выполните уникальную, отличительную команду инструмента и затем поищите её в памяти, чтобы подтвердить, что логирование результатов инструментов работает так, как настроено. Сохраните факт, удалите его, а затем проверьте каждый слой, который может использовать провайдер — операционная память, семантическое вспоминание, таблицы фактов, узлы графа, сводки, эмбеддинги и контекст профиля — потому что успешный ответ API delete не является достаточным доказательством того, что данные действительно исчезли. Наконец, сохраните два противоречивых факта и осмотрите, сохраняет ли провайдер оба с временными метками, помечает один как заменённый, уничтожает старый рекорд или запрашивает валидацию — этот единственный тест раскрывает больше об эпистемической модели провайдера, чем любой список функций.

Центральное проектное правило

Вывод, сгенерированный моделью, не должен становиться более сильным доказательством просто потому, что та же модель запомнила его. Системы памяти нуждаются в провенансе, контролируемых путях записи, явном обращении с производным знанием и удалении, которое действительно достигает каждого производного представления, а не только записи, которую видит пользователь. Самый продвинутый провайдер памяти не обязательно тот, который запоминает больше всего — для долго работающих агентов лучший провайдер часто тот, который знает, когда не нужно запоминать.