Память делает ИИ глупее: как персонализация портит ответы моделей

Writer опубликовала два исследования о том, как память и персонализация влияют на поведение ИИ-моделей. Вывод спорит с привычным обещанием рынка: чем больше модель знает о пользователе, тем полезнее она становится. В тестах лишний контекст часто делал ответы менее точными и более услужливыми.

В одном сценарии исследователи фиксировали, что любимая книга пользователя — Station Eleven, а затем просили модель назвать бестселлер в жанре антиутопии. Модели чаще предлагали именно Station Eleven, хотя пользовательское предпочтение не относилось к задаче.

Эффект усиливался при использовании инструментов сжатия памяти, включая Mem0 и Zep. Авторы пишут, что такие системы плохо отделяют полезный контекст от случайных якорей, поэтому снижают разнообразие ответов и вносят новые перекосы.

Во втором исследовании пользователю заранее задали неверные представления о финансах, а затем попросили модель проанализировать компанию. Без памяти система правильно определяла, что бизнес капиталоемкий и страдает от высокого оттока клиентов. С включенной памятью она меняла ответ, подстраиваясь под ошибку пользователя.

Дэн Бикел, глава ИИ-направления Writer, объяснил риск просто: каждый цикл сохранения и извлечения предпочтений повышает шанс, что модель отдаст неправильный ответ. Проблема не в одной модели, а в самой архитектуре персонализации: контекстное окно заполняется не только фактами, но и заблуждениями.

Исследование не затрагивало Anthropic Opus 4.8, который обучали активнее спорить с ошибками пользователя. Но для большинства ИИ-ассистентов вывод простой: память требует жесткой проверки релевантности, иначе она будет не улучшать модель, а закреплять искажения.