// Салон красоты
GEPA-оптимизация AI-агентов на данных диалогов
Систематическая доводка промтов на основе сотен реальных диалогов операторов
Python GEPA framework Claude API OpenRouter Vector Store
Задача
AI-агент в мессенджере галлюцинировал процедуры, давал медицинские советы, повторял одни и те же фразы, отвечал стеной текста. Каждый ручной патч промта ломал что-то другое — нужен был системный процесс оптимизации на реальных данных, а не на догадках.
Решение
- Парсинг 700+ реальных диалогов агента (8600+ сообщений) из истории amoCRM
- Автоматическая классификация ошибок: 7 rule-based метрик (дубли, длина, запрещённые темы) + 4 LLM-based (тон, релевантность, галлюцинации, эмпатия)
- Разделение промта на frozen-часть (правила и запреты) и mutable-часть (стиль и примеры) для целевой оптимизации
- Анализ стиля 2400+ сообщений живых операторов → перенос в тон агента
- GEPA-runner итеративно генерирует кандидатные версии промта, тестирует на отложенной выборке, продвигает лучшие
- Деплой оптимизированной версии в продакшен с rollback-кнопкой
Результат
Устранены дублирование фраз, галлюцинации процедур, неуместные медицинские советы. Шаблонный тон заменён на контекстный, совпадающий по стилю с живыми операторами. Система переиспользуется для оптимизации промтов других агентов.