Свой harness: промты, ритуалы и проверка качества

По шагам

1. 1. Начните с четырёх слоёв, а не с текста промта

   Ассистент устроен как четыре слоя. Capture собирает то, что произошло: встречи, документы, обратную связь пользователей, календарь, чат, почту. Harness превращает это в повторяемый способ работы: библиотеку промтов, наборы инструкций агенту, ритуалы день/неделя/месяц, шаблоны, правила работы с компанией и оценку качества. Ассистент использует harness, чтобы приходить сам и говорить, что вы упустили, кому что отдать и в каком формате. Отдельный слой проверки проводит продукт глазами новичка. Harness — это второй слой, и один промт не является продуктом: это элемент обвязки, которая делает промты рабочими. Перед правкой текста решите, с каким слоем вы работаете. Если ассистент молчит, дело в слое ассистента и в расписании ритуалов, а не в библиотеке промтов. Если ответ верный, но не в той форме, дело в библиотеке промтов.

2. 2. Прочитайте контракт каждого промта до правки

   На экране Harness в разделе «Библиотека промтов» промты перечислены по ключу, типу задачи и языку. Внутри каждого — четыре вещи: инструкция, что подаётся на вход, что должно получиться на выходе и критерий качества. Типы задач — это повторяющиеся задачи продакт-менеджера: discovery, принятие решения, хендофф, ретро, sizing, разбор требований, обучение и ежедневный дайджест. Промт, у которого уже есть все четыре части, рассчитан на запуск как есть; если нужно другое поведение, правка делается новой версией этой инструкции, а не новым промтом с нуля. В той же библиотеке лежит тело промта, так что текст, который вы запускаете, и текст, который вы читаете, — один и тот же. Читайте его как контракт с новым коллегой: что ожидается, что запрещено и по каким признакам результат считается хорошим.

3. 3. Поставьте ритуал на расписание и следите за журналом

   Ритуалы — это регулярные процедуры, которые запускаются по расписанию: ежедневный дайджест, еженедельный обзор, месячный ретро. Каждый ритуал сам собирает материалы и сам выдаёт результат, поэтому работа ассистента не зависит от вашей дисциплины. Важна часть про то, что происходит, когда ритуал не выполнился. Пропуск фиксируется отдельной записью с причиной и попадает в журнал: ритуал, исчезнувший без следа, — это дефект, потому что через месяц никто не поймёт, то ли данных не было, то ли планировщик молча упал. В разделе «Ритуалы» видны расписание и следующий запуск. Подберите частоту под то, как команда правда работает: ежедневный дайджест, который никто не читает, — это шум, а месячный ретро, собирающий слишком много материала, — нечитаемая простыня.

4. 4. Меняйте промт через создание новой версии

   Версия неизменяема: её тело не меняется после создания. Новая правка создаёт новую версию со своим номером, своей заметкой и хэшем тела, поэтому «тихую» правку можно обнаружить, а не обсуждать. До применения новая версия прогоняется на наборе оценки, и результат показывается рядом с предыдущим — «до» и «после». Откат переключает указатель на прежнюю версию и ничего не удаляет: старая версия и полученная ею оценка остаются в истории. Меняйте что-то одно за раз. Если одновременно правятся инструкция, формат входа и формат выхода, результат оценки не покажет, какая из трёх правок помогла, и вы начнёте судить на глаз. Новая версия — это ещё и единица смысла для журнала прогонов: каждый записанный прогон хранит, какая версия какого промта его породила, так что спустя месяцы можно сказать, какой текст дал какой артефакт.

5. 5. Соберите набор оценки из своих задач

   Набор оценки — это список примеров с ожидаемым результатом. В каждом кейсе есть вход, ожидаемое поведение, поля, которые ответ обязан содержать, и поля, которых в нём быть не должно. Запрещённые поля — обычно числа: размер рынка, выручка, ROI, трудоёмкость в днях, конверсия. Модель такие значения не выдумывает, и версия, которая их заполнила, провалила кейс, даже если текст вокруг них хороший. Изменение промта без оценки не принимается: «стало читаться лучше» — не результат, с которым можно сравнить. Набор лежит в репозитории рядом с промтами, поэтому проверяющий читает примеры и текст промта вместе, а новое дело — обычная правка с обычной проверкой. Начните с кейсов, которые больше всего мешали: ответ, который пришлось переписывать целиком; встреча, которую пришлось пересказывать руками; артефакт, ушедший с неверным тоном.

6. 6. Читайте дашборд качества как обратную связь, а не как оценку

   Дашборд отвечает на три вопроса: где ассистент ошибся, где вы переписали его ответ и где он что-то пропустил. Над ними три метрики. Take rate — доля предложений, принятых без правки. Evaluation score — доля совпадений с эталоном на наборе оценки. Recoverability — доля ошибок, замеченных и исправленных ассистентом самостоятельно. Смотрите разбивку по промтам, прежде чем трогать текст: промт, который переписывают часто, — это сигнал про harness, а не ошибка того, кто переписал; то же касается предложения, которое регулярно игнорируют. Тишина — допустимое состояние, и оно не трактуется как отказ от продукта. Дашборд собирает сигналы из реальных прогонов, поэтому становится полезным только после того, как ассистент поработал: пустой дашборд — не приговор.

7. 7. Зафиксируйте границы: недоверенный ввод и неподтверждённое извлечение

   Два правила удерживают ассистента в рамках, и оба принадлежат harness, а не вашему тексту промта. Первое: пользовательский контент — недоверенный ввод. Документы, транскрипты, письма и обратная связь попадают в модель как данные, а не как инструкции к исполнению; строка внутри документа, которая велит ассистенту забыть свои правила, — это фрагмент для разбора, а не приказ. Второе: извлечённое не является контекстом, пока его не подтвердил человек. Всё, что извлёк слой capture, приходит со статусом «не проверено», и до подтверждения оно не попадает в ответы, не цитируется как факт и не влияет ни на один расчёт. Пайплайн такой: событие канала → извлечение → отметка «не проверено» → подтверждение человеком → узел контекста с провенансом. Правя промт, проверьте, что не ослабляете ни одно из правил; а если правило нарушается на практике, это дефект, который надо зафиксировать, а не формулировка, которую стоит сгладить.

8. 8. Замкните цикл проверкой новичка и обучением

   Четвёртый слой ассистента — проверка. Продукт проходят как пользователь, который впервые его открывает, ничего не знает о внутреннем устройстве и имеет право задать глупый вопрос; проверка идёт в том окружении, которое вы указали, и не пишет в ваши рабочие данные. Результат — карта застреваний: где новичок остановился, что не понял, какой путь не нашёл, — с шагами, которые воспроизводят каждое место. Обратная связь не смягчается: что сломалось, насколько это мешает и что предлагается изменить. Формулировки вроде «в целом неплохо» не принимаются. Находки, которые вы принимаете, превращаются в задачи бэклога с приоритетом, ссылкой на воспроизведение и оценкой влияния. На этом же слое живёт обучение: ассистент разбирает метод на вашем материале — сначала ваш пример, потом общий принцип, — проверяет понимание коротким вопросом и возвращает слабые темы на повторение. То, что вы хотите оставить из разбора, оформляется как решение и попадает в контекст обычным путём подтверждения.

Если не работает

Ответы ассистента звучат общо и не совпадают с тем, как пишет наша команда.

Откройте дашборд качества и посмотрите разбивку переписок по промтам. Промт, который переписывают часто, не подходит вашей компании. Создайте новую версию с более узкой инструкцией, прогоните набор оценки и сравните результат «до» и «после». Оставьте правку в истории версий, а не в старом тексте — именно это делает следующее сравнение возможным.

Я изменил промт, и качество ответов стало хуже.

Каждая новая версия прогоняется на наборе оценки до применения, и её оценка показывается рядом с предыдущей. Сравните две, затем откатитесь к более ранней версии. Откат переключает текущую версию и сохраняет историю: ничего не теряется, а неудачная попытка остаётся как свидетельство.

Ритуал не запустился, и в канале ничего не пришло.

Пропущенный ритуал фиксируется с причиной, а не исчезает. Откройте журнал ритуалов, прочитайте причину, поправьте расписание или устраните причину и запустите ритуал заново. Если сообщать было нечего, это допустимый исход — но он показывается как выполненный прогон с пустым результатом, а не как тишина.

Ассистент цитирует утверждение, которое никто в команде не подтверждал.

Это нарушает правило подтверждения: извлечённые узлы имеют статус «не проверено» и не попадают в ответы, пока человек их не подтвердит. Откройте цитату, прочитайте фрагмент источника и либо подтвердите узел, либо отклоните его. Если такие утверждения должны регулярно появляться в ответах, поддерживаемый путь — подтвердить их в контексте, а не оставлять ассистенту право считать их состоявшимися.

Набор оценки не покрывает тот случай, который меня волнует.

Добавьте кейс: вход, ожидаемый результат, обязательные и запрещённые поля. Кейсы лежат в репозитории рядом с промтами и проверяются вместе с ними, поэтому это обычная правка. Без подходящего кейса изменение промта нечем измерить: оценка не сдвинется, и результат придётся оценивать на глаз.