Коротко
- ИИ-пилот любит расползаться — и через месяц никто не может сказать, что вообще проверяли.
- Нормальный пилот узкий: одна задача, одна проверка, одно правило остановки.
- Критерий успеха может быть грубым, главное — выбран заранее и сравнивается с привычным способом.
- Правило остановки — не поражение, а защита от бесконечного эксперимента.
ИИ-пилот любит расползаться. Начали с «пусть черновик ответа клиенту набросает» — через неделю уже и сводки совещаний, и идеи для рекламы, и «а давайте всю базу прогоним».
Энтузиазм понятный. Рамка при этом исчезает, и через месяц никто не может сказать, что вообще проверяли — кроме того, что «вроде удобно».
Нормальный пилот узкий. Одна задача. Одна проверка. Одно правило остановки.
Звучит сухо. Зато потом можно сказать «сработало» или «нет» без театра и без бесконечного «ещё чуть-чуть донастроим».
Одна задача
Выберите кусок работы, который повторяется и где ошибка не стоит компании жизни. Например:
- первый черновик типового письма;
- разбор однотипных вопросов;
- подготовка короткой сводки из уже разрешённых данных.
Не «пусть ИИ ведёт продажи». Это не пилот, это мечта с неопределённым концом и размытой ответственностью.
Вход, выход и ответственный
Опишите вход и выход:
- Что человек даёт модели.
- Что считает приемлемым результатом.
- Кто принимает решение после черновика.
Если «кто» не назначен, черновики будут копиться в папке или — хуже — улетать клиенту без глаз. Тогда вы проверяете не пользу инструмента, а скорость распространения ошибки.
Сузьте и данные. Пилот на безопасном подмножестве говорит больше, чем большой жест «загрузили всё, что было».
Одна проверка
До старта напишите критерий. Допустим:
- из двадцати черновиков не меньше стольких принимаются с правкой короче десяти минут;
- или число ошибок определённого типа падает;
- или срок первой реакции сокращается при том же качестве по выборочной проверке руководителем.
Критерий может быть грубым. Главное — выбран заранее. Иначе через две недели вы объявите успехом всё, что просто «интересно попробовали», а сомневающихся обвините в консерватизме.
Реальные, но безопасные примеры
Проверяйте на реальных, но безопасных примерах. Не на всём потоке сразу. И фиксируйте, сколько времени ушло на правки: иногда «помогло» превращается в «переписываем с нуля плюс читаем уверенный бред». Это тоже результат пилота — только неприятный.
Сравните с привычным способом на тех же примерах. Без сравнения легко принять новизну за пользу.
Одно правило остановки
Договоритесь, при каком условии пилот выключаете или сужаете. Например:
- если доля опасных ошибок выше порога;
- если правка дольше, чем писать руками;
- если люди обходят инструмент стороной после нормального обучения;
- если появляется соблазн кормить модель данными, которые вы сами же запретили.
Правило остановки — не поражение. Это защита от бесконечного эксперимента, который уже перестал быть экспериментом и стал привычкой.
Отдельно решите, какие данные нельзя скармливать на этом этапе. Пилот ради скорости не отменяет здравый смысл и не делает документ менее чувствительным.
ИИ здесь ни при чём как магия. Это инструмент в контуре задачи. Контур должен быть коротким, наблюдаемым и выключаемым.
Если после пилота вы не можете в двух предложениях сказать, что подтвердилось — рамки не было. Был аттракцион с красивыми скриншотами.



