Коротко

  • ИИ-пилот любит расползаться — и через месяц никто не может сказать, что вообще проверяли.
  • Нормальный пилот узкий: одна задача, одна проверка, одно правило остановки.
  • Критерий успеха может быть грубым, главное — выбран заранее и сравнивается с привычным способом.
  • Правило остановки — не поражение, а защита от бесконечного эксперимента.

ИИ-пилот любит расползаться. Начали с «пусть черновик ответа клиенту набросает» — через неделю уже и сводки совещаний, и идеи для рекламы, и «а давайте всю базу прогоним».

Энтузиазм понятный. Рамка при этом исчезает, и через месяц никто не может сказать, что вообще проверяли — кроме того, что «вроде удобно».

Нормальный пилот узкий. Одна задача. Одна проверка. Одно правило остановки.

Звучит сухо. Зато потом можно сказать «сработало» или «нет» без театра и без бесконечного «ещё чуть-чуть донастроим».

Одна задача

Выберите кусок работы, который повторяется и где ошибка не стоит компании жизни. Например:

  • первый черновик типового письма;
  • разбор однотипных вопросов;
  • подготовка короткой сводки из уже разрешённых данных.

Не «пусть ИИ ведёт продажи». Это не пилот, это мечта с неопределённым концом и размытой ответственностью.

Вход, выход и ответственный

Опишите вход и выход:

  • Что человек даёт модели.
  • Что считает приемлемым результатом.
  • Кто принимает решение после черновика.

Если «кто» не назначен, черновики будут копиться в папке или — хуже — улетать клиенту без глаз. Тогда вы проверяете не пользу инструмента, а скорость распространения ошибки.

Сузьте и данные. Пилот на безопасном подмножестве говорит больше, чем большой жест «загрузили всё, что было».

Одна проверка

До старта напишите критерий. Допустим:

  • из двадцати черновиков не меньше стольких принимаются с правкой короче десяти минут;
  • или число ошибок определённого типа падает;
  • или срок первой реакции сокращается при том же качестве по выборочной проверке руководителем.

Критерий может быть грубым. Главное — выбран заранее. Иначе через две недели вы объявите успехом всё, что просто «интересно попробовали», а сомневающихся обвините в консерватизме.

Реальные, но безопасные примеры

Проверяйте на реальных, но безопасных примерах. Не на всём потоке сразу. И фиксируйте, сколько времени ушло на правки: иногда «помогло» превращается в «переписываем с нуля плюс читаем уверенный бред». Это тоже результат пилота — только неприятный.

Сравните с привычным способом на тех же примерах. Без сравнения легко принять новизну за пользу.

Одно правило остановки

Договоритесь, при каком условии пилот выключаете или сужаете. Например:

  • если доля опасных ошибок выше порога;
  • если правка дольше, чем писать руками;
  • если люди обходят инструмент стороной после нормального обучения;
  • если появляется соблазн кормить модель данными, которые вы сами же запретили.

Правило остановки — не поражение. Это защита от бесконечного эксперимента, который уже перестал быть экспериментом и стал привычкой.

Отдельно решите, какие данные нельзя скармливать на этом этапе. Пилот ради скорости не отменяет здравый смысл и не делает документ менее чувствительным.


ИИ здесь ни при чём как магия. Это инструмент в контуре задачи. Контур должен быть коротким, наблюдаемым и выключаемым.

Если после пилота вы не можете в двух предложениях сказать, что подтвердилось — рамки не было. Был аттракцион с красивыми скриншотами.