🤖 ИИ в работе продакта и ИИ-фичи
ИИ в работе — как толковый стажёр: быстро делает черновик, но проверять его ты обязан сам
Как это работает
Где ИИ помогает продакту:
- свести десятки интервью и отзывов в темы
- быстро сделать кликабельный прототип или текст для теста
- написать SQL-запрос и проверить его на маленьких данных
- подготовить черновик постановки или анализа конкурентов
Как продакт думает об ИИ-фиче:
- Какая работа пользователя решается и нужен ли тут ИИ вообще
- Цена ошибки — где ошибка безобидна, а где опасна. От этого зависит, нужен ли человек в цепочке
- Оценка качества — набор примеров с правильными ответами, на котором меряют модель до и после изменений
- Экономика — стоимость запроса к модели входит в себестоимость и влияет на маржу
- Доверие — пользователь должен понимать, что ответ сгенерирован, и иметь возможность исправить
Пример из жизни
Сервис поддержки добавил автоответы на основе модели. В тестах всё выглядело хорошо, но в проде модель иногда обещала возврат денег, которого не было в правилах. Команда сделала набор проверочных вопросов, ограничила темы автоответов и оставила оператора на всё, что касается денег. Доля автоматически закрытых обращений выросла без жалоб
Важно запомнить
- ИИ-фичу проверяют набором эталонных примеров, а не впечатлением
- Стоимость запросов — часть юнит-экономики
- Чем выше цена ошибки, тем больше контроля человека
Как ответить на собесе
Как ты подходишь к запуску ИИ-функции?
«Сначала проверяю, что есть работа пользователя, которую ИИ решает лучше обычного решения. Оцениваю цену ошибки и решаю, где нужен человек. До запуска собираю набор эталонных примеров и меряю качество. Считаю стоимость запросов в юнит-экономике. Запускаю на части пользователей и смотрю на качество, жалобы и целевую метрику»