Как выработать систему критериев, чтобы быстро отбрасывать плохие задумки

Наблюдение за опытом успешных компаний и мировыми трендами показывает, что продуктовый подход практикуется уже повсеместно и признан наиболее осознанным и эффективным. Компания Альфа-Банк работает с известными и понятными продуктами, однако они также требуют маленьких ежедневных улучшений. Виктория Дубешко, Product Owner компании, рассказала, как выработать систему критериев, чтобы быстро отбрасывать плохие задумки в работе над продуктом.

Для любого продуктового менеджмента справедливо утверждение, что задумка одновременно является идеей и продуктовой гипотезой. А система критериев должна охватывать отбор, проверку и валидацию гипотез.

Валидация — это проверка на необходимость, нужно ли вкладывать ресурсы команды в данную идею. Этот процесс во многих компаниях называется growth hacking — «взлом роста». Он представляет собой идею, ее валидацию и тестирование, то есть проверку на жизнеспособность.

Зачем тестировать продуктовые гипотезы?

Гипотеза — это предположение или догадка, у которых еще нет подтверждения. Гипотеза роста — это предположение, где в цифрах указан ожидаемый эффект от изменений в продукте, бизнес-процессе или интерфейсе.

Есть два вида гипотез:

1) открытая гипотеза, когда что-то только предполагается;

2) конкретные гипотезы роста, когда после предположения сразу идет соглашение на какую-то конверсию, конкретную цифру, а также оценка, стоит ли начинать это делать, будет ли с этого заработок.

Как показывает опыт крупных компаний, чем больше продуктовых гипотез провалидировано и протестировано, тем быстрее пойдет рост и прибыль.

Хороший кейс на эту тему был у компании Dropbox. Менеджеры по продукту ломали голову, как просто и быстро привлечь новых пользователей к себе в сервис. И предположили, что если пользователю и его другу, которого он пригласил в сервис, дать 500 бесплатных мегабайт, то количество регистраций увеличится. И она действительно выросла на 60 %.

Еще один аналогичный пример связан с YouTube. Их главная бизнес-задача — увеличить количество просмотров, чтобы затем сделать как можно больше рекламы. Они предположили, что если вставлять видеоролики из YouTube на сайты, то количество просмотров видео, а также их средняя длительность увеличатся. Идея оказалась успешной: количество просмотров увеличилось в три раза.

Такие кейсы есть не только в онлайн-сервисах. Продакт-менеджеры Houston Airport, например, задали своим клиентам три вопроса: что было хорошо? что было плохо? что можно сделать лучше? И это правильный подход. Значительный процент пассажиров ответил, что слишком долго приходится ждать багаж после полета. В Houston Airport потратили очень много сил и денег, улучшили множество процессов, но сократили время ожидания багажа с девяти минут до шести. Однако недовольство клиентов сохранилось. Тогда компания просто перенесла стойку получения багажа прямо к выходу из аэропорта. Пока пассажиры шли до нее, они не замечали, сколько времени проходит. После этого жалобы снизились еще на 30 %.

Гипотезы обычно проверяются в двух ситуациях: на этапе создания и запуска компании, стартапа или продукта и на этапе роста и развития.

В первом случае компания занимается гипотезами, если на это есть время и ресурсы. Во втором речь идет про готовое приложение, которое нужно постепенно улучшать.

На обоих этапах необходимо задавать себе вопросы. Когда речь идет только про запуск продукта, вопросы могут быть такими.

1. Какую проблему нужно решить?
2. Действительно ли эта проблема важна для целевого сегмента?
3. Готовы ли они платить за решение этой проблемы?
4. Если готовы, то почему они будут платить вам, а не конкурентам?
5. Сколько готовы платить?

На этапе роста и развития текущего продукта необходимо определить следующее.

1. Чего хотят текущие клиенты?
2. Какую проблему нужно решить?
3. Какой функционал поможет справиться с проблемой?
4. Что сделает предложение более привлекательным?

Конечно, достоверные ответы сложно получить без конкретики, а маркетинговые исследования и опросы помогают не всегда. Продуктовый подход предполагает тестирование сразу в рыночных условиях, чем и занимаются продакт-менеджеры.

Иногда в результате гипотезы опровергаются. Это неприятно, но в любом случае появляется какое-то новое полезное знание. Теперь нужно разобраться, как правильно формулировать и проверять гипотезы, чтобы это знание получить.

Валидация и тестирование продуктовых гипотез чем-то напоминает подбор отмычки к запертой двери. Где же найти эти самые гипотезы именно для вашего продукта?

Гипотезой можно считать любое предположение, которое четко записано и может быть опровергнуто.

Чтобы найти зоны роста в работающем продукте, нужно сформулировать, какой вопрос команда хочет изучить и какую проблему этим решить. Затем следует определиться, какой уровень продукта будет тестироваться. Всего их семь, и они соответствуют семи зонам роста в продукте.

1. На уровне потребности: а точно ли есть потребность?
2. На уровне проблемы: а точно ли проблему нельзя решить иначе?
3. На уровне ценностного предложения: лучшее ли это предложение?
4. На уровне логики и функционала: а такой ли функционал нужен?
5. На уровне дизайна и визуализации: а правильно ли мы изобразили?
6. На уровне коммуникаций: а понятно ли мы донесли?
7. На уровне технической реализации: а реализуем ли мы?

На первом уровне нужно понять, а точно ли у клиента есть потребность в решении той или иной проблемы. Допустим, у человека есть обычный стальной чайник. Действительно ли ему нужен электрический? На втором уровне следует подумать, а точно ли эту проблему нельзя решить иначе, также здесь можно сравнить с кейсами конкурентов? И далее идем по списку.

При запуске продукта мы обычно исследуем первые три уровня: потребности, проблемы и ценности. Если мы улучшаем текущий продукт, то чаще концентрируемся на проблеме и дальнейших уровнях, то есть функционале, коммуникации и так далее. В одном эксперименте следует нацеливаться на один конкретный уровень.

Для примера — кейс про уровень потребности. Нашим клиентам очень часто звонили мошенники: доверие клиентов падало, терялись деньги. Мы обратились к сервису Who Calls от лаборатории Касперского. Они предложили свои услуги, но банк оценил, что внедрение внешнего сервиса повлечет большие трудозатраты и множество проблем по безопасности. Нужно было проверить, стоит ли вообще это делать. Тогда решили сделать баннер на главный экран. В итоге 12 % пользователей оказались готовы к подключению, а это очень большая конверсия. Спустя какое-то время банк внедрил Who Calls сервис, и конверсия стала еще выше.

Хороший кейс на уровне функционала связан со сферой ЖКХ. Многие люди забывают оплачивать жилищно-коммунальные услуги. Банк заинтересован, чтобы клиенты проводили оплату, поэтому было принято решение делать некое триггерное уведомление на главном экране про необходимость оплаты квитанций. Заплатите коммуналку – пришла платежка. Оплата ЖКХ в итоге увеличилась на 33 %.

Самое интересное представляют собой способы валидации гипотез. Что мы можем сделать?

1) A/B-тестирование;
2) количественный опрос;
3) качественный опрос;
4) анализ эмоционального отклика.

При наличии ресурсов и бюджета выделенная команда может делать все сразу. Разберем каждый пункт отдельно.

A/B-тестирование — это метод, когда одновременно предлагаются несколько аналогичных решений. Например, различные разноцветные баннеры и иконки. Для A/B-тестов есть специальные калькуляторы, например Mindbox, которые подскажут, на какую выборку включить каждый вариант. В калькулятор вводится показатель текущей конверсии и тот, которого нужно достичь. Также можно выбрать процент достоверности, обычно он составляет 95 %. В небольших компаниях следует более внимательно относиться к результатам тестов и думать, доверять им или нет.

Для проведения количественных опросов есть специальные сервисы, например SurveyMonkey. Туда можно загрузить свои макеты и устроить опрос среди пользователей.

Качественный опрос отличается от количественного тем, что во время него мы разговариваем уже непосредственно со своими клиентами: детально вникаем в проблему и много спрашиваем человека до тех пор, пока он либо не запутается в своих ответах, либо не начнет давать одни и те же ответы.

На этапе создания продукта

1. Определить проблему, которую нужно решить.
2. Создать бэклог гипотез и найти точки роста.
3. Указать ожидаемый результат от гипотезы.
4. Оценить реализуемость гипотезы.
5. На базе этого создать MVP.
6. Проверить гипотезу по одному из методов.
7. Выводы после теста гипотез и создание нового продукта.

1. Определить проблему, которую нужно решить.
2. Создать бэклог гипотез и найти точки роста.
3. Определить уровень проблемы.
4. Указать ожидаемый результат от гипотезы.
5. Отметить метрики, на которые повлияет гипотеза.
6. Оценить реализуемость гипотезы.
7. На базе этого создать MVP.
8. Проверить гипотезу по одному из методов.
9. Выводы после теста гипотез.

Идеи для гипотез можно брать из самых разных источников: из аналитики, юнит-экономики, результатов продуктовых исследований пользователей. Также стоит подсматривать идеи у конкурентов и в смежных областях (бенчмаркинг) и периодически устраивать мозговые штурмы и генерировать идеи всей командой.

1. Предположение.
2. Аналоги: примеры каких компаний могут подтвердить ваши гипотезы? Какой положительный опыт можно использовать для своего проекта?
3. Антиподы: что можно сделать иначе? Кто из конкурентов совершал ошибки?
4. Тестирование: как можно быстро проверить эту гипотезу?
5. Сроки тестирования: насколько быстро можно протестировать гипотезу?
6. Показатели, которые будем отслеживать в процессе тестирования: какие количественные и качественные результаты мы будем измерять?
7. Какой результат будет считаться подтверждением гипотезы?
8. Доступный бюджет на тестирование.
9. Выводы и идеи после тестирования.

Проверять гипотезы можно самостоятельно, а можно с помощью выделенной команды. Оба варианта хороши. И обязательно помните, что правильная формулировка гипотезы — отчасти залог успеха. Чем больше гипотез мы исследуем, тем больше у нас данных для принятия максимально эффективного решения и благополучного роста бизнеса.