Гипотеза должна окупать исследование

Это технический пост, он нужен, чтобы ссылаться на него в других статьях и обсуждениях. Он может служить свёрнутым аргументом в разговорах про ROI UX исследований, continuous UX research подходы, и малые выборки партизанских методов, но вне контекста не очень ценен.

Тезисы:

• Исследования позволяют снизить риски интерфейсных, продуктовых и бизнес решений/гипотез.
• У каждого решения есть стоимость. Эту стоимость можно выразить через затраты на реализацию (сколько вы потратите на разработку новой функции, выход на новый рынок или изменение дизайна) и потенциальную прибыль в привычных для вас метриках (деньгах, NPS, retention итд). Стоимость решения часто можно выразить в деньгах.
• У исследования тоже есть стоимость — то, сколько ресурсов вы тратите на подготовку, проведение, интепретацию и презентацию данных. Стоимость исследования тоже легко выразить в деньгах.
• Стоимость исследования должна быть меньше стоимости решения/гипотезы. Нет смысла проводить исследовательский проект стоимостью 100к для принятия решения или снижения риска, который обойдётся в 10к.
• Стоимость исследования должна окупать прирост уверенности, который она даёт. Нет смысла проводить исследование за 50к для решения за 100к, чтобы повысить уверенность в этом решении на 5%.

Следствия:

• В небольших компаниях окупаются только небольшие исследования. С ростом компании инфраструктура растёт, и появляются косвенные издержки (репутационные риски итд), исследования всё большего масштаба начинают иметь смысл.
• В гибкой среде легче окупаются небольшие исследования, т.к. стоимость решений невелика. Поэтому, например, для физических продуктов в среднем имеют смысл более сложные и дорогие исследовательские проекты, чем для цифровых.
• Правильный вопрос про валидность не “сколько пользователей достаточно”, а “сколько ресурсов и времени мы готовы потратить на ресерч, чтобы снизить риски текущего решения с учётом ситуации (других решений, ресурсов пользователей итд)”. Ну или “при каком количестве пользователей затраты на ресерч перестают резко снижать риски”.
• При планировании исследовательских проектов учитывается не только стоимость решения, но и альтернативные издержки — какие ещё гипотезы мы можем проверить с помощью тех же ресурсов.
• Классические продуктовые/маркетинговые/UX исследования — лишь один из способов снизить риск продуктовых/бизнес/дизайн решений. Для многих решений подходят другие способы, часто более дешёвые и быстрые: почитать саппорт тикеты, поговорить с сейлз-менеджерами, запустить прототип продукта на no-code инструментах. Их тоже можно считать вариантами исследования, тк они тоже направлены на снижение рисков и дешёвую проверку гипотез.

Чуть больше про исследования как отрасль риск-менеджмента https://www.illuminas.com/wp-content/uploads/2016/03/innovationCan-we-measure-the-ROI-of-Market-Research-BIG-Conference-2009-Jonathan-Fletcher-and-Andrew-Reynolds-FI.pdf

Краткий пересказ статьи в канале https://t.me/uxread/52