UX Curve для исследования опыта в динамике и работы с lifetime value

6 min readApr 27, 2020

UX Сurve — исследовательский метод, который позволяет узнать, как опыт пользователя и его отношение к продукту меняется со временем.

Метод с кейсами применения подробно описан в нескольких источниках (1, 2), ниже я кратко расскажу, как он работает и когда нужен.

Устроен он просто — вы просите респондента нарисовать, как менялось его отношение к продукту со временем (по сути, нарисовать эмоциональный слой CJM), и прокомментировать эти изменения.

Самый просто шаблон, который даётся респонденту на входе. Ось x — время использования, ось Y — нужное вам качество (это может быть отношение к продукту, его привлекательность, желание рекомендовать, или что-либо ещё).

На выходе получается субъективная реконструкция опыта и событий, которые важны для пользователя. Выглядит это примерно так:

В примере выше (из Kujala, Sari, et al. (1)) пользователь описывает первые недели использования нового телефона (график из 2012 года, поэтому комментарии чуть устарели)

Дальше можно провести исследование с несколькими пользователями, и совместить их кривые в одной системе координат.

Совмещённый график по нескольким пользователям

Ось Y можно менять, подставляя туда свойства продукта, отношение к которым вы хотите измерить в динамике. Авторы метода (1) пробовали несколько разных вариантов, построив UX Curve для общего отношения (general relationship) к продукту, привлекательности (attractiveness), полезности и простоты использования.

Вариант с привлекательностью сработал лучше всего — он позволил собрать больше всего комментариев и хорошо коррелировал с желанием рекомендовать продукт (способы подсчёта описаны в статье, если кратко, они смотрели перепад между начальной и конечной точкой UX Carve и брали его как отдельный индекс).

В статьях про это не пишут, но я предполагаю, что ось времени тоже можно модифицировать — проставляя засечки для отдельных периодов времени или конкретных событий (регистраций, первой покупки, первого списания денег и т.д.), и по аналогии с карточной сортировкой можно проводить открытую (с неразмеченной шкалой времени) и закрытую (с предзаданными событиями или временем) UX Curve.

Как и где использовать

Метод подходит для исследования новых пользователей, например, для поиска проблем в триальном периоде.

Если у вас есть график retention (он же — график оттока наоборот) — можно попробовать наложить его на разные UX Curve (выровняв графики по датам) и посмотреть, что будет — насколько изменения графика по easy of use или attractiveness коррелируют с оттоком. Как я уже писал выше, исследователи экспериментировали с разными параметрами на вертикальной оси, и вы можете попробовать свои.

Я предполагаю (ещё не успел попробовать), что метод подходит для оценки офлайн процессов, например для employee experience. Можно понять, насколько у вас хороший онбординг новых сотрудников, или почему ребята увольняются (если просить заполнить на outbound интервью).

В любом случае UX Сurve это способ быстро собрать материал для CJM, который (я скажу об этом ниже) работает лучше интервью.

Сравнение с другими методами исследований

UX Curve vs интервью

UX Curve работает лучше, чем интервью о ретроспективном опыте. Метод сравнивали с CORPUS интервью (CORPUS — фреймворк для структурированного интервью о ретроспективном опыте (3)). UX Curve позволяет получить в несколько раз больше данных за сравнимое время (1).

UX Curve vs дневниковые исследования

Тут данные противоречивы. Очевидная разница между методами в том, что дневники заполняются по ходу, или по крайней мере в течение небольшого времени после события, а UX Curve проводится ретроспективно.

Согласно исследованиям, ретроспективные оценки опыта лучше предсказывают долгосрочное поведение, чем оценки в моменте (4). Это косвенно может значить, что UX Curve лучше подходит для предсказывания долгосрочного оттока, а дневники для локального оттока в моменте.

Есть отдельное исследование, где было показано, что разница между оценкой в моменте и ретроспективной по “UX Curve” незначительна. (5)

По косвенным оценкам дневники дают больше данных, но соотношение позитивных и негативных воспоминаний в дневниковых исследований и UX Curve одинаковое.

Резюмируя — UX Curve, похоже, является довольно надёжным источником данных про ретроспективный опыт — более богатым, чем интервью, и сравнимым по надёжности с дневниками.

Как проводить

Вот как выглядит типичная сессия в описании авторов метода: пользователя просят вспомнить момент, когда он впервые начал использовать продукт. Затем исследователь даёт респонденту пустой шаблон UX Curve и просит нарисовать кривую, которая описывала бы, как менялось его отношение к продукту в целом (relationship towards the product), или как пользователь оценивал определённую характеристику продукта с первого момента использования и до настоящего времени.

По ходу участников просят комментировать любые изменения кривой. График респонденты рисуют сами, это помогает вспомнить больше деталей. А вот комментарии и подробные пояснения исследователи часто записывают самостоятельно, это не влияет на качество данных и ускоряет процесс (пробовали и так, и так).

Несмотря на необычный формат, участники нормально понимают, что нужно делать, и нормально рисуют кривые, хотя часть говорят, что это странный опыт для них, и нуждаются в поддержке на первом этапе.

За одну сессию каждый участник может заполнить несколько кривых по разным характеристикам — на одну уходит около 15 минут. Если даёте несколько, их порядок лучше чередовать.

Метод в изначальной задумке очный, удалённо тоже можно провести, например через miro, формат сессии от этого не меняется, вы кидаете респонденту ссылку на доску, просите пошарить экран и рисовать график.

Обработка результатов

Полученный фидбек делится на категории — на положительный/отрицательный, а также по темам/каналам, ранжируются по частоте и интенсивности эмоции, чтобы с ним было удобно работать.

Тут есть важный момент — из за peak-end искажения недавний опыт кажется более интенсивным, поэтому к пикам в конце кривой стоит относиться осторожно, и брать в работу комментарии из середины, даже если они описываются как менее значимые (1, 7).

Авторы также предлагают также учитывать на общий тренд кривой и то, насколько стартовая точка отличается от текущей. Например, если в первый момент продукт воспринимался как красивый на 2, из 7, а в конечной точке на 6 из 7, то у вас есть кривая привлекательности на +4.

Показатели по нескольким респондентам можно усреднить и получить понятный коэффициент того, как меняется определённый аспект UX за период, а этот коэффициент уже может коррелировать с вероятностью рекомендовать и оттоком (но это нужно каждый раз проверять отдельно).

Немодерируемый формат

С немодерируемым форматом сложно. Готовых опросных инструментов с типом вопроса “дать респонденту порисовать” я не нашёл.

Есть другой возможный формат — просить пользователей не рисовать график напрямую, а проставить точки— в какой день насколько они были довольны продуктом и почему. Это ещё и позволило бы легче обрабатывать результаты и накладывать графики друг на друга.

Такой подход даже исследовали — в 2009 Karapanos независимо от авторов UX Curve разработал шкалу и инструмент iScale с той же идеей в основе (6). Это был онлайн инструмент, судя по скриншотам из статьи, пользователей просили описать точки их опыта, а график строился сам (ниже попытался изобразить, как это примерно работало)

Пользователь заполняет события и оценку, на основе ни строится график

Исследований по iScale меньше, но есть. Формат работает, хотя даёт меньше выразительности и деталей.

Проблема в том, что я не нашёл инструмента, который позволял бы массово создавать такие опросы и давать респондентам возможность видеть график во время ответа на вопросы. Создавать сотни гугл таблиц и рассылать их по пользователям неудобно. Буду рад, если поделитесь решением.

Источники:

А ещё я веду телеграм-канал про UX исследования — UX Research. Пишу редко, и почти всегда по делу, иногда бывают милые лирические отступления.