Как использовать Amazon Turk для быстрых исследований аудитории
Amazon Mechanical Turk — краудсорсинговая платформа, на которой люди могут выполнять небольшие задания за деньги. Обычно задания связаны с разметкой данных для машинного обучения, иногда — с прохождением опросов. Ближайший русскоязычный аналог — Яндекс.Толока, я использовал MTurk, потому что мне важно было опросить англоязычных пользователей.
Зачем рекрутить через MTurk.
Он позволяет очень быстро и дёшево опросить людей — узнать об их предпочтениях или получить обратную связь по вашим макетам.
Дёшево — значит в несколько раз дешевле, чем через другие онлайн-панели (которые зачастую берут респондентов из того же MTurk через API, но прикручивают сверху свой интерфейс), даже если вы устанавливаете этичную оплату за ответы, а быстро — значит за несколько часов. У вас сразу возник вопрос про качество этого рекрута, сейчас отвечу.
Насколько можно доверять результатам.
Мы не первые задались этим вопросом, платформу используют социологи, их этот вопрос тоже заботит. Большинство исследований, которые я нашёл (1,2) утверждают, что данные, полученные на MTurk незначительно отличаются от данных, полученных из более высококачественных и дорогих источников (отличия в пределах 10%). А вот работа, разбирающая основные факторы, которые отличают участников MTurk от участников более традиционных опросов, и приводит примеры того, как снизить влияние каждого из этих факторов при планировании исследования.
В целом на платформе сидят очень разные люди. Я ожидал, что 90% будут безработными или низкоквалифицированными, но там встречаются учителя, инженеры, бухгалтера и разработчики. Кажется, опросы редко используют как основной источник заработка, а чаще как способ подработки на досуге, и это расширяет аудиторию и делает её менее скошенной.
Как отсеивать некачественные ответы. Начисление оплаты контролируется вручную. После прохождения опроса вы просматриваете ответы и можете не начислять вознаграждение, если ответы короче, чем вы просили, или участник явно не был честен в описании своего опыта и квалификации. Один из простых способов проверки — смотреть work time in second, время, которое прошло от перехода на опрос, до введения approval кода. Если оно слишком низкое, скорее всего участник не проходил опрос, а ввёл approval код наугад.
На платформе также есть система репутации исследователей и респондентов, которая также помогает поддерживать качество ответов на высоком уровне.
Как искать редких респондентов
В MTurk есть premium qulifications, которые позволяют подбирать респондентов по довольно специфическим критериям.
Но на мой взгляд, более надёжно и дёшево делать рекрут в две волны — сначала запускать короткий скрининговый опрос, а потом уже основной опросник на респондентов, подошедших под нужные вам критерии (Amazon позволяет запускать опрос повторно по определённым участникам). Плюс здесь в том, что респонденты, проходя первый опросник, не знают, что это скрининг перед большим опросом, и не пытаются подгонять свои ответы под нужные критерии.
Иногда для поиска сложных респондентов нужна сноровка: вот кейс, где автор искал респондентов для стартапа по подготовке пилотов к экзаменам. Опытных пилотов он найти не смог, зато нашёл студентов лётной школы.
Как искать людей из определённого региона. На платформе сидят люди из разных стран —мне чаще всего попадались из США, Индии, Германии, Бразилии.
В самом MTurk можно фильтровать, из какой страны заполнили анкету, плюс местоположение неплохо определяется сторонним опросными платформами, и вы, склеив результаты опроса с workerid MTurk(об этом ниже), можете понять, откуда пришёл участник.
Кроме того, если вам нужны участники из определённой страны, вы можете написать об этом в названии и описании опроса. По моему опыту, это действительно влияет на геолокацию респондентов (включать VPN, чтобы пройти именно ваш опрос, обычно дольше, чем пропустить его).
Ещё один вариант — подстраивать запуск анкеты по времени. При запуске около 11:00 по Москве, вы получите больше ответов от пользователей из Индии, при запуске около 19:00 — из США и Латинской Америки.
Как настроить.
Из важного — сам опрос лучше настраивать на сторонней платформе. У Turk есть встроенный конструктор опросов, но он сложный и не очень проработанный.
Ваша опросная платформа должна при завершении опроса генерировать уникальный код (случайное число), который пользователь вводит на странице опроса в Amazon. Этот код позволит вам склеить ответы из стороннего опросника с workerid на стороне Амазона, и начислить деньги только тем, кто всё сделал правильно и хорошо. SurveyGizmo и Qualtrics умеют выдавать случайное число в конце опроса, про остальные платформы я не знаю.
Оплачивается всё картой. При регистрации важно указать американский адрес, но про то, есть ли ограничения для карты, не знаю.
Мой канал про UX исследования https://t.me/uxread
