– Если вы проводите эксперименты с ценообразованием, то они сами выведут вас на оптимальное решение и наиболее эффективные цены. Ваша же задача – просто правильно задать стартовую точку и начать с нее эксперименты. Конечно, у вас не бесконечное число итераций (так все было бы куда проще), и поэтому стартовая точка столь важна. А уж дальше правильно организованные эксперименты скорректируют цены более выгодным для вас образом.
При чем здесь Райан Гослинг?
На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.
План эксперимента
Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нем конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.
На самом же деле все было несколько хитрее.
– Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.
– Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было еще несколько вопросов, основная часть из которых была обязательной. Таким образом мы хотели попутно протестировать еще несколько интересных гипотез.
В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.
Пара дисклеймеров
Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.
Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два рекламных стенда, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, тоже были двух видов.
По истечении нескольких часов мы увидели, что число респондентов в группе A значительно превосходит группу B, и было принято решение поменять рекламные стенды местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось буквально за руку привести нескольких людей и дать им нужный флаер.
В конечном счете все получилось, и сейчас самое время рассказать об этом.
Общие данные
Всего у нас было 103 респондента, из которых 77 – мужчины, а 26 – женщины. У нас был еще вариант «предпочитаю не указывать», но его никто не выбрал.
51 респондент оказался в группе A, 52 – в группе B.
Эффект приманки
Из поведенческой экономики известен так называемый эффект приманки (decoy effect). Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешевый. Тогда вводится третий, заведомо невыгодный вариант. Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант.
Дело в том, что наш ленивый мозг, выбирая между вариантами A и B, слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. А напрягаться он не особо любит. И чтобы ему помочь, к вариантам A и B добавляется вариант – A. Между A и – A выбор делается легко в пользу А, при этом по инерции A выигрывает сразу и у B.
Эксперимент 1. Крис Хемсворт и Райан Гослинг
Мы решили проверить эффект приманки следующим образом. Группе B было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хемсворт или Райан Гослинг (чтобы выбрать, какие именно мужчины попадут в опрос, пришлось «гуглить» top sexiest men 2019 – и я никогда бы не подумал, что придется это делать по работе). В итоге голоса распределились вот так:
Крис Хемсворт победил. Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимался.
Ну а в группе A мы добавили еще один вариант, и выбор был из трех картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хемсворт. И вот что у нас получилось:
Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе. Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья.
Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам – Хемсворт.
Эксперимент 2. Цена на попкорн
Как же применить этот метод для монетизации? Этому был посвящен наш следующий эксперимент.
Группе А было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой – за 200.
Для группы «B» был выбор из трех позиций:
– маленький – 100 рублей;
– средний – 180 рублей;
– большой – 200 рублей.
Как видим, средний вариант по цене ближе к большому, его задача – оттенить внимание в большую сторону.
Видим, что средний вариант со своей задачей вполне справился. Его добавление позволило поднять средний чек с 136,5 рубля до 161,9 рубля, то есть на 19 %. Еще раз: мы просто добавили еще одну позицию в магазине, и только от этого чек вырос на 19 %.
Эффект якоря
Далее мы хотели проверить эффект якоря. Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря».
Эксперимент 3. Удержание в гоночных играх
Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.
Для группы A. По данным progamedev.net, медианный показатель удержания первого дня (Day 1 Retention) у игр жанра Trivia – 35 %, World – 38 %, Casino – 34 %. Как бы вы оценили медианный показатель Day 1