Почему A/B тестирование критично важно при продвижении и как его проводить?

 

Существенно повысить отдачу от мобильного маркетинга способно A/B-тестирование, оно же сплит-тестирование. Суть метода в том, чтобы проверить, через какую точку входа — из двух или более, каждая со своими небольшими отличиями, — публику удается вернее втянуть в «гравитационное поле» приложения.

Мы расскажем, как с помощью подобного перебора совершенствовать оформление приложения в маркетах, а не саму его начинку. Второе, с известными оговорками, также возможно, в том числе с помощью платных сервисов наподобие Swrve, однако эта тема относится скорее к сфере разработки и проектирования продукта, и втиснуть ее в наше руководство значило бы замахнуться слишком на многое.

Базовые принципы A/B-тестирования

При сплит-тестировании река трафика рассекается на два или более потоков, и часть зашедших на landing page пользователей видит один вариант, часть другой. Различаются А и Б, например, видом иконки или одним скриншотом. Кому из посетителей какую версию демонстрировать, решает случайность. Ту, которая будет обеспечивать стабильно более высокую конверсию, следует взять в оборот, остальные отбросить.

По существу, без A/B-тестирования вы будете играть вслепую: как еще понять, насколько удачно подан апп и нельзя ли было «декорировать» его на порядок лучше?

В основе своей методика предусматривает выполнение ряда условий.

• Ради статистически значимых результатов требуется определенной величины выборка, крайне желательно не меньше полутора тысяч человек на каждую версию посадочной страницы.
• Все участвующие в ротации страницы «поливаются» трафиком из одного и того же источника.
• На каждый лендинг должен приходиться строго одинаковый объем заходов.
• Различные версии страницы должны демонстрироваться аудитории параллельно, в одно и то же время.
• Надо четко понимать, какие именно особенности «победившей» посадочной страницы дали ей фору перед другими, вследствие чего желательно тестировать один значимый элемент за один заход.

При несоблюдении указанных правил возникает риск оказаться не аналитиком, а героем анекдота:

— Как приборы?
— Двести.
— Что «двести»?
— А что «приборы»?

Зато, переделав точку присутствия приложения в маркете на основании вдумчиво проведенного сплит-тестирования, вы не только повысите конверсию своих рекламных кампаний, но и прибавите себе органических установок. Разница в одном-единственном скриншоте при показе на iPhone, бывает, выливается в сотни инсталлов. Только без сравнительного анализа вы даже не узнаете, что упускаете.

На платформе Android корректное использование данных сплит-тестирования дает также дополнительные преимущества. Как минимум, по наблюдениям экспертов, чем выше конверсия страницы приложения в Google Play, тем ближе лендинг к вершине выдачи поисковика Google.

Что поддается A/B-тестированию и, главное, что уместно тестировать? Да почти все находящееся на посадочной странице:

— название аппа;
— иконка;
— текст описания и его верстка;
— цветовая гамма блоков;
— призывы к действию;
— скриншоты, в том числе их порядок;
— видео (его эффективность, его наличие или отсутствие);
— цена приложения.

Процесс тестирования

С недавнего времени Google позволяет разработчикам проводить A/B-тестов страницы в своем маркете. Сравнению можно подвергнуть варианты описания аппа, скриншотов, иконок.

Но в App Store, как ни печально, проводить такие эксперименты по-прежнему нельзя. Остается один-единственный путь — поместить аудиторию в обстановку, приближенную к той, что имеет место в сторах.

Ситуацию выбора в App Store с приемлемой степенью точности можно воспроизвести на landing page аппа в «большом интернете». А если сделать эту точку входа похожей на «ячейку» приложения в магазине, то вы сумеете, с поправкой на ветер, без манипуляций с самим стором разобраться, как народ будет реагировать на промоматериалы.

Да и, несмотря на наше сетование двумя абзацами выше, эксперименты на сторонней площадке в Сети избавляют разработчика от головной боли: не нужно ни встраивать в приложение чужой код, ни выпускать апдейты.

Существует несколько способов создать мобильные посадочные страницы для наших оптимизаторских нужд:

— привлечь к процессу веб-разработчика и дизайнера и сделать все с нуля;
— использовать готовые шаблоны;
— воспользоваться конструктором лендингов наподобие Landr;
— прибегнуть к сервисам для A/B-тестирования со встроенным конструктором.

Большинству из начинающих, осмелимся утверждать, по крайней мере поначалу рациональнее всего будет выбрать последний пункт. Платформы такого типа — для себя мы выделили из всего их многообразия Split Metrics и Test Nest — обеспечивают как компоновку посадочных страниц, так и сам процесс тестирования с последующим анализом полученных результатов.

Работа с ними напоминает эксплуатацию мультиварки: загружаете в сервис все необходимые данные, включая иконки, скриншоты и тексты, и он сам готовит из них лендинги, насколько возможно приближенные по виду к витрине маркета (рис. 1 и 2). Не слишком въедливый пользователь может и не понять, что находится не в Google Play или App Store.

Рис.1


Рис.2

Наряду с конверсией страниц в том же Split Metrics по итогам замеров доступны и другие дающие пищу для размышления показатели, включая время просмотра страницы, долю изучавших скриншоты плюс глубину просмотра. Доступна статистика посетителей с разбивкой по странам, источникам трафика, устройствам, версиям операционной системы. Сводки по конверсиям лендингов в таких системах весьма наглядны (рис. 3).


Рис.3

По большому счету, ничто не мешает доводить посадочную страницу приложения до состояния «полный фэншуй» еще до его выхода в свет. Главное, не вводите людей в заблуждение: явно указывайте на лендинге, что апп еще не выпущен, но вот, пожалуйста, форма для ввода e-mail, когда выйдет — дадим знать.

Рекомендации по A/B-тестированию

Какую аудиторию нужно залучать на лендинги, чтобы получать репрезентативные результаты? Если релиз аппа состоялся, значит, ту, чьи усредненные характеристики наиболее близки к обобщенному портрету вашего пользователя. Вы ведь, скорее всего, метите в какие-то конкретные категории населения. Да пусть даже у вас игра, которой вы жаждете завоевать весь мир: все равно надо понимать, какую часть аудитории чем брать.

Оптимально, если вы уже закупаете трафик и имеете представление о том, как он в вашем случае конвертируется. Тогда все просто: часть его нужно направить на наши полигоны — лендинги. Еще не занимались продвижением продукта? Не начинайте сплит-тестирования, не поняв, на кого нацеливаетесь — таргеритуетесь.

По-хорошему, грамотно спланировав закупку трафика, на сравнительные тесты лендингов вы можете потратить весьма умеренную сумму. Если вы не бедствуете, попробуйте заложить на эту статью бюджета $200 и постарайтесь не превысить данный лимит.

Источники в A/B-тестировании лучше всего задействовать те же, что будут включены в ваши рекламные кампании впоследствии. Вы, само собой, при наличии собственных медиаресурсов вольны сэкономить средства, например разместив ссылку на лендинг в своем Twitter. Однако в силу лояльности аудитории рискуете получить смазанную картину: ваши фанаты будут вести себя на посадочных страницах не так, как если бы не были ангажированы. Такого запаса терпения, как у них, вы не увидите у тех, кого привлечете через платную рекламу на Facebook или на CPC-бирже.

Оптимально, чтобы A/B-тестирование длилось не меньше семи дней. Тогда, ко всему прочему, вы будете располагать информацией о том, есть ли разница в реакции аудитории в зависимости от дня недели.

Что касается количества вариантов лендинга для параллельного тестирования, при прочих равных желательно, чтобы их было не больше четырех. Хотите пять или шесть — пожалуйста, но, во-первых, так сильнее «выжжете» потенциальную аудиторию, а во-вторых, потратите больше денег.

Не поддавайтесь искушению выставить напоказ все придуманные вами варианты оформления: часть малоперспективных версий по силам забраковать и вашему внутреннему цензору.

Очень многое зависит от типа приложения. Допустим, у игр в среднем относительно низкая конверсия лендингов, тогда как у мобильных сервисов знакомств она значительно выше. В свою очередь, ради репрезентативного A/B-тестирования какого-нибудь раннера или стратегии потребуются большие вливания трафика, чем в случае с аппом из категории Productivity.

Наибольшая чистота эксперимента достигается, когда «подопытные» ничего не знают о вашем аппе. Если вы выпускаете сиквел имевшей успех игры, то, поместив изображение ее хорошо узнаваемого персонажа на одну из иконок, почти наверняка не оставите шансов остальным пиктограммам.

Как мы и говорили, тестированию поддаются практически все значимые составные части страницы. Отнюдь не всегда, особенно у новичков, получается выбрать лучший вариант интуитивно. Например, какая надпись на кнопке установки даст самую высокую конверсию: Free Install, Free Download, Install Now, Try Now? Ответ неочевиден. И весьма вероятно, что он зависит еще и от целевой аудитории аппа. Пробуйте, пробуйте и еще раз пробуйте.

Витрина в двух крупнейших маркетах организована по-разному, что влечет за собой различия в процессе A/B-тестирования. «Удельный вес» какого-то отдельно взятого блока в них может быть неодинаков. В частности, иконка аппа в Google Play меньше, чем в App Store, по-иному организовано размещение скриншотов и видеопревью. В свою очередь, в поисковой выдаче на платформе iOS 8 вместе с названием и иконкой приложения выводятся только два скриншота небольшого формата, и мелкий шрифт на них не читается.

От «экспозиции» аппа в маркете зависит очень многое, поэтому регулярно проверяйте, как выглядит в интерфейсе магазина, в том числе на разных гаджетах, ваше приложение и конкурирующие с ним: обстановка быстро меняется. С опорой на знание о нюансах устройства стора проще проводить и A/B-тестирование.

Например, на iPhone 5 и 5S в App Store — утверждение актуально на весну 2015 года — обрезается второй скриншот, и ваша задача — побудить пользователя листать галерею дальше: как показывает практика, чем больше картинок просматривает человек в описании аппа, тем вероятнее, что он его скачает. Способов добиться желаемого масса: или слева сверху на втором скриншоте разместить броский стикер (рис. 4), или подгадать так, чтобы на видимом без прокрутки крае картинки был интригующий фрагмент.

Рис. 4

Существуют советы по оптимизации оформления аппа если уж не универсальные, то актуальные для подавляющего большинства приложений. Так, если на первом скриншоте лендинга емко и завлекательно, красивым шрифтом написать, для чего предназначен апп, конверсию, скорее всего, удастся повысить. В приложение с апдйетом добавилась вау-функция? Можно прорекламировать ее также на первой картинке. Да и вообще говоря, полезно проводить сплит-тестирование с каждым значимым, затрагивающим функциональность обновлением продукта, при условии что средства позволяют.

Вместе с тем для игр гораздо важнее скриншоты геймплея. Не покажете живого действия — «уроните» конверсию, проверено. Тем же, кто изучает описание какого-нибудь планировщика задач, вовсе не обязательно разглядывать экраны его интерфейса.

Приложение выходит не в одной стране? У вас есть возможность проверить, например, с помощью ранее упомянутого Split Metrics, какие изображения эффективнее в каждом отдельно взятом региональном разделе стора.

Тестировать все и вся тоже излишне. По меньшей мере расточительно. Исходите из здравого смысла и опыта предшественников. У вашего приложения в силу его предназначения абстрактная, мало что говорящая сердцу пользователя иконка? Тогда нет резона выбирать пикрограмму именно в процессе A/B-тестирования. Сосредоточьтесь на скриншотах.

Тот, кто предупрежден, вооружен. И не ноет. Учтите: решаясь на A/B-тесты и удлиняя конверсионную воронку на одну ступень (таким образом, возникает «прокладка» на пути к маркету), вы выказываете готовность пожертвовать пусть малой, но частью аудитории. Впрочем, это тактическая уступка, направленная на получение стратегической выгоды. Да и потом, отдача от наиболее конверсионных вариантов лендинга способна компенсировать «усушку».

В конце концов, метод ни в коей мере не путь к абсолютном знании об аудитории. Ход A/B-тестирования, случается, претерпевает искажения. Так, при закупке трафика рекламная сеть старается подстроиться и «приземлять» на каждую из посадочных страниц тех, кто, согласно ее предсказательному алгоритму, более расположен именно к данному варианту (заметим справедливости ради, в Facebook есть возможность отключить оптимизацию трафика). А значит, чистота эксперимента пусть не катастрофически, но нарушается, что не умаляет его практической ценности.