A/B-тестирование
A/B-тестирование — это простой инструмент для определения того, нравится ли пользователям та или иная функция.
Участники делятся на две группы. Одна группа увидит новую функцию, а другая видит старую версию. Затем вы проверяете, ведут ли группы по-разному, например, вносит ли одна группа больше правок, чем другая.
Как настроить
Инструментарий для A/B-теста может быть непростым, поэтому обращайтесь за помощью.
Многие A/B-тесты в общедоступных вики проводятся только для зарегистрированных участников. Тесты могут быть ограничены участниками определённых вики или участниками с определённым уровнем опыта (например, только новые редакторы Википедии). Если вы хотите провести A/B-тестирование для неавторизованных пользователей (IP-пользователей или пользователей, которые не вошли в систему), то вам, вероятно, следует сначала поговорить с командой платформы для экспериментов (которая может привлечь людей, связанных с Wikimedia Performance Team), и является поддержкой для Test Kitchen (также известной как Experimentation Lab или «xLab»).
Чаще всего две группы идентифицируются по идентификаторам учётных записей участников. Эти числа по сути случайны.
Прошлые использования
Это неполный список прошлых использований в разработке MediaWiki.
- Wikipedia.org Portal A/B testing
- Page Previews/2016 A/B Tests и Page Previews/2017-18 A/B Tests
- UK A/B Testing
- VisualEditor on mobile/Edit cards
- Reading/Web/Projects/Mobile Page Issues/AB tests
- Reading/Search Engine Optimization/sameAs test
- (Пожалуйста, добавьте сюда ссылки на другие исследования!)
См. также
- wikitech:Metrics_Platform
- wikitech:A/B testing
- phab:T213315 "Output 3.2: Controlled experiment (A/B test) capabilities" (из Годового плана Фонда Викимедиа/2018-2019/Аудитории#Лучшее использование данных)