A/B-Tests
Ein A/B-Test ist eine einfache Möglichkeit, um festzustellen, ob ein Merkmal von Benutzern bevorzugt wird.
Die Benutzer werden in zwei Gruppen unterteilt. Die eine Gruppe bekommt das neue Merkmal zu sehen; die andere Gruppe bekommt die alte Version zu sehen. Dann überprüft man, ob sich die Gruppen unterschiedlich verhalten, z.B. ob eine Gruppe mehr Bearbeitungen ausführt als die andere.
Wie es angewendet wird
Die Instrumentierung für einen A/B-Test kann knifflig sein, darum lass dir bitte helfen.
Viele A/B-Tests in öffentlichen Wikis werden nur für eingeloggte Benutzer ausgeführt. Die Tests können auf Benutzer bestimmter Wikis oder mit einer bestimmten Erfahrung beschränkt werden (z.B. nur neue Wikipedia-Bearbeiter). Wenn du einen A/B-Test für ausgeloggte Benutzer (IP-Benutzer/Benutzer, die nicht angemeldet sind) ausführen willst, dann solltest du zuvor besser mit dem Experimentation Platform Team (das möglicherweise Personen hinzuzieht, die mit dem Wikimedia Performance Team verbunden sind), den Betreibern von Test Kitchen (auch bekannt als Experimentation Lab oder "xLab") in Verbindung setzen.
Meistens werden die beiden Gruppen über ihre Benutzer-ID bestimmt. Diese Nummern sind im Wesentlichen zufällig.
Letzte Einsätze
Dies ist eine unvollständige Liste der letzten Einsätze in der MediaWiki Entwicklung.
- Wikipedia.org Portal A/B testing
- Page Previews/2016 A/B Tests und Page Previews/2017-18 A/B Tests
- UK A/B Testing
- VisualEditor on mobile/Edit cards
- Reading/Web/Projects/Mobile Page Issues/AB tests
- Reading/Search Engine Optimization/sameAs test
- (Bitte füge hier Verweise zu anderen Versuchen ein!)
Siehe auch
- wikitech:Metrics_Platform
- wikitech:A/B testing
- phab:T213315 "Output 3.2: Controlled experiment (A/B test) capabilities" (aus dem Wikimedia Foundation Annual Plan/2018-2019/Audiences#Better Use of Data)