Moderator Tools/Automoderator/nl
|
Automoderator
|
Het team Moderator Tools onderzoekt een project om een 'automoderator' hulpmiddel te bouwen voor Wikimedia-projecten. Het zou moderators in staat stellen om automatische preventie of omzetting van slechte bewerkingen op basis van een machine learning-model te configureren. Eenvoudiger gezegd bouwen we software die een soortgelijke functie uitvoert als anti-vandalisme bots zoals ClueBot NG, SeroBOT, Dexbot, Salebot, maar deze beschikbaar maken voor alle taalgemeenschappen. A MediaWiki extension is now under development - Extension:AutoModerator.
Onze hypothese is: Als we gemeenschappen in staat stellen om duidelijk vandalisme automatisch te voorkomen of terug te draaien, zullen moderators meer tijd hebben om aan andere activiteiten te besteden.
We zullen dit idee onderzoeken en verkennen gedurende de rest van 2023, en verwachten dat we tegen het begin van 2024 aan de uitvoering kunnen beginnen.
Laatste update (februari 2024): Er zijn ontwerpen gepost voor de eerste versie van de landing- en configuratiepagina's. Wij krijgen graag ideeën en suggesties.
Eerdere updates
- februari 2024: We hebben de eerste resultaten van ons testproces doorgegeven.
- oktober 2023: We zijn op zoek naar input en feedback over ons meetplan, om te beslissen welke gegevens we moeten gebruiken om het succes van dit project te evalueren, we hebben testgegevens beschikbaar gesteld om input te verzamelen over de besluitvorming van Automoderator.
- augustus 2023: We hebben dit project en andere projecten voor moderators onlangs op Wikimania gepresenteerd. U kunt de opgenomen sessie hier beluisteren.
Motivatie
Een aanzienlijk aantal bewerkingen zijn gedaan aan Wikimedia-projecten die zonder twijfel ongedaan gemaakt moeten worden, waardoor een pagina terugkeert naar haar vorige staat. Patrouilleurs en administrators moeten veel tijd besteden aan het handmatig beoordelen en omkeren van deze bewerkingen, wat bijdraagt aan een gevoel op veel grotere wiki's dat er een overweldigend aantal werkzaamheden zijn die aandacht vereisen in vergelijking met het aantal actieve moderators. Wij willen deze lasten verminderen en de moderator tijd geven om aan andere taken te werken.
Veel online community websites, waaronder Reddit, Twitch en Discord, bieden 'automatische moderatie' functionaliteit, waarbij community moderators een mix van specifieke en algoritmische geautomatiseerde moderatieacties kunnen opzetten. Op Wikipedia biedt AbuseFilter (Misbruikfilter) specifieke, op regels gebaseerde functionaliteit, maar kan frustrerend zijn wanneer moderators bijvoorbeeld nauwgezet een reguliere expressie moeten definiëren voor elke spellingsvariant van een scheldwoord. Het is ook ingewikkeld en gemakkelijk te breken, waardoor veel gemeenschappen het gebruik ervan vermijden. Minstens een dozijn gemeenschappen hebben anti-vandalisme bots, maar deze worden door de gemeenschap onderhouden, vereisen lokale technische expertise en hebben meestal ondoorzichtige configuraties. Deze bots zijn ook grotendeels gebaseerd op het ORES-schade model, dat al lang niet is getraind en beperkte taalondersteuning heeft.
Doelen
- Verminder achterstanden bij het modereren door te voorkomen dat slechte bewerkingen in de wachtrijen van de patrollers terechtkomen.
- Geef moderators vertrouwen dat automatische moderatie betrouwbaar is en geen significante valse positieve resultaten oplevert.
- Zorg ervoor dat redacteuren die in een vals positief zijn gevangen, duidelijke manieren hebben om de fout te markeren / hun bewerking opnieuw te laten instellen.
- Zijn er andere doelen die we moeten overwegen?
Ontwerponderzoek
We hebben een uitgebreid ontwerponderzoeksproces ondergaan om een solide basis te leggen voor de configuratie-hulpmiddel voor Automoderator. De kern van onze aanpak is de formulering van essentiële ontwerpprincipes voor het vormen van een intuïtieve en gebruiksvriendelijke configuratieinterface.
We hebben bestaande technologieën en beste praktijken bekeken en dit proces staat bekend als bureauonderzoek. Dit stelde ons in staat om waardevolle inzichten te krijgen in de huidige trends, potentiële valkuilen en succesvolle modellen op het gebied van geautomatiseerde moderatie. We hebben de ethische implicaties van menselijk-machine leren inzicht gegeven en ons hebben gefocust op verantwoorde ontwerppraktijken om een positieve en begrijpelijke gebruikerservaring te garanderen. We hebben ontwerpprincipes aangepast die prioriteit geven aan transparantie, gebruikersmachtiging en ethische overwegingen.
Model
Dit project zal gebruik maken van de nieuwe modellen voor het terugdraairisico die zijn ontwikkeld door het team Wikimedia Foundation Research. Er zijn twee versies van dit model:
- Een meertalig model, met ondersteuning voor 47 talen.
- Een taal-agnostisch model.
Deze modellen kunnen een score berekenen voor elke revisie die de kans geeft dat de bewerking moet worden teruggedraaid. We zien dat we gemeenschappen een manier kunnen bieden om een drempel voor deze score te stellen, waarboven bewerkingen automatisch worden voorkomen of teruggedraaid.
De modellen ondersteunen nu alleen Wikipedia, maar kunnen worden getraind op andere Wikimedia-projecten. Bovendien zijn zij nu alleen opgeleid op de hoofd namespace (article). Zodra het model is ingezet, kunnen we het model continu opnieuw trainen, omdat de gemeenschap valse positieve resultaten rapporteert.
Voordat we verder gaan met dit project willen we mogelijkheden bieden om het model te testen met recente wijzigingen, zodat de patrouilleurs kunnen begrijpen hoe nauwkeurig het model is en of ze zich ervan overtuigd voelen het te gebruiken op de manier die we voorstellen.
- Heeft u zorgen over deze modellen?
- Hoeveel procent van de valse positieve terugkeer is het maximale dat u of uw gemeenschap zou accepteren?
Mogelijke oplossing
We gaan voor een hulpmiddel dat kan worden geconfigureerd door de moderators van een community om automatisch bewerkingen te voorkomen of terug te draaien. Het is het meest waarschijnlijk om bewerkingen terug te draaien - het voorkomen van een bewerking vereist hoge prestaties om de bewerkingsbesparingstijden niet te beïnvloeden. Bovendien is er minder controle over welke bewerkingen worden voorkomen, wat niet wenselijk is, vooral met betrekking tot valse positieven. Moderators moeten in staat zijn om te configureren of het hulpmiddel actief is of niet, opties te hebben voor hoe strikt het model moet zijn, de gebruikersnaam te bepalen en de gebruikte samenvatting te bewerken, en meer.
Een lagere drempel zou betekenen dat meer bewerkingen worden terug gedraaid, maar het vals positieve percentage is hoger, terwijl een hoge drempel een kleiner aantal bewerkingen zou terugdraaien, maar met een hoger vertrouwen.
Hoewel de exacte vorm van dit project nog steeds wordt onderzocht, volgen hier enkele ideeën voor functies die we overwegen, naast de basisprincipes van het voorkomen of terugdraaien van bewerkingen die voldoen aan een risicodrempel voor terugdraaien.
Testen
Als gemeenschappen opties hebben hoe streng ze willen dat de automoderator is, moeten we een manier bieden om die drempels van tevoren te testen. Dit zou kunnen lijken op de testfunctionaliteit van MisbruikFilter, waarbij recente bewerkingen kunnen worden gecontroleerd tegen het hulpmiddel om te begrijpen welke bewerkingen op een bepaalde drempel zouden worden teruggedraaid.
- Hoe belangrijk is dit soort testfunctionaliteit voor u? Zijn er testfuncties die u bijzonder nuttig vindt?
Gemeenschap configuratie
Een kernaspect van dit project zal zijn om moderators duidelijke configuratiemogelijkheden te geven voor het opzetten van de automoderator en het aanpassen aan de behoeften van hun gemeenschap. In plaats van alle bewerkingen gewoon te om te draaien die een drempel halen, kunnen we bijvoorbeeld filters aanbieden om niet te werken op editors met bepaalde gebruikersgroepen, of om bepaalde pagina's te vermijden.
- Welke opties zou u nodig hebben voordat u deze software gebruikt?
Valse positieven
Machine learning modellen zijn niet perfect, dus we moeten verwachten dat er een aantal valse positieve bewerkingen worden teruggedraaid. Er zijn minstens twee dingen die we hier moeten overwegen: het proces voor een gebruiker dat hij of zij merkt dat zijn bewerking ten onrechte is teruggedraaid zodat het kan worden hersteld, en het bieden van een mechanisme voor gemeenschappen om feedback te geven aan het model in de loop van de tijd zodat het kan opnieuw worden getraind.
Het model is gevoeliger voor bewerkingen van nieuwe en niet-geregistreerde gebruikers, omdat hier de meeste vandalisme vandaan komt. We willen niet dat dit hulpmiddel de ervaring van nieuwe gebruikers van goede wil negatief beïnvloedt, dus we moeten duidelijke paden creëren voor nieuwe gebruikers om te begrijpen dat hun bewerking is hersteld en in staat zijn om het opnieuw te verwerken. Dit moet echter evenwichtig gedaan worden met het niet bieden van gemakkelijke routes voor vandalen om het werk van het hulpmiddel ongedaan te maken.
Hoewel deze modellen zijn getraind op een grote hoeveelheid gegevens, kunnen valse positieve meldingen door redacteuren een waardevolle gegevensset bieden voor de voortdurende training van het model. We moeten uitzoeken hoe ervaren redacteuren valse positieve gegevens kunnen sturen naar het model zodat het model zich kan verbeteren.
- Hoe kunnen we duidelijk informatie en actie leveren aan de redacteuren op het ontvangende einde van een valse positief, op een manier die niet wordt misbruikt door vandalen?
- Welke zorgen heeft u over valse positieven?
Ontwerpen
Onze huidige plannen voor Automoderator hebben twee UI-componenten:
-
Landingspagina.
Een landingspagina met informatie over Automoderator, een manier om in beroep te gaan tegen de beslissingen van de bot en een link om de bot te configureren.
-
Configuratiepagina. -
Wijzigingen doen op de configuratiepagina. -
Het opslaan van wijzigingen op de configuratiepagina.
The configuration page, which will be generated by Community Configuration. In de MVP kunnen beheerders Automoderator aan of uitzetten, de drempel configureren (d.w.z. hoe het zich moet gedragen) en de standaardbewerkingssamenvatting en gebruikersnaam aanpassen. We verwachten dat we door feedback meer configuratieopties zullen toevoegen. Zodra de pagina is opgeslagen, zal Automoderator onmiddellijk starten als het is ingeschakeld door de gebruiker.
Andere open vragen
- Als uw gemeenschap een anti-vandalisme bot gebruikt, die door een vrijwilliger wordt onderhouden, wat is dan uw ervaring met die bot? Hoe zou u zich voelen als de bot niet meer zou werken?
- Denkt u dat uw gemeenschap dit zou gebruiken? Hoe past het bij uw andere werkwijzen en hulpmiddelen?
- Wat moeten we nog meer overwegen dat we hierboven niet hebben gedocumenteerd?