Wikipedia:Wikimedia Deutschland/Neue Ehrenamtliche/Studie Wirkungsstatistik

Übersicht

Aktivitäten

Onboarding

Autorenzahlen

Forschung

Diese Projektseite beschreibt eine geplante Studie der Forschungsgruppe The Citizens and Technology Lab der Cornell Universität (CAT Lab) zur Untersuchung von “Wirkungsstatistiken” (Erklärung siehe Text) und deren Einfluss auf die Bleiberate von neuen Autorinnen und Autoren.

In Umfragen und Interviews geben Wikipedia-Aktive an, mit editieren angefangen und weitergemacht zu haben, weil sie hinter der Mission der Wikipedia stehen: Wissen für alle frei verfügbar zu machen . Mit anderen Worten: sie sind intrinsisch motiviert, etwas zu verändern. Diese Motivation kann untersucht werden, indem man testet, ob das Wissen über die Wirksamkeit ihrer Beiträge sie motiviert weiter zu editieren. Die Anzahl der Seitenaufrufe der von ihnen bearbeiteten Artikeln (ihre "Wirkungsstatistiken") können für Neulinge ein möglicher Indikator für diese Wirksamkeit sein. Wenn dem so ist, könnte es ein wirksames Mittel sein, Neue über die Anzahl der Seitenaufrufe der von ihnen bearbeiteten Artikeln zu informieren, um sie zum Bleiben im Projekt zu motivieren.

Diese Studie ist eine von vielen Forschungsideen, die von Aktiven der Wikimedia-Projekte während des CivilServant (nunmehr CAT Lab) Forschungssymposiums in Stockholm entwickelt wurden. Infos dazu finden sich auf der Projektseite des 2019 Research Summit.

Methoden

Zusammen mit Autorinnen und Autoren aus der Bengali, deutschsprachigen und slowakischen Wikipedia will CAT Lab ein randomisiertes Experiment durchführen und neu registrierten Usern (“Neulingen”) 7 Tage nach ihrer Registrierung eine Nachricht auf ihrer Diskussionsseite posten.

Diese Nachricht wird entweder die Anzahl der Seitenaufrufe aller ihrer Beiträge beinhalten sowie eine Anregung weiter zu editieren oder eine Nachricht für die Kontrollgruppe sein und nur eine Anregung weiter zu editieren beinhalten.

In der Studie werden nur Neulinge mit gesichteten Beiträgen angeschrieben. Insgesamt werden in allen 3 Sprachversionen bis zu 15.000 Neulinge Teil der Studie sein.

Wir werden als Ergebnis des Experiments vor allem die Retention, also die Bleiberate von Neulingen, untersuchen.

Zeitplan

• August - September, 2020: Forschungsdesign erstellen zusammen mit Liaisons aus der Bengali, deutschsprachigen und slowakischen Wikipedia
• September - Oktober, 2020: Weiterentwicklung des Forschungsplans und Diskussion mit den Communities
• Kalenderwoche 48: Start der Studie
• April, 2021: Ende der Studie
• Frühling und Sommer, 2021: Datenerfassung, Analyse, Veröffentlichung und Nachbesprechung der Ergebnisse mit der Community

Regeln, Ethik und Humanexperimente

Diese Studie wurde vom Prüfungsausschuss der Cornell Universität geprüft, um sicherzustellen, dass sie forschungsethischen Grundsätzen entspricht. Die vorherige Diskussion der Studie mit den Aktiven der Sprachversionen und die Einholung eines Community-Konsenses vor Durchführung wurden zwar explizit zugesagt, sind tatsächlich aber nicht erfolgt. Lediglich für den Betrieb des CivilServantBot wurde ein Botflag beantragt.

Über CivilServant

Die Studie wird von CAT Lab (vorher Civil Servant) in enger Zusammenarbeit mit den jeweiligen Communities durchgeführt. Die Forschungsgruppe CivilServant (jetzt Citizens and Technology (CAT) Lab an der Cornell University) arbeitet mit Online-Communities zusammen, um die Auswirkungen von Technologien auf gesellschaftliche Belange zu untersuchen. Alle Studien werden in Zusammenarbeit mit Communities konzipiert und durchgeführt und sind inhaltlich und finanziell unabhängig von der Wikimedia Foundation.

Feedback und Fragen

Für Feedback, Fragen und Meinungen kann die Diskussionsseite der Projektseite genutzt werden. Das Feedback wird gesammelt, übersetzt und an die Verantwortlichen weitergeleitet, damit dies in die Weiterentwicklung der Studie mit einbezogen werden kann. Die Antworten von CAT Lab werden wiederum durch die Liaisons übersetzt und hier veröffentlicht.

Ablauf und Beendigung der Studie

Die Studie startete vor Weihnachten 2020. Ein automatischer Bot postete die Nachrichten auf die Diskussionsseite von neuregistrierten Benutzer*innen. Im Zuge dessen kam es zu offenen Fragen und Kritik aus der Community, nachlesbar hier, hier und hier. Daraufhin wurde der Bot zunächst von einem Community-Mitglied gestoppt, um die offenen Fragen zu klären. Es wurde eine FAQ-Seite angelegt, die das Studiendesign genauer erläuterte. Im Zuge der darauffolgenden Diskussion konnten die meisten Fragen und Interferenzen geklärt werden. Dennoch haben wir gemeinsam mit CAT Lab im März 2021 entschieden, die Studie bis auf Weiteres auszusetzen. Gegebenenfalls besteht bei zukünftigen Studien die Möglichkeit, die Idee dieser Studie wieder aufzugreifen.

Zukünftiger Umgang mit Studien

Im Rahmen der Diskussion rund um diese Studie sind einige Kritikpunkte immer wieder aufgetaucht. Daraus ergeben sich folgende Prinzipien für den zukünftigen Umgang mit Studien zum Thema Neulingsgewinnung:

• Eine ausreichende Zahl von interessierten Personen aus der betreffenden Community sollten bereits beim Studiendesign, also der Planung und Konzeption der Studie, einbezogen werden. So sollen Interferenzen mit Arbeitsprozessen der Community von Beginn an möglichst vermieden werden.
• Im Vorfeld der Studie sollten die Initiator*innen an wichtigen und thematisch passenden Stellen (Kurier, geeignete Projektseiten etc.) über die Studie informieren und um Feedback bitten, damit möglichst viele der potentiell Interessierten informiert werden. Auch Regeln und etablierte Prozesse, wie etwa für die Zulassung von Bots o.ä. müssen eingehalten werden.
• Nach Möglichkeit sollte während der Durchführung der Studie eine deutschsprachige Ansprechperson verfügbar sein.

Siehe auch

• FAQs: Häufige Fragen und Antworten zur Studie (Design, Teilnehmenden etc.)
• Übersicht Studien von CATLab in den Wiki-Projekten (auf Englisch)

Quellen