Wikipedia:Wikimedia Deutschland/Neue Ehrenamtliche/Studie Wirkungsstatistik/Häufige Fragen
Akteure[Quelltext bearbeiten]
Wer ist CAT Lab und in welcher Verbindung stehen sie zu Wikimedia Deutschland?
CAT Lab ist eine unabhängige Forschungsorganisation, die bereits vorletztes und letztes Jahr, damals noch unter dem Namen Civil Servant, eine Studie zur Wirkung der Dankenfunktion (Projektseite), u.a. in der deutschsprachigen Wikipedia durchgeführt hat. CAT Lab ist an der Cornell University angedockt und alle von CAT Lab durchgeführten Studien müssen von der Ethikkommission der Universität genehmigt werden. CAT Lab wurde nicht von Wikimedia Deutschland mit der Durchführung der Studie beauftragt und erhält von Wikimedia Deutschland auch keinerlei Geld für die Studie. Zur Website von CAT Lab geht es hier, einen Überblick über ihre Forschungsprojekte in der Wikipedia findet sich auch auf Meta.
Was ist die Rolle von Wikimedia Deutschland in der Studie?
Wikimedia Deutschland fungiert in der Studie als Verbindung zur deutschsprachigen Community und berät beim Forschungsdesign. Dafür hat das Team Neulingsgewinnung Feedback von interessierten Communitymitgliedern zur Studie eingeholt, z.B. um zu entscheiden, wann und ab wie vielen Seitenansichten Neulinge die Begrüßungsnachricht erhalten sollen. Wikimedia Deutschland ist weder Auftraggeber der Studie, noch wird die Studie vom Verein finanziert.
Woher kommt das Geld für die Studie?
CAT Lab finanziert sich durch Drittmittel, die es bezogen auf einzelne Forschungsstudien aber auch für ihre Arbeit insgesamt erhält. CAT Lab ist eine Non-Profit Organisation mit dem Ziel, die Auswirkungen von Technologien auf unsere Gesellschaft zu untersuchen.
Warum wird in der deutschsprachigen Wikipedia auf Englisch geschrieben?
Bei CATLab handelt es sich um eine internationale Organisation, die mit verschiedenen Sprachversionen zusammenarbeitet (z.B. der polnisch-, arabisch-, persisch-, französisch- und deutschsprachigen, bengalischen und slowakischen Wikipedia). Um diese Arbeit machen zu können, gibt es in den Sprachversionen immer Ansprechpersonen mit den jeweiligen Sprachkenntnissen. Diese waren über Weihnachten und den Jahreswechsel nicht erreichbar und wurden daher von Julia von CAT Lab vertreten, die nur Englisch spricht. Die Intention war es besser schnell auf Englisch ein Signal zu senden, dass die Bedenken wahrgenommen wurden, anstatt mit einer deutschen Antwort bis ins neue Jahr zu warten.
Studie[Quelltext bearbeiten]
Woher kam die Idee für die Studie?
Die Idee zur Studie entstand in Diskussionen mit Wikipedianerinnen und Wikipedianern aus der ganzen Welt beim Civil Servant Research Summit nach der Wikimania 2019. Bei den Diskussionen waren auch Mitglieder aus der deutschsprachigen Community anwesend. Die an diesem Tag entstandenen Ideen für Forschungsstudien wurden von den mehr als 25 Teilnehmenden bewertet. Die Idee zu untersuchen, ob es Neulinge motiviert, wenn sie die Wirkung ihrer Edits sehen und so die Verbleiberate im Projekt erhöht, wurde als vielversprechend beurteilt. Im Nachgang zum Research Summit fragte CAT Lab bei allen Teilnehmenden, darunter auch Mitarbeitenden von Wikimedia Deutschland, an, ob sie Interesse hätten, diese Idee in ihrer Sprachversion zu testen.
Was ist das Ziel der Studie?
In der Studie soll untersucht werden, ob sich die Verbleiberate (Retention) von Neulingen in der deutschsprachigen Wikipedia erhöht, wenn sie über die Wirkung ihrer Beiträge informiert werden. Dafür wird sieben Tage nach Anmeldung eine automatische Nachricht auf die Diskussionsseite der Neulinge gepostet, die sie darüber informiert, wie häufig ihre Beiträge bereits gesehen wurden.
Wie wird die Wirkung von Neulingsbeiträgen gemessen?
Unter Wirkung (Impact) der Beiträge von Neulingen wird in der Studie die Anzahl der Seitenaufrufe des bearbeiteten Artikels seit der Sichtung der Bearbeitung verstanden.
Warum enthalten manche Botnachrichten Statistiken und andere nicht?
Die Studie ist als Experiment konzipiert. Um sicher feststellen zu können, ob die Intervention, also die Botnachricht mit der Wirkungsstatstik, einen Effekt auf die Verbleiberate hat, braucht die Studie eine Kontrollgruppe. Diese Kontrollgruppe ist genauso aufgebaut wie die Studiengruppe und erhält ebenfalls eine Nachricht, allerdings ohne die Wirkungsstatistik. Von 10 Menschen, die sich neu anmelden und editieren, erhalten also fünf eine Nachricht mit Wirkungsstatistik und fünf eine ohne. Anschließend wird untersucht, ob es einen Unterschied in der Verbleiberate, also der andauernden Aktivität der Neuen onwiki, zwischen beiden Gruppen gibt. Nur so kann einwandfrei festgestellt werden, ob Änderungen in der Verbleiberate tatsächlich auf die Nachricht mit der Wirkungsstatistik zurückzuführen sind oder nicht.
Wie werden die Seitenaufrufe berechnet?
Über das öffentlich zugängliche Tool zum Messen der Seitenaufrufe zählt die Studie alle Seitenaufrufe für jeden Artikel, den der jeweilige Neuling bearbeitet vom Zeitpunkt an, an dem die erste Bearbeitung gesichtet wurde bis zu dem Zeitpunkt, an dem die automatische Nachricht versandt wird (7 Tage nach der Registrierung).
Nehmen alle Neulinge in der Wikipedia an diesem Experiment teil - ob sie wollen oder nicht?
Alle Neulinge, deren gesichtete Edits mindestens 50 Seitenaufrufe haben, nehmen an der Studie teil. Die Studie ist als Experiment konzipiert, daher werden die Neulinge nicht gefragt, ob sie teilnehmen möchten. Alle Teilnehmenden werden nach der Studie in einer Nachricht darüber informiert, dass sie an der Studie teilgenommen haben. In dieser Nachricht werden sie nicht nur über ihre Teilnahme und die Studienergebnisse informiert, sondern auch über ihre Rechte, ihre Daten gemäß der DSGVO aus der Studie entfernen zu lassen in Kenntnis gesetzt.
Wieviele Botnachrichten sollen gepostet werden? Wie lange soll die Studie dauern?
Um einen statistisch relevanten Unterschied zwischen den Verbleiberaten der Kontrollgruppe und der Studiengruppe feststellen zu können, müssen 12.000 neu-registrierte Konten insgesamt (nicht nur dewiki) in der Studie betrachtet werden, was mit den 3 teilnehmenden Sprachversionen ungefähr 5 Monate in Anspruch nehmen wird.
Automatische Nachrichten durch Bots[Quelltext bearbeiten]
Warum wurde nicht bedacht, dass die automatischen Botnachrichten die Disks von Neulingen erstellen und damit das individuelle Begrüßen schwieriger machen?
Dieser Prozess war den Verantwortlichen und den mitarbeitenden Aktiven nicht bekannt und wurde deswegen beim Studiendesign nicht bedacht.
Warum wird ein Bot verwendet und keine persönliche Ansprache?
Es gibt drei Gründe für die Nutzung eines Bots. Erstens ist die Intervention, die getestet werden soll nicht die persönliche Begrüßungsnachricht an sich. Im Gegensatz zu einer Begrüßungsnachricht werden die Teilnehmenden in der Nachricht in der Studie lediglich über die Anzahl der Seitenaufrufe ihrer Edits informiert - Daten, die am besten von Software geliefert werden können. Zweitens könnte diese Information theoretisch auch über die Benutzeroberfläche von MediaWiki angezeigt werden. Die Studie wird allerdings von CAT Lab unabhängig von der Wikimedia Foundation und Wikimedia Deutschland durchgeführt, und hat daher keine Einflussmöglichkeiten auf die MediaWiki Software. Die beste Möglichkeit, die Teilnehmenden zu erreichen ist daher ein Bot. Und drittens wissen wir aus der vorherigen Studie zur Auswirkung der Danken-Funktion, wie groß der Aufwand und die Last auf den Schultern erfahrener Autorinnen und Autoren es sein kann, Nachrichten zu verschicken und wir wollten die Zeit und Energie von Projektaktiven daher nicht unnötig beanspruchen.
Community deutschsprachige Wikipedia[Quelltext bearbeiten]
Wann und wo wurde die Studie mit der Community abgestimmt und warum habe ich davon nichts mitbekommen?
Studien dieser Art dürfen nur mit dem Einverständnis der beteiligten Communitys durchgeführt werden. Dies wird von der Ethikkommission der Cornell University überprüft. Dafür haben wir im Oktober im Kurier auf die Studie hingewiesen und um Feedback oder Anregungen gebeten. Außerdem haben wir eine Projektseite angelegt und unter Aktuelles in unserem Neulingsportal ebenfalls um Feedback gebeten. Parallel zum Feedback zur Studie allgemein wurde ein Antrag für einen Botflag gestellt - aus Unwissenheit aber keine Diskussion auf Botanfragen gestartet.
Warum liegt die Projektseite der Studie unter WP:Wikimedia Deutschland/Neue Ehrenamtliche?
Auf diesem Portal informiert das Team Neulingsgewinnung bei Wikimedia Deutschland über alle Aktivitäten zum Thema Gewinnung und Onboarding von Neuen Ehrenamtlichen. Alle Kampagnen werden hier angekündigt, beschrieben und ausgewertet. Ebenso werden hier Forschungsergebnisse geteilt oder Studien angekündigt, in die der Verein involviert ist.
Warum gibt es diese Studie, wo es doch schon das Projekt Begrüßung von Neulingen gab?
In der Studie soll nicht untersucht werden, ob personalisierte oder andere Begrüßungsnachrichten für Neulinge funktionieren, sondern viel spezifischer ob es einen Unterschied macht, wenn Neulinge die Auswirkungen ihrer Tätigkeit onwiki sehen, bzw. kennen. Der Fokus der Studie liegt damit viel enger nur darauf, ob Neue motiviert werden, länger aktiv zu bleiben, wenn sie merken, dass ihre Beiträge von vielen Personen gesehen werden. Dafür braucht es theoretisch gar keine Nachrichten auf Diskussionsseiten, ist innerhalb der Wiki-Welt aber eine praktikable Lösung.
Ausblick[Quelltext bearbeiten]
Wofür sind die Ergebnisse der Studie gut?
Falls die Studie ergibt, dass die Verbleiberate von Neulingen durch die Information über die Wirkung ihrer Beiträge erhöht werden kann, können diese Erkenntnisse in ganz unterschiedlichen Formen genutzt werden. Wie dies genau umgesetzt werden kann, liegt in der Hand der Community. Denkbar wäre möglicherweise diese Information in Begrüßungsnachrichten zu inkludieren oder in einem automatischen Element auf Benutzerseiten zu integrieren.
Wie geht es jetzt weiter?
Zunächst ist der Bot in der deutschsprachigen Wikipedia angehalten worden, um der Diskussion zum Projekt Zeit zu geben. Das Projekt läuft in der slowakischen und bengalischen Wikipedia derweil weiter. Falls diese FAQ die Unklarheiten ausräumen können und es in der Diskussion keine schwerwiegende Bedenken mehr aus der Community gegen die Fortsetzung der Studie gibt, könnte es eine weitere Möglichkeit sein, einen offiziellen Botantrag zu stellen und zu sehen ob dieser gestattet wird.