Opinion: Toward an international definition of citizen science

Please find the English version below.

Zusammenfassung

In einer kürzlich erschienenen Veröffentlichung in den Proceedings of the National Academy of Sciences of the United States of America (PNAS) stellte die Arbeitsgruppe für Qualitätskriterien für Citizen Science Projekte auf Österreich forscht den einjährigen Prozess der Entwicklung transparenter Kriterien für die Entscheidung, welche Projekte auf Österreich forscht gelistet werden sollen, der wissenschaftlichen Gemeinschaft vor. In diesem Text sind wir auch über die österreichische Grenze hinausgegangen und haben vorgeschlagen, den gleichen Prozess wie in Österreich auf internationaler Ebene zu entwickeln, um Mindeststandards für Citizen Science-Projekte festzulegen. Ein solcher Prozess würde dem Feld helfen, sich zu entwickeln, und die politischen Entscheidungsträger ermutigen, CS-Projektdaten und -ergebnisse ernst zu nehmen. Den Volltext finden Sie hier.

Dazu gibt es auch einen Letter to the Editor von Auerbach et al. sowie unsere Antwort darauf von Heigl et al.

Hintergrund des Prozesses

Im Rahmen des jährlichen Plattformtreffens von “Österreich forscht” am 01.03.2017 wurde von den anwesenden PartnerInnen beschlossen eine Arbeitsgruppe zu Qualitätskriterien für Citizen Science Projekte einzurichten. Dies wurde nötig, weil durch neue Förderprogramme und dem mittlerweile erreichten Bekanntheitsgrad von Citizen Science sich immer mehr Projekte zu Citizen Science zählen, welche auch die Aufnahme auf “Österreich forscht” beantragten. Bislang wurden Projekte von den Koordinatoren der Plattform vor der Aufnahme auf Konsistenz mit den unterschiedlichen Definitionen von Citizen Science geprüft. Um nun möglichst objektive, nachvollziehbare und vor allem auch öffentlich einsehbare Kriterien für die Zukunft zu schaffen, wurde die Arbeitsgruppe für Qualitätskriterien gegründet.

Die Arbeitsgruppe besteht aus ProjektleiterInnen und PartnerInnen von “Österreich forscht” und wird von Florian Heigl und Daniel Dörler geleitet. Ziel ist es bis zur kommenden Österreichischen Citizen Science Konferenz Anfang Februar 2018 in Salzburg einen Katalog mit Mindestkriterien zu erstellen, den alle Projekte auf “Österreich forscht” in Zukunft erfüllen müssen. Zusätzlich werden die Kriterien auf “Österreich forscht” für jeden einsehbar präsentiert werden. Die entwickelten Kriterien erhöhen einerseits die Qualität der Citizen Science Projekte auf der Plattform und bieten andererseits den BürgerInnen die Gewissheit, dass alle auf “Österreich forscht” gelisteten Projekte nach objektiven und nachvollziehbaren Qualitätskriterien durchgeführt werden. Ab dem Moment, an dem die Kriterien präsentiert werden, müssen alle Projekte, die auf der Plattform gelistet werden möchten, diese erfüllen.

Die Erstellung der Kriterien erfolgte in mehreren Schritten. Im ersten Schritt wurde in der Arbeitsgruppe für Qualitätskriterien ein erster Entwurf der verschiedenen Kriterien erstellt.  Danach hatten alle ProjektleiterInnen und PartnerInnen von “Österreich forscht” Zeit diese Kriterien selbst zu lesen, zu kommentieren und Feedback einzubringen. Dieses Feedback wurde von der Arbeitsgruppe diskutiert und in eine zweite Version eingepflegt. Während der gesamten Erstellung des Qualitätskriterienkataloges gab es insgesamt drei Feedbackschleifen für ProjektleiterInnen und PartnerInnen der Plattform. Zusätzlich steht es allen ProjektleiterInnen und PartnerInnen der Plattform jederzeit offen auch selbst Teil der Arbeitsgruppe zu werden und so die Kriterien noch intensiver mitgestalten zu können. Es gab auch eine öffentliche Online-Konsultation, um die Meinung der Bürger zu erfahren.

Auf diese Weise sollen sowohl traditionsreiche Citizen Science Projekte, als auch ganz neue die Möglichkeit haben ihre Sichtweisen und Meinungen zu dieser Methode einzubringen.

Die die derzeit aktuelle Version des Qualitätskriterienkatalogs finden Sie hier.

Twitter-Feedback

Da unsere Publikation eine lebhafte Diskussion über das Ziel und den Anspruch unserer Kriterien auf Twitter ausgelöst hat, halten wir eine Klärung für notwendig, um Missverständnisse zu vermeiden. Das wohl Wichtigste ist, dass das Ziel des Textes darin besteht, eine Diskussion über die Definition von Citizen Science auf der Grundlage des einjährigen Prozesses in Österreich zu beginnen.

Dieser Prozess stand der österreichischen Citizen Science Community  und der Öffentlichkeit offen, und wir als Gruppe freuen uns sehr, dass es uns gelungen ist, mit diesen Kriterien so breit wie möglich zu sein. Wir haben die Kriterien auch in einem Workshop auf der österreichischen Citizen Science Konferenz in Salzburg und der letzten ECSA-Konferenz in Genf (beide 2018) vorgestellt und diskutiert, und wir waren sehr froh, dort ein gutes und unerwartetes Feedback zu erhalten (z.B. Teilnehmer, die sich nicht sicher waren, ob ihr Projekt als Citizen Science qualifiziert werden kann, nun zum ersten Mal etwas hatten, an dem sie festhalten konnten).

Da es fast unmöglich ist, eine objektive Diskussion über Twitter zu führen, haben wir uns erlaubt, einige der Argumente und Fragen auf Twitter zusammenzufassen und unseren Standpunkt direkt hier zu klären. Diese Sammlung von Argumenten und Fragen hat keinen Anspruch auf Vollständigkeit, und wenn Sie das Gefühl haben, dass wir einen wichtigen Tweet verpasst haben oder dass wir einen bestimmten Punkt falsch verstanden haben, scheuen Sie sich bitte nicht, uns über Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein! zu kontaktieren, damit wir Ihren Tweet hinzufügen können.

Wurde die Öffentlichkeit konsultiert?

Ja. Auf Seite 8090 schreiben wir: "Während des Prozesses organisierten die Koordinatoren der Plattform drei Workshops, mehrere Online-Diskussionen und eine offene Konsultation mit der Öffentlichkeit." Einen Monat lang haben wir die Kriterien auf unserer Plattform veröffentlicht und Citizen Scientists  und die Öffentlichkeit gebeten, Feedback und Kommentare zu geben. Wir haben diesen Prozess per E-Mail an alle Projekt-PI's, über Facebook und Twitter sowie über eine Pressemitteilung angekündigt. Mehr als 50 Kommentare wurden abgegeben, und wir haben sie in die endgültige Fassung der Kriterien aufgenommen.

Es gibt so viele partizipative Formen der Wissenschaft, dass es kontraproduktiv ist, das, was Citizen Science ist und was nicht, so eng zu definieren und zu kontrollieren.

Wir wollen nicht ausschließen, sondern klare und transparente Kriterien geben, die uns als Plattformkoordinatoren helfen zu entscheiden, welche Art von Projekten auf Österreich forscht (https://www.citizen-science.at/) gelistet werden und welche nicht. Wir haben dies als einen notwendigen Prozess angesehen, da Citizen Science, sehr breit gefächert ist, und wir waren der Meinung, dass wir klare und transparente Argumente für abgelehnte Projekte liefern müssen, die sich um eine Aufnahme in unsere Plattform bewerben. Um nicht zu eng zu werden, haben wir alle Bürgerinnen und Bürger Österreichs eingeladen, an diesen Kriterien mit uns zu arbeiten, und wir freuen uns sehr, dass Menschen aus 17 Institutionen mit unterschiedlichem akademischem Hintergrund dies getan haben. Wir sehen die Kriterien als Ergebnis eines Bottom-up-Prozesses in Österreich, und wir leben auch diesen Bottom-up-Ansatz. Wenn uns beispielsweise Projekte im Rahmen des Bewerbungsprozesses ihre Antworten auf die Kriterien schicken, fragen wir nach, wenn etwas unklar ist. Wir helfen den Projektleiterinnen und -leitern auch bei der Erfüllung der Kriterien (z.B. Aufzeigen, wo sie Daten veröffentlichen können, wie sie die Rollen der am Projekt beteiligten Personen beschreiben können). Deshalb würden wir sagen, wir unterstützen eher als zu “kontrollieren".

Viele "normale Wissenschaften" würden nicht der hier präsentierten Definition entsprechen.

Es ist nicht die Absicht unseres Katalogs, die Grundlage für alle Forschungsansätze zu sein. Ja, die "normale Wissenschaft" würde also einige unserer Kriterien nicht erfüllen, z.B. "Die Ziele des Projekts müssen ohne die Mitarbeit der Bürgerinnen und Bürger nicht erreichbar sein".

Die Definition schließt viele Bereiche der Community-Citizen Science, der DIY-Wissenschaft, des Passive Sensing  und des Volunteer- Computings aus.

Wir glauben nicht, dass wir viele der derzeit laufenden Projekte im Bereich Citizen Science ausschließen. Um Ausgrenzung zu vermeiden, haben wir alle Projektleiterinnen und -leiter auf Österreich forscht und die Öffentlichkeit eingeladen, mit uns an den Kriterien zu arbeiten. Wir freuen uns sehr, dass Menschen aus 17 Institutionen mit unterschiedlichem akademischem Hintergrund und zahlreiche anonyme Personen während der öffentlichen Konsultation unserer Einladung gefolgt sind und mit uns gemeinsam an der Entwicklung der Kriterien gearbeitet haben.  Wir möchten auch betonen, dass wir nicht sagen, dass andere Länder unsere Kriterien in genau der gleichen Weise übernehmen sollten. Mit dieser Opinion wollten wir eine Diskussion auf der Grundlage des von uns beschriebenen Prozesses zur Entwicklung der Kriterien für die österreichische Citizen Science-Plattform (https://www.citizen-science.at/) anstoßen.

Darüber hinaus zielt der erste Teil der Kriterien in erster Linie darauf ab, festzustellen, was ein Citizen Science-Projekt definiert. Hier haben wir uns für eine Negativliste (d.h. Projekte, die NICHT Citizen Science sind) entschieden, um so offen wie möglich für verschiedene Konzepte und Disziplinen zu sein. Das bedeutet, dass wir alle Projekte als Citizen Science bezeichnen, die durch diese Negativliste nicht ausgeschlossen sind. Der berufliche Hintergrund der Person, die das Projekt leitet, ist nicht entscheidend, solange die Kriterien vom Projekt erfüllt werden.

Dies wird auch in der Opinion auf Seite 8091 betont: "Wir haben Kriterien geschaffen, um Projekte, die nicht CS sind, so auszuschließen, dass die Kriterien für verschiedene Konzepte und Disziplinen offen sind. Beispielsweise gelten Meinungsumfragen oder die Datenerhebung über die Teilnehmer nicht als CS. Wir schließen Projekte nicht aus, die auf der Forschungsexpertise oder dem beruflichen Hintergrund des Projektleiters basieren - d.h. Projektleiter müssen keine PhDs in Naturwissenschaften haben, damit ihr Projekt als CS klassifiziert werden kann."

Wir verstehen nicht, warum Community Science, DIY Science grundsätzlich mit unseren Kriterien unvereinbar sein sollte. Passive Sensing und Volunteer Computing sind nur dann ausgeschlossen, wenn die Teilnehmerinnen und Teilnehmer nur Ressourcen bereitstellen und nicht aktiv in den Forschungsprozess eingebunden sind. Der Grund für den Ausschluss von Projekten auf der österreichischen Citizen Science Plattform, bei denen Bürgerwissenschaftler nur Ressourcen zur Verfügung stellen, liegt darin, dass dadurch Crowdfunding Projekte automatisch zu Citizen Science-Projekten werden würden, auch wenn die Bürger überhaupt nicht in die Forschung selbst einbezogen werden.

Sie haben in ihrem Text oder in der Definition der Citizen Science keine unterschiedlichen Standpunkte vertreten, sondern viele Projekte ausgeschlossen. Viele Citizen Science Projekte sollten aufgrund Ihrer Definition jetzt aufhören, sich selbst Citizen Science zu nennen.

Wir sagen nicht, dass jemand aufhören sollte, seine Arbeit als Citizen Science zu bezeichnen, wenn er/sie überzeugt ist, dass es sich um Citizen Science handelt. Die von uns entwickelten Kriterien sollen uns bei der Entscheidung helfen, ob ein Projekt, das sich um eine Listung bewirbt, auf unserer Plattform gelistet wird oder nicht. Selbst wenn ein Projekt von uns im Bewerbungsprozess abgelehnt wird, würden wir vom PI des Projekts nie verlangen, dass er aufhört, das Projekt Citizen Science zu nennen.

Um zu vermeiden jemanden auszuschließen, haben wir alle Projektleiterinnen und -leiter auf unserer Plattform und die Öffentlichkeit eingeladen, mit uns an der Entwicklung der Kriterien zu arbeiten, und wir freuen uns sehr, dass Menschen aus 17 Institutionen mit unterschiedlichem akademischem Hintergrund und zahlreichen anonymen Personen in der öffentlichen Konsultation unserer Einladung gefolgt sind.

Der Zweck unseres Textes in PNAS war es, eine Diskussion über die Definition von Citizen Science  einzuleiten, denn aus den Gründen, die wir in unserem Text erwähnen, halten wir dies für einen wichtigen Schritt, den die Citizen Science-Community machen muss, wenn sie von der Politik, der Öffentlichkeit und der wissenschaftlichen Gemeinschaft ernst genommen werden will.

In vielen Community-Citizen-Science Projekten und in Citizen Science Projekten, in denen indigene Gruppen eingebunden werden,  werden Daten standardmäßig nicht offen zur Verfügung gestellt Vielmehr muss bei jeder Veröffentlichung die Zustimmung der Teilnehmerinnen und Teilnehmer eingeholt werden.

Wenn es gute Gründe gibt, warum die Daten nicht offen zur Verfügung gestellt werden sollten (z.B. Schutz personenbezogener Daten), wären die Kriterien erfüllt. Dies ist auch weiters unter dem Punkt Ethik ergänzt, wo die Zustimmung der TeilnehmerInnen eingefordert wird. Mit dem Kriterium der Offenheit wollten wir vermeiden, dass die Daten aus einem Citizen Science-Projekt nach Projektende in einer Schublade verschwinden und niemand sonst damit arbeiten kann. Dies entspricht auch dem ECSA-Prinzip 7 (Citizen science project data and meta-data are made public available and where possible, results are published in a open access format.)

Datenmanagementpläne sind in Community-Projekten nicht die Realität und auch nicht relevant für sie.

In Österreich haben wir die Erfahrung gemacht, dass viele Projekte keinen Datenmanagementplan hatten. Aber nachdem sie an einem solchen Plan gearbeitet hatten, um die Kriterien zu erfüllen, waren die Projektleiterinnen und -leiter zufrieden, weil sie über ihre gesammelten Daten nachdenken mussten, wo die Daten gespeichert sind, wie die Daten archiviert werden können, wer Zugang zu den Daten hat usw. Deshalb hat sich die österreichische Citizen Science-Community entschieden, dass es gut wäre, wenn sich alle Citizen Science-Projekte Gedanken zur Handhabung ihrer Daten machen würden und einen Datenmanagementplan hätten.

Citizen Science  gibt es seit 50 Jahren und dieser Forschungsansatz braucht keine Definition von Menschen, die erst seit kurzem an Citizen Science interessiert  sind und sich der Geschichte von Citizen Science nicht bewusst sind.

Tatsächlich waren in unserem einjährigen Prozess viele Institutionen beteiligt, die eine über 50-jährige Geschichte in Citizen Science  haben. Das älteste Citizen Science-Projekt in Österreich, dessen Leiter auch in den Entwicklungsprozess der Kriterien eingebunden war, ist >150 Jahre alt.

Summary

In a recent publication in the Proceedings of the National Academy of Sciences of the United States of America (PNAS), the Working group on quality criteria for citizen science projects on Österreich forscht, presented the one year process of developing transparent criteria for deciding which projects should be listed on Österreich forscht to the scientific community. In this opinion piece, we also moved beyond the Austrian border and suggested to develop the same process we had in Austria on an international level to set minimum standards for citizen science projects. Such a process would ensure that CS projects are rigorous, help the field flourish, and where applicable encourage policymakers to take CS project data and results seriously. You can find the full text here.

There was also a Letter to the Editor published by Auerbach et al. as well as our reply to the letter by Heigl et al.

Background of the process

Within the framework of the annual platform meeting of "Österreich forscht" on 01.03.2017, the partners present decided to establish a working group on quality criteria for Citizen Science projects. This became necessary, because due to new funding programs and the meanwhile achieved degree of awareness of Citizen Science, more and more projects belong to Citizen Science, which also applied for the admission to "Österreich forscht". So far, projects have been checked for consistency with the different definitions of Citizen Science by the coordinators of the platform before inclusion. In order to create criteria for the future that are as objective, comprehensible and, above all, open to the public as possible, the working group on quality criteria was founded.

The working group consists of project leaders and partners of "Österreich forscht" and is led by Florian Heigl and Daniel Dörler. The aim is to produce a catalogue of minimum criteria by the upcoming Austrian Citizen Science Conference at the beginning of February 2018 in Salzburg, which all projects at "Österreich forscht" will have to meet in the future. In addition, the criteria will be presented on "Österreich forscht" for everyone to see. The developed criteria increase on the one hand the quality of the Citizen Science projects on the platform and on the other hand offer citizens the assurance that all projects listed on "Österreich forscht" will be carried out according to objective and comprehensible quality criteria. If projects already listed do not meet the criteria after the transition period, they will be removed from the platform. The working group will also determine how the review process is to be structured.

The criteria were drawn up in several steps. In the first step, a first draft of the various criteria was prepared in the working group for quality criteria.  Then all project leaders and partners of "Österreich forscht" had time to read these criteria themselves, comment on them and provide feedback. This feedback was discussed by the working group and incorporated into a second version. Throughout the preparation of the quality criteria catalogue there were three feedback loops for project leaders and partners of the platform. In addition, it was open to all project leaders and partners of the platform to become part of the working group themselves at any time and thus to be able to help shape the criteria even more intensively. There was also a public online consultation to get the view of the citizens.

In this way, both traditional Citizen Science projects and completely new ones will have the opportunity to contribute their views and opinions on this method.

Version 1.1 of the quality criteria catalogue can be found here.

Twitter feedback

Since our opinion sparked a lively discussion on Twitter about the aim and the aspiration of our criteria, we feel that some clarification is needed to avoid misunderstandings. Probably the most important thing to point out is, that the aim of the opinion piece is to start a discussion on the definition of citizen science on the basis of an one-year inclusive process in Austria.

This process was open to the Austrian citizen science community and the general public and we as a group are very happy that we managed to be as broad as possible with these criteria. We also presented and discussed the criteria in a workshop at the Austrian citizen science conference in Salzburg and the last ECSA conference in Geneva (both in 2018), and we were very happy to get some good and unexpected feedback there (e.g. participants, that were unsure if their project qualifies as citizen science, now for the first time had something they could hold on to).

Since it is nearly impossible to lead an objective discussion on Twitter, we took the liberty to summarize some of the arguments and questions made on Twitter and clarify our point of view directly here. This collection of arguments and questions has no claim to be complete, and if you have the feeling that we have missed some important Tweet or that we misunderstood a given point  please be not shy to contact us via Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein! so we can add it to the list or start a discussion directly via e-mail.

Was the general public consulted?

Yes. On page 8090 we write: “During the process, the platform coordinators organized three workshops, several online discussions, and an open consultation with the general public.” For one month we posted the criteria on our platform and we asked citizen scientists and the general public to provide feedback and comments on them. We advertised this process via e-mails to all project PI’s, via Facebook and Twitter and via a press-release. More than 50 comments were given, and we included them into the final version of the criteria.

There are so many participatory forms of science, it is counterproductive to exclude and police what is and isn't citizen science so narrowly.

It is not our intention to exclude, but to give clear and transparent criteria that help us as platform coordinators to decide what kind of projects are listed on Österreich forscht (https://www.citizen-science.at/) and which are not. We saw this as a necessary process, since citizen science is very broad and we felt the need to give clear and transparent arguments to rejected projects applying for listing on our platform. To avoid being narrow, we invited everyone in the Austrian citizen science community to work together with us on these criteria, and we are very happy that people from 17 institutions with all kinds of academic backgrounds, did. We see the criteria as the result from a bottom-up process in Austria, and we are also living this bottom-up approach. For example, if projects send us their answers on the criteria as part of the application process, we do inquire if anything is unclear. We also help the project PI’s if necessary to fulfil the criteria (e.g. pointing out where they could publish data, how they could describe the roles of the people involved in the project). Therefore, we would say we assist rather then “police”.

Lots of “regular science” would not conform to the definition offered here.

It is not the intention of our catalogue to be the basis for all research approaches. So yes, “regular science” would not fulfill some of our criteria, for example “The objectives of the project must be unachievable without the citizen scientists’ collaboration.”.        

Your definition is exclusionary to many parts of  community science, DIY science, passive sensing, and volunteer computing.

We don’t think that we are excluding lots of the projects currently ongoing in the field of citizen science. To avoid being exclusionary, we invited all project PI’s on Österreich forscht and the general public to work together with us on the criteria. We are very happy that people from 17 institutions from all kinds of academic backgrounds and numerous anonymous people in the public consultation followed our invitation and worked together with us on the development of the criteria.  We also want to stress that we are not saying that other countries should adopt our criteria in exactly the same way. With this opinion piece we wanted to start a discussion based on the process we describe for the development of the criteria for the Austrian citizen science platform (https://www.citizen-science.at/).

Additionally, the first part of the criteria is primarily aimed at establishing what defines a citizen science project. Here, we decided on a negative list (i.e. projects that are NOT citizen science), in order to be as open as possible to different concepts and disciplines. This implies that we call all projects citizen science, which are not excluded by this negative list. The professional background of the person leading the project is not crucial as long as the criteria are complied by the project.

This is also stressed out directly in the opinion on page 8091: “We created criteria to exclude projects that are not CS, to be as open as possible to different concepts and disciplines. For example, opinion polls or data collection on participants is not considered CS. We do not exclude projects based on the research expertise or professional background of the project leader—i.e., project leaders need not have PhDs in science for their project to be classified as CS.”

We do not see, why community science, diy science should be excluded per se with our criteria. Passive sensing and volunteer computing is only excluded if the participants are only providing resources and are not actively involved in the research process. The reason for excluding projects on the Austrian citizen science platform where citizen scientists are only providing resources  is that this would make crowdfunded projects automatically citizen science projects, even if citizens are not involved at all in the research itself.

You have not involved different point of views in your opinion or in the definition of citizen science, but excluded many projects. Many of those now should stop calling themselves citizen science, according to your definition.

We are not saying, that anyone should stop calling his/her work citizen science, if he/she is convinced it is citizen science. The criteria we developed are there to help us to decide whether a project applying for listing will be listed on our platform or not. Even if a project gets rejected by us in the application process, we would never demand of the project’s PI to stop calling the project citizen science.

To avoid going an exclusionary path we invited all project PI’s on our platform and the general public to work together with us on the development of the criteria, and we are very happy that people from 17 institutions from all kinds of academic backgrounds and numerous anonymous people in the public consultation followed our invitation.

The purpose of our opinion piece was to start a discussion on the definition of citizen science, since for the reasons we mention in the opinion we think this is an important step citizen science needs to take if it wants to be taken seriously, by policy, the public and the scientific community.

In many projects in community and indigenous knowledge projects, data is closed by default, and we have to have our participants’ consent every time we publish something.

If there are good reasons, why the data should not be published openly (for example personal data protection), the criteria would be fulfilled. This is also supplemented under the point Ethics, where we ask for the consent of the participants. With this criterium of openness we wanted to avoid that data collected or created in a citizen science project would disappear in a drawer after the end of the project, and no one else could work with it. This also corresponds to ECSA principle 7 (Citizen science project data and meta-data are made publicly available and where possible, results are published in an open access format.)

Data management plans are not the reality in community led projects and are also not relevant for them.

We made the experience with PIs in Austria, that many projects did not have a data management plan. But, after working on such a plan to fulfill the criteria, PIs were satisfied, because they had to think about their data they collect, where the data is stored, how the data can be archived, who has access to the data etc. That's why the Austrian citizenscience community decided, that it would be good if all citizen science projects were thinking about how to manage their data and had a data management plan.

Citizen science has been around for 50 years and does not need a definition by people who are only involved in this approach for a short time and are not aware of its history.

Actually, in our one year process, many institutions were involved which have a history in citizen science beyond 50 years. The oldest citizen science project in Austria, and here the PI was involved in our process, is >150 years old.