Bewertungskriterien definieren

Konfiguration -> Beitragsbewertung -> Bewertungskriterien

Mit den Bewertungskriterien wird in Converia festgelegt, nach welchen Maßstäben die Gutachter:innen Beiträge bewerten sollen. Auch das Programmkomitee nimmt später die finale Bewertung anhand vieler dieser Kriterien vor. Dabei gibt es eine breite Palette an Bewertungsmöglichkeiten: Zwischen individuellem Feedback und strikter Notenvergabe gibt es viele weitere Abstufungen.

Eine klassische Beitragsbewertung zeigt die Abbildung 1 im Frontend und Abbildung 2 mit der zugehörigen Konfiguration im Backend.

Abb. 1: Ansicht einer Beitragsbewertung im Loginbereich einer Gutachterin

Abb. 2: Zugehörige Konfiguration der Bewertungskriterien im Backend

Kriteriengruppen

Die Bewertungskriterien können in verschiedenen Kriteriengruppen angeordnet werden. Im Frontend werden die Bezeichnungen der Gruppen aus Überschrift angezeigt. Diese sind in Abb. 1 gut sichtbar (Qualität/Entscheidung/Themengebiete).

Abb. 3: Die in der Kopiervorlage standardmäßig angelegten Kriteriengruppen

Ein neues Bewertungskriterium anlegen

Abb. 4: Die in der Kopiervorlage standardmäßig angelegten Bewertungskriterien

Zwei Bewertungskriterien sind bereits in der !Kopiervorlage standardmäßig angelegt. Wenn zusätzliche Kriterien benötigt werden, können diese über den Button Neuen Eintrag erstellen hinzugefügt werden.

Abb. 5: Ein neues Kriterium anlegen

1. Legt die Bezeichnung des Kriteriums für die Unterscheidung im Backend fest.

2. Die Bezeichnung, die das Kriterium im Frontend haben soll (Abb. 1).

3. In der Beschreibung können zusätzliche Informationen für das Kriterium ergänzt werden.

4. Legt den Bezug des Kriteriums fest. Sollen die selben Kriterien in der Abstract- und Manuscriptbewertung verwendet werden, muss der Bezug vor Beginn der Manuscriptbewertung angepasst werden. Folgende Bezüge sind möglich:

   1. Abstract

   2. Manuscript

5. Legt die Art des Kriteriums fest, folgende Arten gibt es:

   1. Note/Qualität

   2. Klassifikation

   3. Präsentation

   4. Interner Kommentar

6. Entscheidet, ob das Kriterium ein Pflichtfeld sein soll, folgende Optionen gibt es:

   1. Immer Pflicht

   2. Optional

   3. Pflicht, wenn Beitrag nicht akzeptiert wird

   4. Optional, wenn Beitrag nicht akzeptiert wird

7. Sollen etwaige Punkte berücksichtigt werden.

8. Zugehörigkeit zu einer Kriteriengruppe.

9. Kurztitel für das Kriterium, wird in der finalen Bewertung als Spaltentitel verwendet.

Note/Qualität

Wurde ein Kriterium der Art Note/Qualität angelegt, können im Reiter Antworten die im Frontend ausgegebenen Antworten konfiguriert werden.

Abb. 6: Noten und Effekte

Hier kann ein Name, ein Effekt, sowie ein Wert festgelegt werden. Bei Effekt wird zwischen kein Effekt und Punktwertung nicht zutreffend unterschieden. Ersteres ist der Standard für ein Kriterium der Art Note/Qualität. Sollte es eine zusätzliche Möglichkeit geben, sich der Bewertung zu enthalten, wäre der Effekt Punktwertung nicht zutreffend nötig, damit der zugewiesene Wert nicht in die Bewertung einfließt und den Durchschnitt verzerrt.

Klassifikation

Wurde ein Kriterium der Art Klassifikation angelegt, können im Reiter Antworten, die im Frontend ausgegebenen Antworten konfiguriert werden.

Abb. 7: Klassifikation und Effekte

Hier werden den Auswahlmöglichkeiten Name und Effekt zugeordnet. Die Effekte des Bewertungskriteriums werden auch für Schritt 3 in den Arbeitsabläufen benötigt, da die Einordnung der Abstracts anhand des Bewertungskriteriums erfolgen.

Es zwingend erforderlich, genau ein Kriterium der Art Klassifikation anzulegen und mit passenden Effekten zu konfigurieren, sonst funktionieren Beitragsbewertung und Arbeitsabläufe ggf. nicht korrekt.

Die Effekte des Bewertungskriteriums der Art Klassifikation steuern u.a. die fabliche Darstellung der bewerteten Beiträge im Forntend.

Abb. 8: Farbdarstellung der bewerteten Beiträge im Gutachter-Frontend

Präsentation

Damit die Präsentationsform in der finalen Bewertung durch das Programmkomitee angepasst werden kann, muss ein Kriterium der Art Präsentation angelegt sein.

Abb. 9: Präsentationsformen

Hier können den Präsentationsformen passende Effekte zugeordnet werden. Die Effekte beziehen sich auf die in der Konfiguration der Beitragseinreichung angelegten Präsentationsformen. Meist wird der Präsentationsform der gleichnamige Effekt zugeordnet.

Interner Kommentar

Mit einem internen Kommentar können Nachrichten oder Einschätzungen der Gutachtenden an das Programmkomitee festgehalten werden. Es gibt die Möglichkeit, ein einzeiliges oder mehrzeiliges Eingabefeld zu konfigurieren.

Abb. 10: Interner Kommentar

Die Inhalte des Bewertungskriteriums interner Kommentar können nicht an die Autor:innen der Beiträge gesendet werden.

Power Session Bewertungskriterien

Die Converia Power Session zum Thema Bewertungskriterien anschauen.