Ziele und Hintergrund des Fachwörterbuch Evaluation

Das Fachwörterbuch Evaluation ist ein Projekt von Jan Hense (Kontakt, Homepage). 

Es setzt einen bewussten Kontrastpunkt zum durch KI-Chatbots vermittelten Evaluationswissen, das in vielen Bereichen sehr nützlich ist, aber bis heute gerade bei spezielleren Fragen oberflächlich, unzuverlässig, unvollständig und dekontextualisiert sein kann.

Auf dieser Seite finden Sie Hintergrundinformationen 

Einen Einstieg und Anwendungshinweise zum Fachwörterbuch finden Sie auf der Willkommensseite.

Zielgruppen und Ziele

Das Fachwörterbuch richtet sich besonders an 

  • Neue im Feld der Evaluation, die Orientierung im anfangs oft überwältigenden und wenig kohärenten Begriffsvielfalt suchen,
  • praktisch Tätige in der Evaluation, die sich mehr Sicherheit im Sprachgebrauch und den einen oder anderen Anwendungshinweis für neue Themenfelder oder Ansätze wünschen,
  • Personen, die Evaluation nur aus einem engeren Zusammenhang wie z.B. der Lehrveranstaltungsevaluation kennen und ihren Horizont darüber hinaus erweitern wollen,
  • Fortgeschrittene, die ein Nachschlagewerk zu allgemeinen und spezielleren Themen der Evaluation suchen,
  • Interessierte an theoretischen und historischen Fragen der Evaluation,
  • Forschende, die ihre fachspezifisch oder methodologisch geprägte Sicht von Evaluation auf die Transdisziplin und Profession Evaluation erweitern wollen.

Konzeption

Mit diesen Zielgruppen und Zielen gehen einige konzeptionelle Entscheidungen einher.

  • Das Wörterbuch versucht nicht Bedeutungen zu setzen, sondern soweit möglich zu beschreiben, zu erklären und zu kontextualisieren, und weist daher auch auf Bedeutungsvarianten hin.
  • Anders als in reinen Glossaren wird also nicht nur eine Definition gegeben, sondern auch eine Einordnung, die verständlich machen soll, wie der Begriff in der Praxis verwendet wird und welche Relevanz er hat.
  • Durch Verweise ("siehe auch") und durch die automatische Verlinkung von Begriffen und Synonymen sollen Begriffe nicht isoliert sondern im Zusammenhang erfassbar werden.
  • Die Standarddarstellung aller Einträge auf einer einzelnen Seite soll dies unterstützen, da so besonders schnell zwischen den Begriffen gesprungen werden kann. Auch die Kurzdefinitionen per Hinweistext ("Tooltip") dienen diesem Zweck.
  • Bedeutungen werden so allgemeingültig wie möglich definiert, also nicht aus Sicht eines bestimmten Verwendungskontexts oder Handlungsfelds wie z.B. Bildung. Dies bringt mit sich, dass manche Definitionen abstrakter klingen können, als nötig scheint.
  • Beispiele und weiterführende Erklärungen versuchen dann, den Abstraktionsgrad wieder auf Praxisniveau herunterzubrechen.
  • Vorteil dieses Vorgehens ist, dass keine Trivialisierungen oder fachliche Fehler auftreten, wie sie oft in gebrauchsnäheren Glossaren zu finden sind.
  • Obwohl der Anspruch insgesamt deskriptiv und nicht präskriptiv oder normierend ist, versuche ich zumindest in den jeweiligen Hauptdefinitionen ein möglichst kohärentes und widerspruchsfreies Begriffsnetzwerk darzulegen. Soweit ich dazu eigene Setzungen vornehme, weise ich darauf hin.
  • Das Wörterbuch soll daher auch als Werkstattsprache für den Austausch zwischen professionell in der Evaluation Tätigen genutzt werden können.

Zur Verwendung von Synonymen

  • Das Wörterbuch versucht nicht künstlich die Begriffszahl zu maximieren (s. Ein- und Ausschlusskriterien). Daher werden gelegentlich Begriffe als Synonyme bezeichnet, deren Bedeutung nicht zu 100% deckungsgleich ist (z.B. request for proposals und terms of reference), bei denen aber eine Differenzierung oder ein reiner Querverweis aus meiner Sicht keinen Mehrwert hätte und dem Erklärungswert eher abträglich wäre. Der Text weist darauf nötigenfalls explizit hin.
  • Teils sind reine Deklinationen von Begriffen als Synonyme angegeben, z.B. der Genitiv eines zusammengesetzten Begriffs. Dies ist rein technisch bedingt (s. Automatische Verlinkungen).

Quellen und Literaturangaben

Inhaltlich beruhen alle Einträge zum ganz wesentlichen Anteil auf meiner eigenen Expertise als Evaluationsforscher, -berater, -lehrender und -praktiker. Ich versuche dabei einerseits der theoretischen Evaluationsliteratur, andererseits dem im Feld bzw. teils auch einzelnen Handlungsfeldern und -kontexten verbreiteten Sprachgebrauch gerecht zu werden, soweit dieser abweicht. Andere Glossare und Lehrbücher ziehe ich, wenn nicht anders angegeben, nur zur Validierung oder der Prüfung alternativer Verständnisse heran.

Soweit wortwörtliche Übereinstimmungen mit den Definitionen des Glossars der Standards für Evaluation (DeGEval, 2017) bestehen, gehen die darauf zurück, dass ich an dessen Entwicklung maßgeblich beteiligt war.

Literaturangaben finden sich in der Regel bei Begriffen und Themen, die eher fortgeschrittene Aspekte betreffen oder klar mit einzelnen Personen assoziiert sind, nicht aber bei grundlegenden Begriffen. Ihre Definitionen stellen im Normalfall ein Amalgam meiner Fachkenntnis und des Literaturstands dar.

Verwendung Künstlicher Intelligenz im Fachwörterbuch

Alle Inhalte des Wörterbuchs entspringen meiner eigenen Expertise und sind von mir geschrieben, Tippfehler inklusive. Für unterstützende Tätigkeit wurden ab der Neuauflage KI-Applikationen (meist Claude Opus >=4.5) für folgende inhaltliche Zwecke genutzt:

  • Einzelne Beispiele sind KI-inspiriert, allerdings von mir verschriftlicht.
  • Gelegentlich lasse ich Definitionen von KI-Seite validieren, um zu prüfen, ob es z.B. sektoral andere Verständnisse geben könnte oder ob sie als verständlich akzeptiert werden.
  • Redaktionelle Assistenz z.B. für Ausdrucksvielfalt oder Übersetzungen.

Die Technik der Seite ist maßgeblich mit KI-Unterstützung entstanden. Der Umzug der gesamten Datenbank von der ursprünglichen Webseite (evoluation.de), die automatische Verlinkung von Begriffen und Literatur, die Suchfunktion und weitere Features wären ohne KI-Unterstützung v.a. durch claude code  nicht realisierbar gewesen. Hut ab, wir leben in der Zukunft.

Automatische Verlinkungen

Das Wörterbuch verlinkt automatisch Begriffe oder ihre Synonyme. Im Normalfall geschieht das nur beim ersten Auftreten innerhalb eines Eintrags und auch am Wortanfang bei zusammengesetzten Worten. Dies führt v.a. bei Begriffen, die auch alltagssprachlich verwendet werden wie z.B. "Genauigkeit" oder mehrdeutig sind wie z.B. Kontext (des Gegenstands vs. der Evaluation) gelegentlich zu inhaltlich fehlerhaften Verlinkungen bzw. irreführenden Hinweistexten.

Damit auch deklinierte Verwendungen automatisch verlinkt werden, sind diese öfters explizit als Synonyme hinterlegt. Dies hat also rein technische Gründe und ist nicht inhaltlich bedeutsam.

Fachlicher Bias

Meinen eigenen fachlichen Prägungen, Erfahrungen und Neigungen geschuldet, ist das Wörterbuch nicht frei von Biases. Ich habe im Rahmen dieser Neuauflage bewusst versucht, diese zu reduzieren, sie sind aber sicherlich noch erkennbar:

  • Orientierung an der internationalen und v.a. der nordamerikanischen Literatur zur (program) evaluation
  • Schwerpunkt auf der Evaluation von personenbezogenen Maßnahmen in sozialen Kontexten, v.a. im Bildungswesen
  • Unterrepräsentanz von Perspektiven der Evaluation von politischem und Verwaltungshandeln und der Evaluation von objektbezogenen Maßnahmen aus Bereichen wie z.B. Ökologie oder Regionalplanung

Besonders im Bereich der Politikevaluation gibt es seit den 1970er Jahren eine deutschsprachige Theorieentwicklung, die bisher vermutlich unterrepräsentiert ist.

Als Evaluationstheoretiker gelingen mir meine Darstellungen nicht garantiert wertfrei. Zu bestimmten Themen habe ich dezidierte Haltungen, die sich vermutlich nicht immer von einer rein deskriptiven Darstellung separieren lassen. Wo mir das bewusst ist, markiere ich entsprechende Bemerkungen explizit als "Kommentar".

Zum Status als Fachwörterbuch

In der Fachsprachenforschung gibt es eine Reihe von Bezeichnungen für Sammlungen von Fachbegriffen und ihren Erklärungen, die im Sprachgebrauch oft nicht genauer differenziert werden. 

  • Glossare erläutern in der Regel das Begriffsverständnis eines konkreten Werks wie z.B. das Glossar der Standards für Evaluation (DeGEval, 2017).
  • Wörterbücher beschränken sich gewöhnlich auf knappe Bedeutungsangaben und innersprachliche Informationen wie Grammatik, Etymologie oder Synonyme.
  • Lexika dagegen enthalten umfassendere Informationen und Artikel zu einem Begriff und sind zum Nachschlagen gedacht.
  • Enzyklopädien tragen den Anspruch, ein Wissensgebiet umfassend zu repräsentieren und enthalten auch Einträge, die über das typische Nachschlagen hinaus gehen können.

Das ursprünglich in diesem Sinne als Wörterbuch gestartete Sammelwerk hat heute eher den Charakter eines Lexikons. Einzelne Einträge wie z.B. Fachverbände, prospektive Methoden oder "Koryphäen der Evaluation" haben sogar enzyklopädischen Charakter, da sie so etwas wie "landing pages" darstellen, die weniger zum Nachschlagen gedacht sind, sonder eher verwandte Einzelbeiträge bündeln und auf übergeordneter Ebene kommentieren. Ähnlich motiviert sind eigentlich selbsterklärende Begriffe wie z.B.Erkenntnisniveau, die eher als Hintergrund bei mehreren anderen Begriffen relevant sind und somit helfen, Redundanzen zu vermeiden.

Dass ich im Zuge der Neuauflage den Titel nicht zu (Fach-)Lexikon geändert habe, hat vor allem ästhetische Gründe. Ich mag das Wort lautlich einfach nicht.

Evaluationsperspektive

Begriffe außerhalb des "Kernwortschatzes" der Evaluation werden immer aus Perspektive der Evaluation verstanden und erläutert. So interessiert die Bundeshaushaltsordnung nur soweit sie Evaluationsaufgaben vorschreibt, Axiologie nur in ihrem Verhältnis zu Bewertungskriterien und Impacts und Best Practice nicht als Projekt- oder Wissensmanagementmethode, sondern nur als mögliches Output askriptiver Evaluation.

Einschlusskriterien

Das Wörterbuch enthält primär Begriffe dieser Kategorien:

Ausschlusskriterien

Folgende Arten von Begriffe, die sich teils in anderen Glossaren und Nachschlagewerken finden, fehlen bewusst im Fachwörterbuch:

  • Begriffe aus den Bereichen Forschungsmethoden und Statistik wie z.B. Stichprobe, Effektstärke, Regression, Fokusgruppe oder teilnehmende Beobachtung werden im Normalfall nicht definiert, es sei denn, es gibt zu ihnen aus Evaluationssicht besonders Wichtiges zu sagen (z.B. RCT).
  • Selbsterklärende Begriffe, die in der Evaluation nicht anders zu verstehen sind als in anderen Kontexten und keine besondere Rolle in relevanten Zusammenhängen wie z.B. einem bestimmten Evaluationsansatz haben.
  • Komposita wie z.B. "qualitative Evaluation" oder "articulated program theory", die durch ein vorangestelltes Adjektiv erzeugt werden, aber über diese Attribuisierung hinaus wenig distinkte Eigenschaften aufweisen, die sich nicht aus dem Adjektiv selbst heraus erklären würden. Definitionen erschienen mir hier redundant.
  • Neu geprägte Begriffe mit wenigen Ausnahme, die dann aber begründet werden (z.B. Vergleichsstandard).