E+Z - Entwicklung und Zusammenarbeit (Nr.12, Dezember 2000,
S. 351 - 353)

Die Diskussion über die Notwendigkeit von Evaluierung hat in den letzten Jahren auch die Nichtregierungsorganisationen erreicht. Allerdings sind die Voraussetzungen hier anders (weil die Autonomie der Partner eine größere Rolle spielt) und die Schwierigkeiten größer (weil die meisten NROs sehr klein sind). Theo Mutter, langjähriger Evaluierer, vertritt die Auffassung, dass die Hauptgründe für die Durchführung von Evaluierungen die gleichen sind, und beschreibt die Unterschiede.

Wo über Evaluierung diskutiert wird und Methoden dafür entwickelt werden, sind die Nichtregierungsorganisationen (NROs) sehr viel spärlicher vertreten, als es ihrer Bedeutung in der Praxis der Entwicklungszusammenarbeit (EZ) entspräche. Man könnte leicht den Eindruck gewinnen, dass diese Arena für die großen staatlichen Organisationen reserviert ist und die nichtstaatlichen Organisationen dort allenfalls eine Beobachterrolle spielen. Auch die umfassende, vom BMZ in Auftrag gegebene Untersuchung zur "Erfolgskontrolle in der deutschen Entwicklungszusammenarbeit" ¹ vermittelt nicht gerade den gegenteiligen Eindruck.

Die Grundfrage jedoch, zu welchem Zweck Evaluierungen durchgeführt werden, stellt sich für NROs in prinzipiell gleicher Weise wie für die staatlichen oder staatsnahen EZ-Organisationen. Danach gibt es vier Hauptgründe:

• Evaluierungen stellen eine Entscheidungsgrundlage für die Aufnahme oder Weiterführung von Projekten dar;
• sie sind Bestandteil der Berichterstattung und Rechenschaftslegung;
• sie sind die Basis für institutionelles Lernen und allgemein für die Verbesserung der Entwicklungspolitik;
• ihre Ergebnisse dienen der Öffentlichkeitsarbeit und Außendarstellung.

Gleichwohl herrscht in entwicklungspolitischen Fachkreisen ebenso wie in der Öffentlichkeit die Vorstellung, dass Evaluierungen bei NROs grundsätzlich einen geringeren Stellenwert hätten als in den staatlichen Institutionen. In diesem Beitrag soll der Frage nachgegangen werden, inwieweit sich die Evaluierungspraxis und die Methoden bei den NROs von denen in der staatlichen EZ unterscheiden; dabei soll auch untersucht werden, wo innerhalb der Gruppe der NROs eine Differenzierung vorzunehmen ist.

Der kleine,
aber feine Unterschied

Die unterschiedliche Wahrnehmung von NROs im Gegensatz zur staatlichen Entwicklungspolitik hat im Wesentlichen zwei Gründe, die auf verschiedenen Ebenen angesiedelt sind. Aus ihnen leitet sich auch der unterschiedliche Umgang mit Evaluierungen ab.

Zum einen leiten die meisten der rund 3000 in Deutschland entwicklungspolitisch aktiven NROs aus dem Verständnis ihrer Arbeit eine legitimatorische Funktion von Evaluierungen zunächst nicht ab. Rechenschaftslegung und Berichterstattung, wie sie für die Verwendung öffentlicher Gelder (und damit auch für alle aus staatlichen Töpfen gespeisten Organisationen) als Selbstverständlichkeit gelten, finden bei den NROs (die zumeist Mitgliederorganisationen sind) im internen Kreis statt. Den Mitgliedern wird über die unterstützten Vorhaben berichtet. Dabei werden diese anhand von hauseigenen Kriterien, die sich aus der Zielsetzung der NROs ableiten, bewertet, d. h. es findet eine eigene Form von Evaluierung statt. Man fühlt sich aber nicht verpflichtet, dies öffentlich zu diskutieren.

Arbeitsansatz und Ausrichtung der Projekte sind aufgrund der direkten Zusammenarbeit mit der Zielgruppe und der Basisorganisation vor Ort jeweils maßgeschneidert und am Bedarf orientiert. Da also die political correctness vorausgesetzt wird, muss diese nicht überprüft werden. Der direkte und intensive, nicht selten persönlich geprägte Bezug ist in der Tat oft eine wirksame Garantie für Partizipation und bedarfsgerechte Projekte. Deshalb wird den NROs eine besondere Spürnase für gesellschaftliche Entwicklungen nachgesagt, und ihr Einsatz wird vor allem dort nachgefragt, wo die großen und staatlichen Organisationen Zugangsschwierigkeiten haben.

Der zweite Grund ist, dass nur ganz wenige NROs eine Größe erreichen, die ein eigenes Grundsatzreferat oder eine Evaluierungsabteilung rechtfertigt. Die meisten verfügen lediglich über eine Minimalstruktur, mit der sie ein einziges oder wenige Projekte betreuen. Die Durchführung von Evaluierungen nach allgemeinem Standard übersteigt in vielen Fällen die vorhandenen Kapazitäten. Erst recht wäre es ihnen nur unter großen Zusatzanstrengungen möglich, sich an der Methodenentwicklung zu beteiligen.

Allerdings hat sich dieses etwas grobschlächtige Schema heute weiter ausdifferenziert, und das spiegelt sich auch in der Evaluierungspraxis wider. Zwischen der vergleichsweise kleinen Gruppe von "Großen" und den vielen "kleinen" Initiativen hat sich ein neues Mittelfeld herausgebildet. Zu den "Großen" gehören vor allem die kirchlichen Organisationen und als größte NRO in Deutschland die Welthungerhilfe. In der mittleren Gruppe finden sich jene Initiativen, die sich im Verlauf der letzten 30 bis 40 Jahre seit ihrer Gründung erkennbar professionalisiert und regional wie thematisch verbreitert haben. Diese oft aus der Solidarität mit der so genannten Dritten Welt entstandenen Gruppen verfügen heute über eine organisierte Bürostruktur mit hauptamtlichem Personal. Viele beteiligen sich aktiv an den politischen und theoretischen Diskussionen zur EZ. Dies erstreckt sich aber mehr auf Grundsatzfragen und bisher noch wenig auf die Evaluierungs- und Methodenfrage; dieser Bereich steckt hier noch in den Anfängen.

Vor diesem Hintergrund ist zu fragen, welche Rolle bei NROs Evaluierungen spielen und welche Bedeutung die vier genannten Funktionen von Evaluierungen für die jeweilige Organisation haben. Daran schließt sich die Frage an, ob es in Sachen Evaluierung unterschiedliche, weit auseinander liegende Welten gibt und ob die Einteilung in staatliche und nichtstaatliche EZ wirklich tragfähig ist.

Der wesentliche Unterschied zwischen beiden liegt in der Projektpolitik, genauer gesagt in der Zuschreibung der Projektverantwortung. Während die staatlichen EZ-Organisationen de facto eigenverantwortlich ihre Projekte oder einen signifikanten Beitrag dazu durchführen, lässt die bei NROs übliche Politik die generelle Verantwortung bei den Partnern. Dieser Arbeitsansatz hat für das Verfahren der Erfolgskontrolle entscheidende Konsequenzen: Auch die Steuerung des Evaluierungsprozesses liegt, wie die gesamte Durchführung der Projekte, weitgehend beim Partner. Dies ist im Grunde der einzige wirkliche Unterschied.

Die Funktion der
Evaluierungen für NROs -
und der Alltag

Bei Lektüre der erwähnten HWWA-Studie könnte der Eindruck entstehen, dass Erfolgskontrolle im wesentlichen in den Aufgabenbereich der staatlichen EZ gehört, während die privaten Organisationen (von den kirchlichen abgesehen) dem Thema keine Priorität einräumen. Bei genauem Hinsehen unterscheidet sich jedoch die Funktion von Evaluierungen in beiden Bereichen nur graduell. Bedingt durch den Spenderbezug kommt bei den meisten nichtstaatlichen Trägern der Außendarstellung besondere Bedeutung zu. Bei den anderen drei Hauptfunktionen von Evaluierung gibt es Unterschiede, die mit der Größe der einzelnen Organisationen zusammenhängen. Generell sind ihnen Evaluierungen wichtiger als Entscheidungsgrundlage für die Förderung oder Weiterführung von Vorhaben, weniger wichtig zur Rechenschaftslegung und als Bestandteil des institutionellen Lernens.

Die Ex-ante-Evaluierung als Entscheidungsgrundlage spielt eine besonders wichtige Rolle, weil, wie erwähnt, die Projektverantwortung danach bei den Partnern liegt. Die gründliche Prüfung und Planung in dieser Phase des Projektzyklus ist entscheidend, weil von ihr nicht nur das Gelingen eines Projektes abhängt, sondern weil sie auch den Grundstein für die spätere Erfolgskontrolle bildet. Generell werden Evaluierungen (entsprechend der Autonomie der Partner) weniger zur Kontrolle als zur Beratung eingesetzt. Berichterstattung und Rechenschaftslegung ebenso wie Qualitätsmanagement und institutionelles Lernen fließen indirekt in die Arbeitsroutine ein, stehen aber bei vielen NROs nicht im Vordergrund.

In der Realität bietet die Evaluierungspraxis der großen NRO-Familie ein recht buntes Bild. Da zeigt sich dann, dass trotz aller Ownership-Rhetorik die Entscheidung über Evaluierungen doch nicht vollständig in die Hand der Partner gegeben werden kann, da auch gegenüber den Spendern eine Rechenschaftspflicht besteht. Bei kleinen Mitgliederorganisationen erfolgt dies in der Regel durch Projektinformationen und Mitgliederversammlungen, die Informationen werden den Projektberichten entnommen oder bei Besuchen gewonnen. Formalisierte Evaluierungsverfahren oder gar externe Evaluierungen können sich kleine NROs nur in Ausnahmefällen leisten.

Auch die großen Organisationen stehen natürlich nicht nur als interessierte Beobachter und Ratgeber dabei, wenn ein von ihnen gefördertes Projekt vom Partner evaluiert wird. Nicht selten kommt der Anstoß von der Donor Agency, die durchaus aktiv auf die Evaluierungspraxis einwirkt und für eine enge Kooperation bei den Evaluierungen zur Verfügung steht.

Institutionelle Verankerung
von Evaluierungen

Bei den meisten NROs wurden Evaluierungen erst, nachdem sie zur Praxis geworden waren, in strukturierter Form in den Organisationsablauf eingebaut. Als integraler Bestandteil des Projektablaufs sind sie aber nur bei wenigen größeren NROs vorgesehen. Die Erfolgskontrolle besteht bei den meisten NROs aus den Berichten und der direkten Projektbegleitung. Auch wenn diese sehr intensiv und gewissenhaft betrieben wird, entspricht sie selten den methodischen Anforderungen eines systematischen Monitoring.

Das bedeutet nicht, dass die kleinen Organisationen die Qualität ihrer Arbeit weniger ernst nähmen, denn auch sie sehen sich durch die kritischen Fragen der Öffentlichkeit gegenüber der EZ einem zunehmenden Rechtfertigungs- und Qualitätsdruck ausgesetzt. Sie sehen sich aber nicht in der Lage, in gleichem Umfang wie die großen Organisationen ein umfassendes System der Erfolgskontrolle in den Regelablauf ihrer Projektbegleitung einzubauen. Dies würde die meisten der NROs überfordern, die zwar mit hohem persönlichem Einsatz, aber nur mit sehr geringem administrativem Aufwand die geförderten Projekte verwalten. Aus Sicht der kleinen NROs sind die meisten der Evaluierungsverfahren zu aufwendig und zu kostenintensiv. Selbst von den Großen in der NRO-Familie leisten sich nur die wenigsten (die Kirchen und die DWHH) eine eigene, vom operativen Bereich getrennte Evaluierungsabteilung. Kein Wunder also, wenn die meisten NROs angesichts des hohen Anspruchs der DAC-Prinzipien ² Schwierigkeiten haben, diese vollständig für ihre Arbeit zu übernehmen.

Einige der formalisierten Verfahren, wie sie bei der staatlichen EZ zum Standardrepertoire gehören, sind in der Tat für den Gebrauch bei einer kleinen NRO nur bedingt nützlich. Die Erfahrungen zeigen außerdem, dass zwar die Projektsituation mit diesen Verfahren recht genau analysiert werden kann, dass aber die NROs bei der Auswertung der Informationen für ihre meist viel kleineren Einzelprojekte auch ohne methodisch exaktes Vorgehen oft keine schlechteren Resultate vorzuweisen haben.

Das bestätigt nicht nur die Auffassung, dass häufig ein in Relation zum Ergebnis all zu hoher Aufwand getrieben werde, sondern auch die Kritik an der rein mechanischen Anwendung der Methoden. Wenn Evaluierungen zum Ritual verkommen und ihre Empfehlungen folgenlos bleiben, nützen die besten Methoden nur wenig. Engagiert durchgeführte Evaluierungen hingegen sind oft auch ohne konsequent angewandte Untersuchungsmethoden diesen Pflichtübungen überlegen, wenn die Gutachter mit Fingerspitzengefühl, Erfahrung, Sachverstand und Regionalkenntnis ans Werk gehen.

Methoden, nicht Rezeptbücher
sind gefordert

Mit der erwähnten Professionalisierung bekommen bei den NROs Evaluierungen nicht nur zunehmend einen festen Platz im Arbeitsablauf, sondern es wird auch der Ruf nach einem Methodengerüst immer lauter. Ein wichtiges Argument für ein Mindestmaß an Standardisierung ist trotz der unbestreitbaren Vorteile von situativ angepasstem und flexiblem Vorgehen die Vergleichbarkeit von Evaluierungsergebnissen. Für Qualitätsmanagement, Erfahrungsaustausch und institutionelles Lernen sind Querschnittsanalysen und allgemeine programmpolitische Schlussfolgerungen wesentliche Voraussetzungen, für die eine zu große Vielfalt an Evaluierungsansätzen eher abträglich ist. Deshalb praktizieren die meisten Organisationen, vor allem die größeren, einheitliche Verfahren, die zwar oft handgestrickt und aus der Praxis entwickelt, aber zweckmäßig sind.

Eine zumindest teilweise standardisierte Methoden-Toolbox ist auch für die Förderung der Partnerorganisationen erforderlich, die befähigt werden sollen, das Projektmonitoring und die Evaluierungen selbstständig durchzuführen. Damit wird auf der einen Seite die Eigenverantwortung der Partner gestärkt, und auf der anderen Seite stellt diese Partner-Qualifizierung zugleich eine EZ-Maßnahme dar (capacity buliding).

Nicht ein festgeschriebenes Verfahren, sondern methodische Grundmuster müssen es sein, die derart unterschiedliche Anforderungen der NROs erfüllen. Dabei wird in der Methodenentwicklung, ungeachtet aller Unterschiede, weitgehend die Leitfunktion der staatlichen EZ anerkannt. Nicht zuletzt profitieren von der Weiterentwicklung, den Erfahrungen und den Diskussionen (best practices) alle Akteure.

Nur wenige NROs können sich aber eine eigene Evaluierungsabteilung leisten; entsprechende Aufgaben werden meist von Mitarbeitern aus dem operativen Bereich zusätzlich wahrgenommen. Zugleich werden Notwendigkeit und Bedarf von systematischen Evaluierungen und entsprechenden Methoden auch bei kleinen NROs immer stärker artikuliert. Deutliches Zeichen dieser Entwicklung ist die zunehmende Präsenz und die aktive Beteiligung vieler NROs bei institutionenübergreifenden Foren (z. B. der Deutschen Gesellschaft für Evaluierung, DeGEval). Die geringe Zahl der Rückmeldungen von NROs bei der BMZ-Studie zur Erfolgskontrolle hängt sicher auch damit zusammen, dass die meisten das Gefühl hatten, mangels eigener institutionalisierter Evaluierungsverfahren nichts zum Thema beitragen zu können.

Gesucht: Allzweck-Toolbox
für NROs

Die Suche nach einem auf NRO-Bedürfnisse zugeschnittenen Instrumentarium führte schließlich zu einem gemeinsamen Vorhaben, dem Evaluierungsleitfaden, den der Organisationsberater Eberhard Gohl für den NRO-Verband VENRO erarbeitete, ³ in Zusammenarbeit mit Mitarbeitern zahlreicher Organisationen vor allem aus den kirchlichen Hilfswerken.

Dabei stellte der Autor ganz bewusst nicht die Vorstellung in den Vordergrund, ein komplexes Methodengebäude mit festgelegten Fragenrastern zu entwickeln, das möglichst alle Projektwirkungen vollständig erfasst. Der zentrale Nutzen wird darin gesehen, eine für NRO-spezifische Projekttypen maßgeschneiderte, anpassbare und sehr praxisorientierte Toolbox zur Wirkungserfassung zur Verfügung zu stellen. Dass dies angesichts der großen Unterschiedlichkeit der im VENRO vertretenen Gruppen nicht einfach sein würde, war allen Beteiligten klar. Daraus erklärt sich auch der lange Reifungsprozess von über zwei Jahren, bis die Handreichung jetzt zur Verfügung steht. Das Grundmuster sowie die Planungs- und Evaluierungslogik folgen den allgemeinen Theorien, und trotz des erforderlichen kleinsten gemeinsamen Nenners umfasst der Leitfaden alle erforderlichen Elemente.

Ein grundlegender methodischer Unterschied besteht allerdings zu den üblichen Verfahren im staatlichen Bereich. Während sich die öffentlichen Evaluierungen im Wesentlichen an den Ziel- und Planungsvorgaben orientieren, zeichnet sich der Ansatz der NROs durch eine offene Wirkungsanlyse aus, d. h. es wird ohne einschränkende Leitfrage allgemein nach den Wirkungen eines Projekts geforscht, den beabsichtigten wie den unbeabsichtigten (ausführlich s. Dolzer u. a., S.45 ff.). ⁴

Mit dem Erscheinen des lange ersehnten VENRO-Büchleins lassen sich natürlich nicht alle Evaluierungsdefizite beseitigen. Auch wenn ein erfreulicher Abbau der gegenseitigen Vorbehalte zwischen staatlichen EZ-Organisationen und der NRO-Familie zu beobachten ist, werden NRO-Aktivitäten vor Ort gelegentlich von Vertretern der öffentlichen EZ immer noch kritisch begleitet. Der flexiblere Umgang mit Planung und Evaluierung wird nicht selten als Unverbindlichkeit eingestuft, und die fehlende Rigidität im Projektmanagement wird als Manko gesehen. Dabei schwingt immer noch ein Unterton mit, der den NROs die Professionalität absprechen will. Die NROs hingegen haben nach wie vor Schwierigkeiten, sich mit den institutionalisierten Verfahren von GTZ, KfW etc. anzufreunden, die für ihre vielfältigen Anforderungen und Projektrealitäten zu starr und in der Regel zu teuer sind.

Zwar werden die einst recht tiefen Gräben zwischen den NROs und der staatlichen Seite allmählich zugeschüttet, aber statt eines fruchtbaren Zusammenwirkens in den Projektländern trifft man bei Evaluierungen immer noch auf gegenseitige Abschottung - von Donor Cooperation ist da immer noch wenig zu spüren, und in noch weiterer Ferne liegen gemeinsame, abgestimmte Evaluierunsgvorhaben, die Synergien bewirken und Kosten sparen könnten. Informationen über entwicklungspolitische Zusammenhänge und Projektwirkungen werden immer noch wie ein geschütztes Eigentum jedes Projektes behandelt. Konkurrenzgebaren steht unverkennbar hinter dieser Politik, und bei einigen Organisationen wird peinlich darauf geachtet, dass das eigene Image unbeschädigt bleibt und niemand in die Karten sehen kann, wie dies etwa bei World Vision besonders auffällig ist.

Trotzdem liegt das Grundverständnis in Bezug auf die vier Hauptfunktionen von Evaluierung auf beiden Seiten gar nicht so weit auseinander. Die Schlussfolgerungen aus dem Evaluierungsgutachten ¹ (S. 333 ff.) werden von beiden Gruppen ähnlich beurteilt, und eine ganze Reihe davon sind in der Praxis vieler NROs bereits Realität. Eine separate, vom operationalen Bereich getrennte Evaluierungsabteilung ist bei den größeren NROs seit längerem üblich, deshalb erstaunt es, wenn diese bei der KfW erst als Reaktion auf das Gutachten aufgebaut wird. Auch Ex-post-Wirkungsanalysen, die in der staatlichen EZ (außer bei der KfW) ein Novum sind, ergeben sich bei vielen NROs insofern von selbst, als diese durch ihre Langzeitpartnerschaften Wirkungen und Veränderungen kontinuierlich über längere Zeiträume verfolgen können. Der Blickwinkel der Evaluierungen ist damit stärker auf die gesellschaftlichen Veränderungen gerichtet und weniger projektfixiert.

4) Hermann Dolzer u. a.: Wirkungen und Nebenwirkungen - ein Beitrag von Misereor zur Diskussion über Wirkungsverständnis und Wirkungszusammenhang in der EZ. Aachen 1998