Evaluierung

E+Z - Entwicklung und Zusammenarbeit (Nr. 4, April 2001, S. 126)

Keine neuen Erkenntnisse
Anmerkungen zur Diskussion über die Evaluierung langfristiger Wirkungen

Wolfgang E. Fischer

Die BMZ-Querschnittsevaluierung über langfristige Wirkungen von EZ habe zu der Erkenntnis geführt, dass nur die Akzeptanz durch Partner und Zielgruppen langfristige Projekterfolge sicherstellen könne - so hatten Reinhard Stockmann, Alexandra Caspari und Paul Kevenhörster im Oktober-Heft von E+Z geschrieben. Das sei nun wirklich nichts Neues, schreibt hier Wolfgang E. Fischer, der auch an der Untersuchung beteiligt war. Die wirklich wichtigen und wissenschaftlich relevanten Fragen seien auch von dieser Studie nicht beantwortet worden: Fast alle Fragen offen.

Die Ende vergangenen Jahres der Öffentlichkeit vorgestellte Querschnittsevaluierung des BMZ1 mag ihren (politischen) Zweck erfüllt haben, der offenbar ausschließlich darin bestand, die deutsche Entwicklungszusammenarbeit vor dem Parlament und der deutschen Öffentlichkeit zu legitimieren.

Das ist zu Zeiten knapper Kassen nicht gering zu schätzen; immerhin haben 36 unabhängige Gutachter (zu denen auch ich gehörte) dem BMZ bestätigt, daß von den 32 evaluierten Entwicklungsvorhaben unserer Partner in der Dritten Welt in der Regel auch einige Jahre nach der Beendigung des deutschen Förderungsbeitrags noch positiv eingeschätzte Wirkungen ausgehen.

Bescheidener wissenschaftlicher Ertrag

Einigermaßen peinlich aber ist der Versuch, die Untersuchung darüber hinaus zu einem "wissenschaftlich" abgesicherten und nachahmenswerten Modell der Wirkungsanalyse von "Entwicklungshilfe" hochzustilisieren, wie das Caspari, Kevenhörster und Stockmann2 und auch das Ministerium selbst3 tun: Wer sich in der Materie ein wenig auskennt, wird in dem BMZ-Bericht nicht allzu viel Neues entdecken können, sondern sich eher angesichts des nicht unbeträchtlichen zeitlichen und finanziellen Aufwands über eine ungenutzte Chance ärgern.

Die als wichtige Schlußfolgerungen (lessons learnt) präsentierten Erkenntnisse über die Erfolgsbedingungen erfolgreicher Förderung ziehen sich wie ein roter Faden bereits durch fast sämtliche Evaluierungen, die in den letzten zwanzig Jahren durchgeführt wurden. Eine am Schreibtisch durchgeführte Auswertung der im BMZ archivierten Evaluierungsberichte der letzten Jahre hätte mit Sicherheit kein anderes Ergebnis gebracht als das nun mit großem Aufwand erstellte Produkt.

Die aus der Ex-post-Evaluierung abgeleiteten Erfolgsmeldungen (Stather: " ... haben 75% der untersuchten Projekte ihre Ziele bei Förderende gut bis sehr gut erreicht") unterscheiden sich prinzipiell nicht von den Aussagen in den Jahresberichten von KfW und GTZ oder auch in den jährlichen Auswertungen aller im Auftrag des BMZ erstellten Evaluierungsberichte.

Neu ist allenfalls, dass nun ähnliche Feststellungen auch für den Zeitpunkt der Evaluierung (also etwa 5 Jahre nach Beendigung der Förderung) getroffen werden (" ... dennoch lag die Zielerreichung ... immer noch bei 64%").

Der Bericht lässt methodisch wie inhaltlich fast alle Fragen offen, die von entwicklungspolitischen Fachleuten im Zusammenhang mit Evaluierungen seit Jahren diskutiert werden. Nur einige seien im Folgenden erwähnt.

Strukturelle Wirkungen und
die Schwierigkeit, sie nachzuweisen

Dirk Messner hat in seinem Beitrag zu dieser Diskussion4 bereits auf den wichtigen Aspekt der Breitenwirksamkeit, der strukturellen Veränderungen etc. hingewiesen, der in der zur Rede stehenden Evaluierung kaum berücksichtigt wird. Während der von Stather in seinem Artikel angesprochenen "turbulenten Testphase", d. h. bei den Diskussionen innerhalb des Gutachter-Teams, ging es gerade auch um diese eminent wichtige entwicklungspolitische Fragestellung. Als Ergebnis der Diskussionen wurden immerhin der "entwicklungspolitische Bezug" und die "Lessons Learnt" als zusätzliche Aspekte bzw. Gliederungspunkte für die Berichte aufgenommen.

Eine wirklich systemische Betrachtung lässt das Analyseraster nicht zu, da es nicht den jeweiligen (Sub-)Sektor und die verschiedenen denkbaren Wirkungsebenen mit ihren Akteuren und deren Interaktionen (persönliche Ebene, lokale Ebene, nationale Ebene und internationale Ebene) in den Mittelpunkt der Betrachtung stellt, sondern "das Projekt" ("Träger des Projekts", "Zielgruppe des Projekts" usw.). In seinem Resümee in E+Z stellt das BMZ nicht zufällig den hohen Zielerreichungsgrad "der Projekte" in den Vordergrund.

Zur Beantwortung der methodisch besonders schwierigen Frage, ob bzw. wie die "Zuordnungslücke", d. h. die Ursache-Wirkungs-Kette zwischen Projektinterventionen (oder gar dem deutschen Förderbeitrag) und Ergebnissen auf höherer Aggregationsebene (z. B. Verringerung der Armut in der Region XY) im Rahmen von Evaluierungen geschlossen werden kann, hat die Wissenschaft im vorliegenden Fall keinen nennenswerten Beitrag geleistet. Stattdessen werden implizit die - wie auch immer - beobachteten positiven Veränderungen im Zeitablauf vorwiegend dem deutschen Förderbeitrag gutgeschrieben, was ganz offensichtlich in vielen Fällen nicht zulässig ist. In dem von mir bearbeiteten Fall könnte man beispielsweise etwas überspitzt behaupten, dass das ländliche Trinkwasserprojekt in Guinea u. a. auch deshalb langfristig positive Wirkungen zeitigte, weil die isoliert lebenden Zielgruppen sich nach Beendigung der Förderung unbehelligt von staatlichem Träger und externer Entwicklungshilfe nach eigenem Gusto organisieren und die anfänglichen Vorgaben der "Helfer" ignorieren konnten.

Evaluierung und die Partner

Die "Sinn-Frage", welchen Stellenwert Evaluierungen im Hinblick auf die Intensivierung des Partnerdialogs und auf institutionelles Lernen haben, ist ebenso wenig gestellt worden wie die Frage nach den Schlussfolgerungen im Hinblick auf die Vorgehensweise und die zur Anwendung kommenden Methoden. So beschränkte sich die Beteiligung der Partner in aller Regel auf logistische Unterstützung und die Bereitstellung von Informationen; sie waren weder an der Erstellung des Analyserasters noch an der Auswertung der Evaluierungsergebnisse beteiligt. Dies steht in krassem Widerspruch zu der alten (von der vorliegenden Querschnittsevaluierung bestätigten und von Caspari / Kevenhörster / Stockmann ausdrücklich betonten) Erkenntnis, dass die Übereinstimmung auf der konzeptionellen und der Zielebene ein entscheidender Faktor für den Projekterfolg ist.

Die Relevanz der Daten

Die durchgängige subjektive Benotung / Skalierung von Handlungen und deren Wirkungen auf einer Skala von 1 (sehr schlecht) bis 10 (sehr gut) durch einen oder allenfalls zwei Gutachter stellt gegenüber der Orientierung an (möglichst partizipativ) entwickelten objektiven Messzahlen / Indikatoren keinen Fortschritt, sondern einen methodischen Rückschritt dar. Dies um so mehr, als die 36 eingesetzten Gutachter vielfach einen unterschiedlichen beruflichen, "ideologischen" und Erfahrungs-Hintergrund aufwiesen, ihre jeweilige subjektive Benotung aber dennoch in Mittelwerte eingingen, auf die sich der BMZ-Bericht - zumindest teilweise - stützt. Der Aussagewert dieser Mittelwerte ist zweifelhaft. Zwei Beispiele: (1) Solange nicht einvernehmlich geklärt ist, was unter "guter" Planung zu verstehen ist, kann weder eine aussagekräfte Benotung erfolgen noch eine abgesicherte Aussage über den Kausalzusammenhang von "guter" Planung und späteren Projekterfolgen gemacht werden. (2) So lobenswert es ist, die Untersuchung prozesshaft anzulegen (Einschätzung der Situation zu Projektbeginn, zum Projektende und zum Zeitpunkt der Evaluierung), so anekdotisch müssen entsprechende Aussagen sein, wenn sie nicht anhand von nachprüfbaren Indikatoren erfolgen, an denen sich (die beabsichtigte) Prozessrichtung und (der tatsächliche) Prozessverlauf messen lassen.

Auch die "handwerkliche" Frage, mit welchen Methoden der empirischen Sozial- und Wirtschaftsforschung trotz (zwangsläufig) begrenzter Mittel einigermaßen abgesicherte Untersuchungsergebnisse erarbeitet werden können, hat die Querschnittsevaluierung nicht aufgegriffen. Wer die optisch beeindruckenden Diagramme und Schaubilder im Bericht des BMZ studiert, sollte sich gleichzeitig vor Augen halten, wie die dahinter stehenden Daten erhoben wurden: "Somit stand den beiden Gutachterinnen und Gutachtern pro Projekt im Durchschnitt lediglich eine Woche (!) zur Verfügung. Aus zeitlichen und organisatorischen Gründen teilten sich die meisten Teams auf, so dass je ein Projekt von nur einem Gutachter bearbeitet wurde. Damit war die angestrebte und wünschenswerte Objektivierung der subjektiven Einschätzungen der einzelnen Gutachterinnen und Gutachter nur noch in eingeschränktem Maße gegeben."5 In diesem Zusammenhang ist zu bedenken, dass nicht nur die Situation (inklusive Rahmenbedingungen) auf Projekt-, Träger- und Zielgruppenebene zu drei verschiedenen Zeitpunkten erfasst und bewertet werden sollte, sondern darüber hinaus auch die sogenannten "Diffusionswirkungen", d. h. die Wirkungen auf den Gesamtsektor und andere Sektoren. Bei aller Würdigung der Tatsache, dass " ... von einem bestimmten Punkt an der abnehmende Grenznutzen den erforderlichen finanziellen Aufwand nicht mehr rechtfertigen kann"6, kann unter den dargestellten Umständen von "wissenschaftlicher" Vorgehensweise und ernstzunehmenden, empirisch abgesicherten Ergebnissen wohl nicht mehr die Rede sein. Auch hierzu ein Beispiel: Stather schreibt zwar: "Bei den Zielgruppen selbst, also vor allem ärmeren Bevölkerungsschichten, haben die untersuchten Vorhaben positive Wirkungen in einem recht weiten Spektrum entfaltet, sie haben ihre jeweilige Zielgruppe zumeist dauerhaft erreicht."7 Im Evaluierungsbericht selbst aber heißt es dazu: "Auf quantitative Methoden,
sz. B. zur Erfassung der Projektwirkungen auf die Zielgruppen, musste in den meisten Fällen aus Zeitgründen verzichtet werden."8 Die zitierte positive Aussage kann sich also allenfalls auf zufällige Beobachtungen, Anekdoten und Intuition der Gutachter stützen - und dies war ein Vorwurf, der in der Vergangenheit gegenüber dem BMZ gerade aus der "wissenschaftlichen Ecke", z. B, von Stockmann9, gemacht wurde, wenn es um die Qualität von Evaluierungen ging.

Eine abschließende Bemerkung

Das BMZ ist der Auffassung, dass "das benutzte Analyseraster auch international einen beträchtlichen Fortschritt darstellt", und hat angekündigt, "die Evaluierung und ihre Methode gezielt in die internationale Diskussion ein(zu)bringen"10. Man möchte hier angesichts der zahlreichen Schwachstellen und Widersprüche der Querschnittsevaluierung fast raten, sich mit diesem Produkt nicht allzu weit aus dem Fenster zu lehnen. Andere Länder wie etwa Schweden11, aber auch Entwicklungshilfe-Organisationen in Deutschland12 haben da bereits wesentlich anspruchsvollere Konzepte vorgelegt.

1) Langfristige Wirkungen deutscher Entwicklungszusammenarbeit und ihre Erfolgsbedingungen. BMZ Spezial Nr. 19. Bonn, Oktober 2000

2) Caspari, Kevenhörster, Stockmann: Langfristige Wirkungen der staatlichen EZ, in: E+Z 2000: 10,285

3) Erich Stather: Ermutigung für die deutsche Entwicklungspolitik. Zusammenarbeit ist auch langfristig erfolgreich, in: E+Z 2001:1, 8

4) Dirk Messner: Zum Verhältnis von Nachhaltigkeit und Breitenwirkung. Anmerkungen zur BMZ-Querschnittsevaluierung über langfristige Wirkungen, in: E+Z 2001:1,13

5) BMZ-Spezial Nr. 19, S. 18f.

6) Stather, a. a. O., S. 10

7) Stather a. a. O., S. 8

8) BMZ Spezial Nr. 19, S.18

9) Reinhard Stockmann: Die Wirksamkeit der Entwicklungshilfe: Eine Evaluierung der Nachhaltigkeit von Programmen und Projekten der Berufsbildung. Opladen 1996

10) Stather, a. a. O., S. 10

11) vgl. SIDA Studies in Evaluation, 1995/96 - 1999

12) vgl. H. Dolzer u. a.: Wirkungen und Nebenwirkungen. Ein Beitrag von Misereor zur Diskussion über Wirkungsverständnis und Wirkungserfassung in der Entwicklungszusammenarbeit. Aachen 1998