E+Z - Entwicklung und Zusammenarbeit (Nr. 1, Januar 2001, S. 8-10)

Zum ersten Mal hat das BMZ eine Untersuchung durchgeführt, die anhand von 32 Einzelevaluierungen bereits abgeschlossener Projekte über die langfristigen Wirkungen von Vorhaben der deutschen EZ Auskunft geben soll.
Staatssekretär Erich Stather stellt in dem folgenden Beitrag die Schlussfolgerungen vor, die sich aus dieser Untersuchung einerseits für die Vorbereitung und Durchführung, andererseits für die begleitende Beobachtung und Evaluierung der Projekte ergeben.

Zwei Fragen werden dem BMZ immer wieder gestellt: "Was wird aus den Entwicklungsprojekten nach Ende der deutschen Unterstützung?" und "Was beeinflusst die längerfristigen Wirkungen von Entwicklungsprojekten?" Bisher konnten wir auf solche Fragen nur ungenügend antworten. Das ist jetzt anders. Die nun als BMZ Spezial Nr. 19 erhältliche Untersuchung mit dem etwas schwerfälligen Titel "Langfristige Wirkungen deutscher Entwicklungszusammenarbeit und ihre Erfolgsbedingungen. Eine Ex-post-Evaluierung von 32 abgeschlossenen Vorhaben" ist die bisher umfassendste BMZ-Evaluierung zu diesen Fragen. Sie hat zahlreiche Wissenslücken geschlossen, und ihr Inhalt ist alles andere als langweilig.

Wir wollten wissen, was von Projekten einige Jahre nach Ende der deutschen Förderung noch feststellbar ist. Folglich begaben wir uns auf die Spurensuche. Dies traf sich mit Forderungen aus dem Deutschen Bundestag, der in mehreren Entschließungen, zuletzt am 28. Mai 1998, die Bundesregierung aufforderte,

• Fragen der Nachhaltigkeit der bilateralen Finanziellen und Technischen Zusammenarbeit bei der Erfolgskontrolle besondere Aufmerksamkeit zukommen zu lassen,
• zu diesem Zweck Ex-post-Evaluierungen von Entwicklungsprojekten mehrere Jahre nach Beendigung der deutschen Unterstützung durchzuführen und
• standardisierte Methoden zur Evaluation abgeschlossener Vorhaben - auch mit Unterstützung durch die Wissenschaft - zu erarbeiten.

Ergebnisse
der Studie

Das aus Sicht des BMZ wichtigste Ergebnis der Untersuchung vorneweg: Entwicklungszusammenarbeit ist überwiegend erfolgreich. Sie hat zu einer Verbesserung der Lebensbedingungen der Menschen und zu deutlichen Entwicklungsfortschritten beigetragen. Diese Wirkungen sind auch noch viele Jahre nach Ende der deutschen Förderung feststellbar.

Die Evaluierung umfasste 32 Vorhaben in 17 Ländern, die zwischen 1980 und 1993 durchgeführt wurden. Die Projekte förderten Basisgesundheit, Grundbildung, Landwirtschaft sowie Wasserversorgung, Abwasser- und Abfallentsorgung, also vier besonders armutsbezogene Sektoren. Nach Einschätzung der 36 unabhängigen Gutachterinnen und Gutachter, die an dieser Untersuchung mitarbeiteten, haben 75 % der untersuchten Projekte ihre Ziele bei Förderende gut bis sehr gut erreicht. Dass dieses Ergebnis nach dem Ende der ausländischen Förde-rung wieder etwas rückläufig war, kann nicht verwundern. Dennoch lag die Zielerreichung zum Evaluierungszeitpunkt, d. h. fünf oder mehr Jahre später, immer noch bei 64 %, d. h. bei zwei Drittel! 32 % der Vorhaben vermochten ihren Zielerreichungsgrad nach Ende der deutschen Förderung sogar weiter zu steigern. Alles in allem: Verglichen mit der Situation zu Projektbeginn stellten 94 % aller Projekte auch fünf oder mehr Jahre nach dem Ende der deutschen Förderung noch Verbesserungen für das Partnerland dar. So ist zum Beispiel in einem ländlichen Gebiet in Guinea die Wasserversorgung nach wie vor sichergestellt, da angepasste Lösungen insbesondere für die Unterhaltung und Wartung der Handpumpen gefunden wurden.

Bei den Zielgruppen selbst, also vor allem ärmeren Bevölkerungsschichten, haben die untersuchten Vorhaben positive Wirkungen in einem recht weiten Spektrum entfaltet, sie haben ihre jeweilige Zielgruppe zumeist dauerhaft erreicht. So zog in Marokko die ganzjährig gesicherte Wasserversorgung Investitionen im häuslichen Bereich (Küchen- und Sanitäreinrichtungen) und günstigere Lebensumstände für Frauen und Mädchen nach sich (Arbeits- und Zeitersparnis, bessere Gesundheit, vermehrte einkommenschaffende Aktivitäten). Drei Viertel der durch die Projekte geschaffenen Einrichtungen und Angebote wurden zum Evaluierungszeitpunkt unverändert bestimmungsgemäß genutzt.

Weiterhin zeigen die Ergebnisse der Untersuchung, dass EZ-Maßnahmen die Leistungsfähigkeit unserer Partner verbessern. Allerdings waren die Wirkungen hier in den verschiedenen Bereichen der Trägerstärkung recht unterschiedlich. Bei der Qualifikation des Personals der Partnerorganisationen traten erhebliche, dauerhafte Verbesserungen ein. Dagegen waren nachhaltige Leistungssteigerungen der Partnerorganisationen selbst eher nicht die Regel. Eine positive Ausnahme findet sich in Tunesien. Dort wurde der Pflanzenquarantänedienst dermaßen gestärkt, dass heute die Gefahr, durch importierte Pflanzenkrankheiten den nationalen Pflanzenbestand zu gefährden, sehr gering geworden ist.

In vier Fünftel der Fälle hat sich der Entwicklungsstand des Sektors dauerhaft erhöht. Dazu hat auch die deutsche EZ beigetragen. Die Studie zeigt jedoch, dass wirklich anhaltende strukturelle Wirkungen in einem Sektor nur erzielt werden können, wenn ein Projekt in größere Programme gemeinsam mit anderen Gebern oder der Regierung des Partnerlandes eingebettet ist. Das unterstreicht, wie wichtig es ist, koordiniert vorzugehen und gemeinsam zu handeln. Interessanterweise zeigten sich diese Wirkungen auf Sektorebene teilweise erst Jahre nach Ende der deutschen Förderung und waren so erst durch diese Ex-post-Evaluierung nachweisbar.

Einem Vorhaben zur Beratung der Wasserversorgungsbehörde in Bolivien war der durchschlagende Erfolg erst Jahre nach Projektende beschieden. Als nämlich - nicht zuletzt dank der Beharrlichkeit Deutschlands und anderer Geber - eine privatwirtschaftlich orientierte Reform des Sektors durchgeführt wurde, konnten die Beratenen ihr erworbenes Können und Wissen angemessen einsetzen - und die Wasserversorgung der Zielgruppe verbesserte sich schlagartig.

Eine weitere wichtige Erkenntnis ist der deutliche Zusammenhang zwischen der Schaffung eines Konsenses über das Vorhaben und seine Ziele einerseits und den Wirkungen des Vorhabens andererseits. Die Studie spricht hier von der Notwendigkeit der Akzeptanz der Vorhaben. Woran zeigt sich dieser Konsens oder diese Akzeptanz? Deutliche Antwort der Gutachterinnen und Gutachter: Dies zeigt sich daran, dass die Durchführungsorganisation im Partnerland ausreichend mit Personal, Entscheidungskompetenz und Finanzen ausgestattet wird.

Wie lässt sich Konsens herstellen? Vor allem durch die frühzeitige und umfassende Beteiligung von Partnern und Zielgruppen bei der Definition und Vorbereitung von Projekten. Wichtig ist auch der Dialog mit denjenigen, für die durch das Projekt auf den ersten Blick Nachteile entstehen können.

Schlussfolgerungen
für das BMZ

Fünf zentrale Schlussfolgerungen aus dieser Evaluierung zieht das BMZ für seine Arbeit:

1. Das Ergebnis bestätigt uns darin, bei der Durchsetzung des "Konzepts der globalen Strukturpolitik" noch einmal deutlich zuzulegen. Jedes Vorhaben muss strategisch in System- oder Programmansätze des Partnerlandes und der Gebergemeinschaft eingefügt sein, damit es nicht isoliert agiert, sondern seine vollen Wirkungen entfalten kann. Die Entwicklungspolitik wird sich in Zukunft noch stärker auf die strukturbildenden Wirkungen der Maßnahmen konzentrieren müssen.

2. Es zeigt sich erneut, wie wichtig es ist, dass ein tragfähiger Konsens über die Projekte und ihre Ziele mit den übergeordneten staatlichen Partnern, den Durchführungspartnern und den Zielgruppen vor dem eigentlichen Projektbeginn hergestellt wird. Denn einen solchen Zielkonsens erst während der Projektdurchführung erreichen zu wollen, ist nicht nur teuer, sondern auch wenig aussichtsreich.

3. Es bedarf eines frühzeitigen, offenen Dialogs mit allen wesentlichen Akteuren. Dies bedeutet, dass für die realistische Kernanalyse von Partnern, Zielgruppen und Rahmenbedingungen während der Projektvorbereitung ausreichend Zeit zur Verfügung stehen muss. Wesentlich ist, dass die wichtigsten Beteiligten - und hierzu zählen auch die politischen Entscheidungsträger im Partnerland - sich auf das Grundkonzept eines Vorhabens (Ziele, Vorgehensweise, Finanzrahmen, Zeitrahmen) verständigen. Gemäß dem Prozessverständnis von Entwicklungsvorhaben können Analyse- und Planungsdetails dann getrost der Durchführungsphase überlassen bleiben.

4. Eine Neuerung wird durch die Menschen in dem Maße angenommen, in dem aus Sicht der Zielgruppe ein wirtschaftlicher Nutzen entsteht. Die Studie legt nahe, dass dies in einigen Vorhaben problematisch ist. Beispiel: Speziell für Frauen konzipierte Maßnahmen (Getreidemühlen, Läden, Gartenbau, Schafzucht) im Rahmen eines Bewässerungsvorhabens in Niger wiesen eine schlechte Rentabilität auf und schliefen nach Ende der deutschen Förderung wieder ein. Folglich müssen wir diesen und anderen Wirtschaftlichkeitsüberlegungen mehr Beachtung schenken.

5. Bereits während der Projektdurchführung müssen erwünschte und unerwünschte Auswirkungen der Vorhaben besser als bisher über ein kontinuierliches, professionelles Monitoringsystem erfasst werden. Besondere Bedeutung kommt dabei dem Wirkungsmonitoring zu. Welche Verbesserungsmöglichkeiten es hierfür gibt, wird Gegenstand einer für das Jahr 2001 vorgesehenen BMZ-Evaluierung sein.

Zusammenarbeit mit
der Wissenschaft

Die vorliegende Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ ist ein gelungenes Beispiel für eine gute und kritische Zusammenarbeit zwischen der Wissenschaft und einem Bundesministerium.

Ausgangspunkt für diese Zusammenarbeit, die in Gestalt einer wissenschaftlichen Beratergruppe für die Gesamtevaluierung stattfand, waren die schwierigen Fragestellungen in Verbindung mit einer so breit angelegten Ex-post-Evaluierung, besonders im methodischen Bereich. Das machte es zwingend erforderlich, den Schulterschluss mit der Wissenschaft zu suchen, um sicherzugehen, dass Evaluierungsdesign, Vorgehensweise, Methodenmix und Stichprobe dem wissenschaftlichen Standard entsprachen.

Die wissenschaftliche Beratergruppe, bestehend aus Dr. Bernhard Fischer vom HWWA-Institut für Wirtschaftsforschung in Hamburg, Professor Dr. Paul Kevenhörster von der Universität Münster und Prof. Dr. Reinhard Stockmann von der Universität des Saarlandes, war bei dieser Evaluierung von Anfang an dabei. Die in diesem Kreis zunächst angestellte Überlegung, eine Definition des Begriffes Nachhaltigkeit vorzunehmen und zum Dreh- und Angelpunkt der gesamten Untersuchung zu machen, wurde nach längerer Diskussion verworfen. Zu groß schien die Gefahr einer schiefen Diskussionslage, etwa wenn an Vorhaben, die in den 80er Jahren geplant und durchgeführt wurden, Maßstäbe angelegt worden wären, die erst 1992 bei der Konferenz für Umwelt und Entwicklung in Rio de Janeiro kodifiziert wurden. Stattdessen entschloss sich der Beraterkreis, die Wirkungen auf den verschiedenen Wirkungsebenen zu ermitteln (Projektebene, Zielgruppe, Träger und Sektor) und es später dann der Leserin und dem Leser zu überlassen, aus den festgestellten Ergebnissen eigene Rückschlüsse zur Nachhaltigkeit der untersuchten Vorhaben zu ziehen.

Zur Zusammenarbeit mit der Beratergruppe gehörten die Entwicklung von Vorgehensweise und Methodik für diese Evaluierung, die Festlegung der vier besonders armutsbezogenen Sektoren, die Kriterienauswahl für die Festlegung der Stichprobe, die wissenschaftliche Begleitung bei der anschließend durchgeführten Vollerhebung und die kritische Begleitung in der Auswertungsphase.

Ein von Professor Stockmann am Beispiel von Berufsschulprojekten der Technischen Zusammenarbeit entwickelter Evaluierungsleitfaden wurde in einem gemeinsamen Workshop von Gutachterinnen und Gutachtern, BMZ, KfW, GTZ und Beraterkreis in Saarbrücken im Sommer 1998 sektoral und instrumentell angepasst und dann in vier Testläufen (Guinea, Jordanien, Peru und Swasiland) unter Einbeziehung spezieller Fachkräfte für Methodenfragen erprobt. Nach Vorliegen der Ergebnisse aus den Testläufen fand ein Auswertungsworkshop im Spätherbst 1998 in Münster statt. Dort kam es zu leidenschaftlichen Debatten über die Diskrepanz zwischen wissenschaftlichen Ansprüchen und pragmatischer, auf langjährigen Erfahrungen beruhender Vorgehensweise bei Evaluierungen sowie über die interkulturelle Sensibilität westlicher Erhebungsmethoden.

Festzuhalten bleibt, dass als Ergebnis einer gelegentlich turbulenten Testphase am Schluss ein gelungener und allseits akzeptierter Analyseleitfaden für die Hauptuntersuchung zur Verfügung stand, mit dem es möglich wurde, in der kurzen Zeit von etwa sechs Monaten die Wirkungen von weiteren 28 Projekten zu erheben und vergleichbar darzustellen.

Methodische
Schlussfolgerungen

Was wurde aus dem geschilderten Prozess gelernt?

1. Höhere Ansprüche an die methodische Vorbereitung und Durchführung von Evaluierungen zahlen sich in jedem Fall aus, z. B. durch besser abgesicherte Ergebnisse.

2. Die Betrachtung von Ergebnissen über die Zeitschiene mit verschiedenen Messpunkten (z. B. Projektbeginn - Projektende - Evaluierungszeitpunkt, wie in dieser Wirkungsuntersuchung) erlaubt zuverlässigere Aussagen zu Wirkungen als die Momentaufnahme bei einer klassischen Evaluierung.

3. Die Betrachtung intendierter Wirkungen ist nach wie vor eine zentrale Aufgabe jeder Evaluierung. Die vorliegende Untersuchung macht jedoch deutlich, dass es notwendig ist, sich Mühe zu geben, auch die nicht intendierten Wirkungen ins Visier zu nehmen. Ein häufig verblüffendes Ergebnis besteht darin, dass eine nur an intendierten Wirkungen gemessene eher negative Einschätzung des Projekterfolgs bei Betrachtung der nicht intendierten Wirkungen z. T. deutlich besser ausfällt. In Côte d’Ivoire beispielsweise wurden Kleinstaudämme zum Tränken der Rinder von Nomaden angelegt. Tatsächlich werden diese heute kaum von Nomaden, dafür aber in beträchtlichem Umfang von Frauengruppen für ihren Bewässerungsgartenbau genutzt.

4. Es wurde ein Analyseraster für Ex-post-Evaluierungen entwickelt und erprobt, der jetzt allen zur Verfügung steht, die sich dafür interessieren. Eine solche Vorleistung der Bundesregierung wurde vom Deutschen Bundestag in seinen Entschließungen zur Erfolgskontrolle in der EZ angemahnt. Sie ist erfolgt, es bleibt nun abzuwarten, wie weit andere das Instrument aufnehmen und für ihre eigenen Zwecke einsetzen. Da das benutzte Analyseraster auch international einen beträchtlichen Fortschritt darstellt, wird das BMZ die Evaluierung und ihre Methode gezielt in die internationale Diskussion einbringen.

5. Politisch-administrativer Pragmatismus und wissenschaftlicher Anspruch auf Rigorismus sind nicht etwa unauflösbare Gegensätze, sondern können sich gegenseitig befruchten. Wenn das geschieht, hat Pragmatismus als Vorwand für mangelnde Gründlichkeit keine Chance zu bestehen, und Rigorismus lernt, dass es Unterschiede zwischen dem Wünschbaren und dem Machbaren gibt und dass von einem bestimmten Punkt an der abnehmende Grenznutzen den erforderlichen finanziellen Aufwand nicht mehr rechtfertigen kann.

Fazit

Die Studie belegt, dass Entwicklungszusammenarbeit überwiegend erfolgreich ist. Wie sieht es mit der Nachhaltigkeit aus? Folgt man der Definition des Bundestagsausschusses für wirtschaftliche Zusammenarbeit ("Als nachhaltig ist eine EZ-Maßnahme dann einzustufen, wenn sie nach Abschluss der externen Förderung dauerhaft Bestand hat, d. h. einen eigenständigen Entwicklungsprozess angestoßen hat und auch im Projektumfeld fortwirkt"), so zeigen die Ergebnisse dieser Untersuchung von 32 Projekten, dass die meisten der untersuchten Vorhaben auch heute noch, Jahre nach dem Ende der Förderung durch die deutsche EZ, Bestand haben und Wirkungen entfalten. Damit sind sie gemäß der Bundestagsdefinition auch nachhaltig. Dieser Erfolg sollte die deutsche Entwicklungspolitik ermutigen, sich selbstbewusst neuen Herausforderungen zu stellen.