E+Z - Entwicklung und Zusammenarbeit (Nr. 1, Januar 2001, S. 11-12)

Das BMZ hat im Rahmen seines Zentralen Evaluierungsprogramms erstmals eine umfassende Ex-post-Untersuchung vorgelegt, die zum Ziel hatte, die Langzeitwirkung von Vorhaben der deutschen EZ zu überprüfen ("Langfristige Wirkungen deutscher Entwicklungszusammenarbeit und ihre Erfolgsbedingungen"). Im Oktober-Heft von E+Z stellten das wissenschaftliche Beraterteam und eine der Autorinnen des Auswertungsberichts diese Untersuchung vor und kommentierten ihre Ergebnisse im Hinblick auf die Frage, wie die Nachhaltigkeit von EZ-Vorhaben verbessert werden könne.
Lutz R. Meyer und Jutta Kranz-Plote, die ebenfalls zu den Autoren des Auswertungsberichts gehören, halten diese Darstellung für unvollständig und einseitig. Sie ergänzen sie in dem folgenden Text um einige von ihnen für zentral gehaltene Aspekte.

Mit der Wirkungsuntersuchung1 verfolgte das BMZ ein dreifaches Erkenntnisinteresse:

• erstmals eine empirisch fundierte Bilanz der langfristigen Wirksamkeit der deutschen EZ zu ziehen;
• Erfolgs- und Misserfolgsfaktoren zu identifizieren und Schlussfolgerungen für die weitere Arbeit der EZ daraus abzuleiten;
• Erkenntnisse methodischer Art für weitere Wirkungsuntersuchungen zu gewinnen.

Dabei ist das BMZ der Frage der Nachhaltigkeit keineswegs "konsequent ausgewichen", wie die Autoren des Artikels2 behaupten. Es hat vielmehr bewusst die empirische Untersuchung in den Vordergrund gestellt. Um eine theoretische Diskussion um Definitionen zu vermeiden, wurde in Absprache zwischen den wissenschaftlichen Beratern, dem BMZ und den Autoren im Rahmen der Auswertung auf die Verwendung des Begriffs verzichtet. Wie die Verfasser selbst anmerken,ist Nachhaltigkeit ein schillernder Begriff. Der Bundestags-Ausschuss für wirtschaftliche Zusammenarbeit (AwZ) hat ihn wie folgt definiert3: "Als nachhaltig ist eine Maßnahme dann einzustufen, wenn sie nach Abschluss der externen Förderung dauerhaft Bestand hat, d. h. einen eigenständigen Entwicklungsprozess angestoßen hat und auch im Projektumfeld fortwirkt." Diese Definition ist weder die einzige noch die einzig richtige. Sie ist aber sehr anspruchsvoll, und wie die Ergebnisse der Untersuchung zeigen, ist es durchaus der Überlegung wert, wie realistisch sie ist.

Die Autoren verweisen im Kontext ihrer Ausführungen auf den zunehmenden Legitimationsdruck, unter dem die EZ steht. Die Frage ist aber, worin die Ursachen hierfür zu suchen sind: Ist die EZ wirklich schlecht oder sind nur die Erwartungen zu hochgesteckt? Worin gründen sich die in dem Artikel erwähnten Befürchtungen, die Ergebnisse einer Ex-post-Analyse könnten zu einem Desaster werden, und warum sollte jemand gar enttäuscht sein, wenn dies nicht so ist?

Der zitierte Artikel fokussiert selbst in starkem Maße auf identifizierte Defizite und lässt positive Ergebnisse weitgehend außer Acht. Dies betrifft die breit dargestellten Ergebnisse der Wirkungen bei Projektträgern ebenso wie die fast völlig fehlenden Aussagen zu den Wirkungsfeldern Zielgruppe und Sektor.

Die Autoren betonen in ihrer Darstellung der Untersuchung hinsichtlich der Trägerwirkungen vorrangig, dass erreichte Verbesserungen nicht gehalten werden konnten. Dies überrascht freilich nicht: Erstens war Trägerförderung im weiteren Sinne zwar bei knapp der Hälfte der Projekte intendiert, aber nur bei wenigen der Projektgegenstand an sich. Zweitens stellen laufende Projekte eine "künstliche Situation" dar, wie die Autoren des Artikels selbst richtig bemerken. Deshalb kann schwerlich erwartet werden, dass sich die in einer "Laborsituation" erzielten Ergebnisse (bezüglich Leistungsfähigkeit, Qualifikation und Ausstattung) langfristig uneingeschränkt halten lassen. Tatsächlich falsch ist aber die Aussage des Artikels, "dass in weit weniger als der Hälfte aller Fälle die organisatorische Leistungsfähigkeit der Partner dauerhaft gestärkt wurde". Ergebnis der Auswertung ist hingegen: "Über den gesamten Untersuchungszeitraum [Projektbeginn bis Evaluationszeitpunkt] betrachtet steigern 22 Träger (79%) ihre Leistungsfähigkeit."4 Das eigentlich bemerkenswerte Ergebnis ist nicht, dass das bei Projektende erreichte Niveau langfristig wieder abfiel, sondern die Feststellung, dass bis zum Evaluationszeitpunkt (d. h. Jahre nach Ende der Förderung) bei den meisten Trägern eine dauerhafte Steigerung der Leistungsfähigkeit - gemessen am Niveau zu Projektbeginn - eingetreten ist.

Ebenso verzerrend ist die Darstellung der Autoren bezüglich der Finanzsituation und der Personalqualifikation bei den Trägern. Es erscheint daher wichtig, die folgen- den Feststellungen der Querschnittsauswertung festzuhalten: Langfristig (d. h. zwischen Projektbeginn und Evaluationszeitpunkt) konnte bei gut 50 % der Träger eine Verbesserung der Finanzsituation festgestellt werden. Knapp 80 % der Träger konnten ihr Ausstattungsniveau langfristig verbessern, auch wenn das bei Projektende erreichte Niveau meistens nicht gehalten werden konnte. Ebenfalls knapp 80 % der Träger konnten das Qualifikationsniveau ihres Personal verbessern, was wesentlich auf Maßnahmen der Aus- und Fortbildung durch die Projekte zurückzuführen ist. In der Personalqualifizierung - auch das stellt der Auswertungsbericht ausdrücklich fest - liegt eine ganz besondere Stärke der deutschen EZ. Die langfristigen Wirkungen solcher Qualifizierung für den Erfolg von Entwicklungsprozessen lassen sich in ihrer Bedeutung kaum überschätzen.

Wirkungen bei Trägern stellen aber nur einen Teil der erhobenen Veränderungen dar. Das eigentliche Ziel der EZ, die Verbesserung der Lebenssituation der Menschen, bleibt in dem Artikel fast völlig ausgeblendet. Die Untersuchung stellt dazu fest, dass die meisten Projekte ihre Zielgruppe dauerhaft erreicht haben. In 80 % der untersuchten Vorhaben lagen zum Evaluierungszeitpunkt noch Informationen über die Nutzung der Projektleistungen durch die Endnutzer vor. Mit wenigen Ausnahmen wurden in diesen Fällen Einrichtungen und Angebote den Bestimmungen entsprechend, wenn auch nicht immer optimal, genutzt. Die Projekte trugen insbesondere zu einer dauerhaften Verbesserung der Infrastruktur durch die Bereitstellung sozialer und produktiver Dienstleistungen bei, z. B. im Bereich der Trinkwasserversorgung, des Zugangs zu Basisgesundheitsdiensten oder der landwirtschaftlichen Beratungsangebote. In vielen Fällen konnte die Ernährungs-, Gesundheits- und Einkommenssituation der Menschen im Projektgebiet deutlich verbessert werden. Damit leisteten die Vorhaben einen erkennbaren Beitrag zur Verbesserung der Lebensbedingungen der Zielgruppen. Diese Bedingungen haben sich seit Projektbeginn in den meisten Fällen generell positiv entwickelt. Auch wenn sich - ähnlich wie in Bezug auf die Trägerorganisationen - die Situation teilweise nach Förderende wieder verschlechterte, stellt sie sich Jahre nach Projektende doch immer noch deutlich besser dar als zum Zeitpunkt des Projektbeginns.

Der erwähnte Artikel rezipiert auch nicht die Aussagen der Querschnittsauswertung zu den langfristigen Wirkungen der Vorhaben in Bezug auf den jeweiligen Sektor, in den sie eingebettet sind. Nun bleiben diese zwar in den meisten Fällen begrenzt, trotzdem kommt die Untersuchung hier zu einigen interessanten Aussagen. Die meisten Vorhaben stärkten - rein quantitativ gesehen - die Kapazitäten des Sektors auch noch zum Untersuchungszeitpunkt, sei es in produktiver Art oder durch die Bereitstellung von Dienstleistungen. Strukturelle Veränderungen konnten die Vorhaben aber nur in wenigen Fällen bewirken, obwohl sie überwiegend ein sehr hohes Innovationspotenzial hatten. Die eingeführten Neuerungen entfalteten kaum eine innovative Dynamik über die Förderlaufzeit hinaus und wurden selten zu Selbstläufern.

Allerdings zeigt die Untersuchung anhand mehrerer Bespiele auch, dass Vorhaben unter bestimmten Voraussetzungen eine wichtige Anschubfunktion erfüllen können. Projekte, die besonders relevante Wirkungen in ihrem Sektor entfalten konnten, waren alle in größere Programme eingebettet, so dass Synergieeffekte erzielt wurden5. Auch in diesen Fällen, wie bei allen anderen Vorhaben, spielten günstige Rahmenbedingungen eine zentrale Rolle. Zwar haben die Autoren des Artikels recht, wenn sie sagen, dass Vorhaben ihre Ziele bis zum Förderende auch unter ungünstigen Rahmenbedingungen erreichen können. Langfristige Wirkungen über das Projektende hinaus können sich aber nur entfalten, wenn das entsprechende Umfeld (z. B. eine insgesamt positive wirtschaftliche Entwicklung oder eine entsprechende politische Priorität des Sektors) dies begünstigt oder gar erst ermöglicht.

Gerade die generellen Entwicklungstrends in den Partnerländern zeigen aber eine viel größere - und oft auch nicht vorhersehbare - Dynamik, als im öffentlichen Bewusstsein häufig wahrgenommen wird. Die Art und Weise, wie sich Projektwirkungen in diesem Prozess entfalten können oder eben nicht, kann dabei sehr unterschiedlich sein. Immerhin etwa 20 % aller untersuchten Vorhaben wurden in ihren Ideen beispielsweise durch sehr positive Entwicklungstendenzen "überholt" und konnten aus diesem Grund keine langfristige Wirksamkeit erlangen. Dass z. B. Alphabetisierungsprogramme in Botsuana oder die Handpumpentechnologie in China inzwischen als weitgehend obsolet gelten, mag die Relevanz des deutschen Vorhabens heute schmälern, für die Partnerländer ist dies aber eine ausgesprochen erfreuliche Entwicklung. Manchmal waren die Vorhaben aber auch ihrer Zeit voraus, und die ursprüngliche Projektidee oder Teile davon wurden erst Jahre später unter veränderten Rahmenbedingungen (wieder) aufgegriffen.

Interessanterweise ist ein sehr deutlicher Zusammenhang zwischen günstigen Rahmenbedingungen und der von den Autoren betonten Zielakzeptanz beim Partner feststellbar. Sind die Rahmenbedingungen günstig, so ist häufig auch die Zielakzeptanz hoch und umgekehrt. Anders ausgedrückt bedeutet dies, dass das Wollen und das Können auf Partnerseite offenbar keine völlig unabhängigen Variablen darstellen. Es muss daher nicht nur darum gehen, gemeinsame, sondern v. a. auch realistische Ziele zu definieren. Diese dürfen sich weniger an den Wunschvorstellungen westlicher Geber orientieren, die häufig - gerade wegen des bereits erwähnten Legitimationsdrucks - davon geleitet sind, möglichst viel in möglichst kurzer Zeit erreichen zu wollen. Sie müssen vielmehr noch stärker als bisher von den beim Partner vorhandenen Potenzialen ausgehen.

Und hier schließt sich wieder der Kreis mit der Frage, wie Nachhaltigkeit zu definieren ist. Ist es realistisch, Projekte nur dann als nachhaltig anzusehen, wenn sie eigenständige Entwicklungsprozesse angestoßen haben, oder ist die EZ nicht schon nachhaltig erfolgreich, wenn es ihr gelungen ist, solche Prozesse bei den Partnern zu unterstützen und zu befördern? Ist es schließlich nicht bereits ein Widerspruch in sich, wenn man etwas Eigenständiges von außen initiieren will?

Hinzu kommt, dass einzelne Projekte nur ein kleiner Baustein in einem sehr komplexen Gefüge sind; es wäre vermessen zu meinen, dass dieses Gefüge mit einem einzigen Vorhaben signifikant beeinflusst werden kann.

Die systemische Komplexität bzw. Vernetztheit bedeutet gleichzeitig, dass positive und negative Veränderungen kaum ausschließlich einem einzelnen Vorhaben zuzurechnen sind. Zwar werden bei der hier angewandten Methode zunächst alle beobachteten Veränderungen im Umfeld eines Projektes erfasst, und hierin liegt sicher ein Fortschritt. Aber: "Ausgehend hiervon wird nach den Ursachen der Veränderungen gefragt, um die interessierenden Projektwirkungen [...] getrennt von möglichen anderen Einflußfaktoren aufzeigen zu können."6 Dieser Schritt entbehrt wie alle bisherige Evaluationspraxis in der EZ des logisch-kausalen Moments und bedarf weiterhin der umfeldbezogenen Abschätzung. Der wissenschaftliche Nachweis, dass diese oder jene Veränderung eindeutig und ausschließlich auf ein deutsches Vorhaben zurückzuführen ist, kann auch mit der hier angewandten Untersuchungsmethode nicht geführt werden. Es bleibt, wie immer, eine Zuordnungslücke, die mit Plausibilitätsüberlegungen geschlossen werden muss.

Das hier eingesetzte Instrument ist eine durchaus praktische Arbeitsanleitung zur Durchführung von Ex-post-Wirkungsuntersuchungen - nicht weniger, aber auch nicht mehr.

6) Stockmann et al., S. 286