Evaluieren heißt gemeinsam lernen
Wie kommt die Hilfe an, die Caritas international leistet? Verbessert ein Projekt die Lebensbedingungen der Menschen - und zwar nachhaltig? Um solche und andere wichtige Fragen der humanitären Hilfe seriös beantworten zu können, werden alle Projekte durch Caritas international professionell begleitet. Einige Projekte werden darüber hinaus detailliert evaluiert. Wie eine solche Evaluierung konkret abläuft und welche Ziele Caritas international dabei verfolgt, erklärt Volker Gerdesmeier, Leiter der Arbeitsstelle Qualitätsmanagement und Controlling, im Interview.
Eine Evaluierung in Afghanistan zeigt: Die Ernte konnte verbessert werden.Alexander Pforte / Caritas
Wenn Caritas international ihre Projekte evaluiert, geht es um die Wirksamkeit von Hilfe. Wie ist Hilfe mess- und bewertbar?
Im Grunde ist humanitäre Hilfe messbar wie andere Dienstleistungen auch: Jedes Projekt hat klar definierte Ziele, und es gibt überprüfbare Ergebnisse. Mit der Evaluierung können wir feststellen, ob die formulierten Ziele erreicht worden sind oder nicht und wo es Verbesserungsmöglichkeiten gibt.
Beim Schulprojekt ist das nachvollziehbar. Der Bau des Gebäudes, die Ausbildung von Lehrpersonal, die Hilfe für Kinder aus armen Familien - alles messbar. Wie aber geht das in der Katastrophenhilfe?
In der Tat sind die Voraussetzungen in der Katastrophenhilfe andere. Wir können bei der Nothilfe oft nicht das Vorher und das Nachher vergleichen, wie das beim geregelten Start eines Projektes möglich ist. Aber auch in der Katastrophenhilfe werden zunächst die Zahl der Opfer, die Schäden und der Bedarf erhoben, bevor wir mit unseren Hilfsmaßnahmen beginnen. Und beim Wiederaufbau definieren wir gemeinsam mit unseren Partnern und den Betroffenen, was zu tun ist, wie wir helfen und welche Prioritäten wir setzen. Mit der Evaluierung können wir dann prüfen, ob wir die gesteckten Ziele erreicht haben.
Wie viele Projekte werden evaluiert?
Im Evaluierungskonzept haben wir eine Quote festgelegt, nach der jährlich zehn Prozent der Projekte mit einem Budget über 100.000 Euro evaluiert werden. Diese Quote haben wir in den vergangenen Jahren erfreulicherweise noch übertroffen: 2014 wurden 131 Projekte mit einem Umfang von mehr als 100.000 Euro bewilligt und es fanden 18 Evaluierungen statt.
Wie sehen diese Evaluierungen aus?
Nehmen wir beispielsweise die, wie ich finde, ausgezeichnete Evaluierung "Impact Survey" in Afghanistan. Hier wurde die Ernährungssituation von Begünstigten eines Projekts untersucht, das von der Europäischen Union finanziert wird. Dabei wurde vor Projektbeginn gezielt und systematisch untersucht, wie die Situation im Projektgebiet war. Das ermöglicht während und nach der Umsetzung des Projekts gute und nachprüfbare Rückschlüsse. Das Ergebnis der Studie ist, dass die Situation der Begünstigten nicht deutlich verbessert werden konnte. Allerdings konnte eine weitere Verschlechterung verhindert werden, was angesichts einer Dürre und der damit verbundenen schlechten Ernte kaum zu erwarten war.
Über welche Zeiträume werden die Effekte der durchgeführten Projekte untersucht?
Das ist sehr kontextabhängig. Die Ergebnisse von Projekten mit konkreten Einzelmaßnahmen - beispielsweise die Verteilung von Lebensmitteln während einer Krise - lassen sich kurzfristig ermitteln. Eine Studie der Caritas Indien dagegen untersucht Zeiträume zwischen zehn und 15 Jahren nach verschiedenen Katastrophen, fragt also nach den langfristigen Folgen humanitärer Hilfe.
Was kann nach so langer Zeit noch über die Ergebnisse von Hilfen gesagt werden?
In der Studie "Weaving Hopes after Disasters" - so der Titel der Evaluierung - wurden Begünstigte und Beteiligte von Nothilfe- und Wiederaufbauprogrammen nach vier Katastrophen in fünf Regionen befragt. [Als Beispiel finden Sie hier in der rechten Spalte die Evaluierung als pdf-Download] Die Hilfen nach einem Zyklon und Fluten in Orissa, nach einem Erdbeben in Gujarat/Kutch, nach dem Tsunami 2004 in Andhra Pradesh und Tamil Nadu sowie nach Fluten in Bihar sind Themen der Untersuchung. Gerade der große Zeitrahmen erlaubt einen gesicherten Blick auf die Wirkungen der Programme. Die Ergebnisse der Studie sind unter anderem: Die Orientierung der Hilfe am Bedarf ist gelungen, die Mehrheit der Begünstigten waren besonders arm. Die ganz überwiegende Mehrheit der Befragten war auch lange nach der jeweiligen Katastrophe froh und dankbar über die erhaltene akute Nothilfe. Die Katastrophenvorsorge dagegen wurde in den jeweiligen Regionen sehr unterschiedlich bewertet, in der Erdbebenregion von Gujarat eher als unnötig, in der fast jährlich von Überschwemmungen betroffenen Region Bihar jedoch als das wichtigste Element der Katastrophenhilfe.
Welche Rückschlüsse kann man aus solchen manchmal auch kritischen Inhalten einer Evaluierung ziehen?
Es geht immer darum, zu lernen. Erst mit einer systematischen Datenerhebung - durch Befragung, Beobachtung und Analyse - lassen sich Methoden und Arbeitsweisen überhaupt vergleichen, was wiederum Rückschlüsse innerhalb eines Projektes, aber auch für andere Projekte zulässt. Sowohl positive Erfahrungen als auch Fehler können dabei hilfreich sein. Wenn uns Fischer berichten, dass sie eine Ausrüstung erhalten haben, aber Schäden am Material nicht reparieren konnten, weil sie zu arm sind, dann müssen wir das beim nächsten Mal berücksichtigen. Indem wir zum Beispiel parallel einkommenschaffende Maßnahmen planen oder im Dorf eine Werkstatt aufbauen helfen.
Bei aller Lernbereitschaft: Eine Evaluierung ist immer auch eine Prüfung. Fühlen sich Mitarbeitende und Partner zuweilen kontrolliert durch die Evaluierung?
Sicherlich. Aber Qualitätskontrolle ist ein wichtiger Teil unserer Arbeit. Das sind wir unseren Geldgebern - öffentlichen wie auch privaten Spendern - schuldig, vor allem aber den Menschen, die wir unterstützen. Wenn wir den Mitarbeitenden und Partnern aber zeigen, dass wir auch uns und unsere Arbeit kritisch unter die Lupe nehmen, dann wird Evaluierung immer weniger eine Prüfung und immer mehr ein gemeinsames Lernen.
Juni 2015
