L'APPROCHE

Ce guide présente un cadre d'évaluation qui évalue la contribution au relèvement associée aux interventions post-catastrophe. Il s'agit d'une méthode axée sur l'évaluation des changements positifs et négatifs dans les vies des personnes touchées et des autres parties prenantes locales, à moyen terme suite à une catastrophe. Le produit de l'approche est un rapport présentant des résultats détaillés, une analyse en profondeur basée sur les résultats, ainsi qu'une section de conclusion qui discute de la contribution au changement générée par les interventions post-catastrophe – en incluant notamment une série de déclarations récapitulatives.

L'approche part du principe que les changements dans le bien-être et les moyens de subsistance des personnes peuvent être le plus clairement identifiés au niveau du foyer. Évaluer les changements implique nécessairement d'identifier quelle était la situation pour les foyers avant et après la catastrophe, ainsi que la situation suite à la période d'intervention et de relèvement post-catastrophe. Nous présentons une technique pour la collecte de données rétrospectives afin de traiter ces changements, en combinant la collecte et l'analyse de données quantitatives et qualitatives.

L'approche nécessite un niveau de personnel et de ressources équivalent à de nombreux autres types d'évaluation. Toutefois, bien que la méthodologie soit structurée, elle nécessite des compétences clés en matière de conception, de collecte de données sur le terrain et d'analyse interprétative, compétences qui ne sont pas toujours présentes dans les équipes de terrain des organismes. Souvent, il peut être préférable de faire appel à un spécialiste tiers pour réaliser l'évaluation: cette approche est parfaitement adaptée lorsqu'un groupe d'organismes décide de s'associer pour commissionner le travail. À noter que la méthodologie Contribution au changement est conçue pour compléter d'autres outils d'évaluation. Elle ne peut se substituer à des évaluations ou des audits de processus visant à examiner si les intrants et résultats spécifiques d'un projet ont été atteints.

Accent sur l'évaluation de la « contribution »

Ce guide emploie le concept de Contribution au changement afin de décrire l'importance relative des interventions post-catastrophe pour aider les personnes à se relever. Ce concept est différent de celui se concentrant sur « l'attribution », qui cherche à établir quels changements spécifiques ont été entraînés par l'intervention d'un organisme.

Ceci est dû au fait que les activités d'un organisme en particulier, ainsi que les effets de ces activités, ne se manifesteront normalement pas de manière isolée, mais feront partie d'une intervention complexe et multidimensionnelle de la part d'acteurs locaux et externes (voir « Exemple tiré du travail sur le terrain 1 »). Le contexte social, économique et politique, notamment les effets des marchés internationaux, l'accès aux communications, les conflits actuels et passés et les facteurs environnementaux, jouent également un rôle dans les résultats finaux d'une population donnée suite à une catastrophe. Dans ce cadre, il est donc plus réaliste de s'intéresser à la « contribution » aux résultats ou, comme certains auteurs préfèrent la nommer, « l'impact contributif ».

La manière dont l'approche Contribution au changement considère le relèvement est illustrée dans la figure 1. L'idée est d'essayer de comprendre l'importance relative des activités d'interventions symbolisées par la flèche du dessous (normalement, cela fait référence à l'ensemble des interventions mises en oeuvre sur un site donné, mais dans certains cas, la méthode peut être appliquée à une intervention unique).

Un autre aspect important de cette approche est la reconnaissance du fait qu'il n'est pas suffisant de s'intéresser uniquement aux résultats de ce qui a été accompli. Une intervention peut avoir contribué de façon majeure au changement qui a eu lieu, mais si ce niveau de changement n'a été en lui-même que limité, la valeur de la contribution risque d'être exagérée.

Nous devons par conséquent également nous intéresser au processus global de relèvement, afin de calibrer la contribution que les interventions ont apportée par rapport au relèvement qui a véritablement eu lieu. Ces deux aspects sont très importants dans l'évaluation de la contribution au changement.

En nous concentrant uniquement sur la partie « intervention » du schéma précédent, nous pouvons illustrer cette distinction par la figure 2 ci-dessous.

L'évaluation de la contribution n'est pas une tâche facile. Bien que nous présentions une méthodologie systématique pour réaliser ce type d'évaluation, les résultats finaux de l'analyse nécessitent une interprétation attentive des preuves collectées. Nous devons nous intéresser aux effets de l'intervention, prendre en compte d'autres interventions et contributions, et être conscients des effets des facteurs et problèmes externes dans le processus de relèvement. Tous ces éléments doivent être inclus dans l'analyse et ses conclusions doivent être présentées dans le rapport.

Le résultat le plus important de la méthodologie Contribution au changement est une discussion détaillée de la manière dont ces éléments ont façonné les aspects clés de la vie des personnes. Cette discussion sera reprise dans ce que nous appelons l'analyse descriptive (voir partie 3, étape 9) et les conclusions (étape 10), qui figurent dans le rapport final (étape 11).

Toutefois, l'un des moyens de fournir de manière simple une interprétation de la contribution est de créer des déclarations de Contribution au changement (à l'aide de l'outil fourni à l'étape 10). Cet outil génère de simples déclarations au sujet du niveau de relèvement (la progression générale du relèvement) et de la contribution au relèvement réalisé (les changements qui peuvent être liés aux interventions), et les compare pour créer une déclaration de contribution au changement (la contribution de l'intervention pour atteindre le relèvement nécessaire).

Autres éléments caractéristiques de la méthodologie

Concentration sur les changements des moyens de subsistance au niveau du foyer

La méthodologie repose sur l'idée de réaliser l'analyse au niveau local, afin de révéler les changements les plus importants dans la vie des personnes, qui sont associés à la catastrophe ainsi qu'à la période de « relèvement » ultérieure. Des examens récents de l'évaluation dans des situations post-catastrophe, soutiennent qu'il est impératif de s'assurer que l'évaluation des effets des interventions sur la « vie des populations touchées » se trouve au coeur du processus d'évaluation (Proudlock et coll., 2009).

Le but de l'approche est d'adopter une vision globale ou multidimensionnelle de la vie des personnes – une vision large qui s'intéresse aux différents aspects du bien-être des personnes. Nous estimons qu'une évaluation plus globale des changements dans la vie des personnes est nécessaire, car trop souvent, les évaluations des organismes se concentrent sur des composants de leurs propres interventions, par exemple la fourniture de services de santé ou d'une eau propre et potable. Les données offrent donc une vision partielle des changements dans la vie des personnes et peuvent passer à côté d'informations cruciales nécessaires à l'évaluation du degré de relèvement des communautés.

Il est important de ne pas considérer l'impact de la catastrophe et le relèvement uniquement du point de vue des activités génératrices de revenus. Le concept de « moyens de subsistance » est une manière utile de réfléchir à ceci (voir Scoones, 1998). Il fait référence à l'ensemble des biens et ressources matériels et non matériels auxquels les personnes ont (ou n'ont pas) accès afin de parvenir au bien-être. Cela permet de reconnaître le rôle joué par les différents types de biens dans le soutien au relèvement dans des contextes de catastrophe.

Nous pouvons considérer ce niveau d'approche comme à la fois normatif (car il se concentre sur les besoins et le relèvement des personnes) et instrumental (en termes d'objectifs opérationnels des organismes – car il place les interventions dans leur contexte social).

Une autre considération importante dans le développement de cette approche concerne le niveau auquel nous nous attendons que le changement se manifeste. Nous avons décidé de nous concentrer sur les foyers comme lieu le plus important pour l'observation des changements. La plupart des interventions humanitaires et de relèvement postcatastrophe – éducation, santé, WASH, abris, distribution de nourriture, programmes de nutrition, distribution de semences, génération de revenus, programmes basés sur l'argent, développement d'infrastructures, etc. – ont à la longue des impacts qui sont susceptibles d'être reconnus par les populations touchées s'ils engendrent des changements dans les activités quotidiennes et les moyens de subsistance des foyers.

Bien que l'approche se concentre sur une analyse au niveau du foyer, il est également souvent important dans l'évaluation, de s'intéresser à d'autres dimensions sociales clés, comme les différences dans l'impact et le relèvement après la catastrophe associées au genre, à l'âge, à l'appartenance ethnique, à la caste et au groupe socioéconomique. Cela peut nécessiter l'ajout d'une étape de ciblage au sein de la collecte de données.

Par exemple, les impacts à court et à long terme peuvent jouer un rôle différent pour les foyers dirigés par des femmes, ainsi que pour les hommes et les femmes au sein d'un même foyer (voir encadré 3 pour un résumé de la manière dont l'égalité hommesfemmes est abordée dans ce guide).

Chronologie de l'approche

La mesure du changement signifie nécessairement que les données ou les informations au sujet d'un changement particulier (par exemple au niveau des moyens de subsistance d'un foyer ou de la communauté) doivent correspondre à au moins deux repères temporels. Dans le cas d'interventions post-catastrophe, il est judicieux de s'intéresser à trois ou quatre repères temporels, car nous avons besoin de comprendre à la fois comment la catastrophe a touché les moyens de subsistance des personnes, et comment le relèvement a progressé.

Pour décrire les différents repères temporels qui nous intéressent, nous avons employé la terminologie suivante, représentée graphiquement dans la figure 3.

• T-1 – avant la catastrophe (avant le déclenchement de la catastrophe);

• T0 – la catastrophe proprement dite (son déclenchement – voir également l'encadré 4);

• T+1 – peu après la catastrophe (après une période d'urgence initiale);

• T+2 – bien après la catastrophe (après une période de phase de relèvement).

En raison de l'intérêt des trajectoires de moyens de subsistance et du fait que les impacts d'une catastrophe sur ces derniers peuvent ne pas être évaluables immédiatement, nous considérons que T+1 est un repère temporel important dans l'analyse. D'un point de vue conceptuel du moins, il s'agit du repère temporel où les impacts sur les moyens de subsistance sont considérés comme étant les plus élevés, mais également le repère temporel où les actions de relèvement ont tendance à démarrer, notamment avec la mise en oeuvre d'interventions post-assistance. Nous reconnaissons qu'il s'agit d'une simplification des réalités du terrain, mais cela fait office de cadre conceptuel de base pour la méthodologie.

Le moment choisi précis de T-1, T+1 et T+2 dépendra du contexte et des considérations uniques pour la conception de l'évaluation, mais l'étape 2 de la partie 2 fournit des lignes directrices pour vous aider à prendre ces décisions. Les outils de collecte des données décrits dans la partie 2 font référence, de différentes manières, à ces quatre repères temporels, en se concentrant davantage sur les différences entre T-1 et T+1 (quels ont été les impacts?); T+1 et T+2 (quelles ont été les interventions?) et T-1 et T+2 (y a-t-il eu un relèvement effectif?).

Collecte rétrospective des données

La méthode présentée dans ce guide suppose que la principale collecte de données pour l'analyse aura lieu à T+2. Comme mentionné dans l'introduction, il arrive rarement que des données de référence détaillées se rapportant à tous les aspects des moyens de subsistance et à un ensemble d'interventions puissent être collectées avant ce point.

En raison de la nature imprévisible des catastrophes à déclenchement soudain, le chaos qui suit habituellement, ainsi que le besoin, pour des raisons humanitaires, d'intervenir rapidement, les évaluateurs ont rarement l'opportunité d'identifier une base de référence au moment de la catastrophe. Cela signifie qu'alors que les données correspondant à T+2 peuvent être collectées en temps réel, celles correspondant à T-1 ou T+1 devront, dans la majorité des cas, être collectées rétrospectivement, en se basant sur les souvenirs des participants en les confirmant par les éventuelles traces écrites disponibles.

La phase pilote des enquêtes a montré que les données rétrospectives peuvent être collectées auprès des foyers, avec une confiance raisonnable dans la fiabilité de ces données. La triangulation entre les sources devrait révéler les divergences. Les sources non fiables peuvent donc être écartées de l'analyse. Cependant, pour réduire le risque de biais, la collecte de données rétrospectives doit idéalement se faire dans les 6 à 12 mois suivant la catastrophe, bien qu'il soit nécessaire de trouver un juste équilibre entre la remémoration des données (voir encadré 5) et la nécessité de laisser passer suffisamment de temps pour que les changements en matière de moyens de subsistance deviennent visibles.

Dans certains cas, il est possible de suivre une approche de collecte de données en deux étapes, avec des données initiales et des données de suivi collectées séparément. Cette approche sera utilisée lorsqu'une première visite sur le ou les sites touchés par la catastrophe peut être effectuée un à deux mois après l'événement (pour la collecte des données couvrant la période T-1 à T+1). Une visite de suivi peut alors être effectuée 12 à 15 mois après la catastrophe (pour la collecte des données couvrant la période T+1 à T+2). Lors des deux visites, des données similaires seront collectées, même si les questions devront être modifiées pour tenir compte des dates différentes de la collecte de données.

Méthodes mixtes pour la collecte de données

Les méthodes et outils décrits dans les parties 2 et 3 visent à proposer une manière simple et efficace d'identifier les changements au niveau du foyer pour les organismes souhaitant identifier et documenter des preuves crédibles de leur contribution au changement.

Toute évaluation nécessite de considérer soigneusement les méthodes les plus appropriées pour la collecte de données et de preuves au sujet des moyens de subsistance au niveau du foyer et de la communauté. Les méthodes utilisées doivent être suffisamment fiables pour collecter des preuves crédibles, mais suffisamment simples pour pouvoir être appliquées sur le terrain dans une large gamme de contextes (voir encadré 6). L'approche proposée dans ce guide est construite autour de l'utilisation de méthodes qualitatives et quantitatives, avec lesquelles la majorité des chercheurs et des évaluateurs devraient être familiers.

Les méthodes quantitatives utilisent de plus gros échantillons et sont utiles pour déterminer la direction et l'ampleur des changements dans une population donnée. Généralement, les méthodes quantitatives susceptibles d'être utiles comprennent:

• des enquêtes auprès des foyers sous forme de questionnaires;

• des questionnaires au niveau de la communauté.