Niveau de l'Indicateur
Libellé de l'indicateur
Indicateur Objectif
Comment collecter et analyser les données nécessaires
Déterminez la valeur de l'indicateur en utilisant la méthodologie suivante :
1)Définissez les principaux domaines de connaissances et/ou de compétences que le projet vise à renforcer. Ceux-ci doivent correspondre aux objectifs d'apprentissage de l'intervention et être clairement définis avant la collecte des données. Veillez à ce que l'équipe fasse systématiquement la distinction entre les connaissances (meilleure compréhension ou connaissance des concepts, des politiques ou des procédures) et les compétences (capacité à appliquer efficacement ces connaissances).
2)Concevez une approche de mesure appropriée en tenant compte de votre public cible afin d'évaluer l'évolution des connaissances et/ou des compétences. Cela nécessite généralement de mesurer la différence entre la situation de référence (avant l'intervention) et la situation post-intervention (après l'intervention). Les options les plus courantes sont les suivantes :
Test standardisé des connaissances et/ou des compétences : administrer le même test ou un test équivalent avant et après l'intervention et comparer les scores des participants individuels.
Auto-évaluation : Demandez aux participants d'évaluer leurs connaissances et/ou leurs compétences dans chacun des domaines évalués avant et après l'intervention à l'aide d'une échelle standard (par exemple, 1 = très faible, 5 = très élevé).
Observation ou évaluation pratique des performances : observer directement les participants accomplir des tâches pertinentes ou démontrer leurs compétences dans des situations réelles ou simulées, et noter leurs performances à l'aide d'un formulaire d'observation structuré.
Si l'indicateur inclut des compétences, au moins une méthode permettant d'évaluer leur application dans la pratique doit être utilisée. Il peut s'agir d'une observation directe, de tâches pratiques ou de substituts fondés sur des preuves qui évaluent le travail effectué (par exemple, évaluation des résultats du travail à l'aide de critères de qualité prédéfinis, évaluation structurée de la performance des tâches par un formateur ou un mentor sur la base de l'application observée, ou simulations basées sur des tâches et notées selon des normes claires).
3)Fixer un seuil minimal d'amélioration qui définit « l'augmentation des connaissances et/ou des compétences ». Exemples :
Amélioration minimale en pourcentage entre les scores obtenus avant et après le test (par exemple, augmentation d'au moins 20 %).
Une augmentation d'au moins un point sur une échelle d'auto-évaluation à 5 points.
Amélioration vérifiée dans l'exécution des tâches selon des critères établis.
Évitez de fixer des exigences irréalistes ou inutilement basses en vérifiant la difficulté de la méthode d'évaluation en latestant au préalableauprès d'au moins 10 personnes.
4)Recueillir les données pré-intervention auprès de l'ensemble de la population cible ou d'un échantillon représentatif, selon le cas.
5)Recueillir les données post-intervention. Répéter la collecte de données, idéalement immédiatement après l'intervention et, si possible, à nouveau à un stade ultérieur afin d'évaluer la rétention. S'assurer que les répondants ont eu suffisamment de temps pour intérioriser ou appliquer ce qu'ils ont appris. Les mêmes personnes doivent être évaluées à tous les points de mesure afin de permettre une comparaison au niveau individuel entre les résultats pré- et post-intervention.
6)Évaluer les résultats au niveau des participants. Calculer combien de participants ont atteint le seuil minimum requis pour l'amélioration des connaissances et/ou des compétences défini à l'étape 3.
7) Pour calculer la valeur de l'indicateur, divisez le nombre de participants qui atteignent le seuil défini d'amélioration des connaissances/compétences par le nombre total de participants évalués. Multipliez le résultat par 100 pour le convertir en pourcentage.
Ventilation par
Les données peuvent être ventilées par sexe, tranche d'âge, zone géographique et/ou d'autres caractéristiques pertinentes (par exemple, type de formation ou thème, organisations ciblées), en fonction du contexte et de l'orientation de votre projet.
Commentaires importants
1) Lorsque vous interrogez un échantillon plutôt que l'ensemble de la population cible, assurez-vous qu'il est suffisamment large pour tenir compte de l'attrition lors de enquête finale, car tous les répondants de référence ne seront peut-être pas disponibles à ce stade. Cela permet de garantir que l'évaluation post-intervention reste représentative (votre échantillon reste suffisamment large) et permet de collecter des données auprès des mêmes répondants lors enquête finale de référence et enquête finale .
2) Si vous avez l'intention d'évaluer à la fois les connaissances et les compétences, il peut ne pas suffire de vous fier uniquement aux tests préalables et postérieurs. D'autres méthodes, telles que l'observation ou l'évaluation des performances pratiques, peuvent être nécessaires pour mesurer correctement l'amélioration des compétences.
3) Les étapes méthodologiques ci-dessus recommandentde collecter des données avant et après l'intervention afin de déterminer dans quelle mesure les répondants ont amélioré (ou non) leurs connaissances et/ou leurs compétences. Toutefois, lorsque la collecte de données de référence n'est pas possible ou que les tests avant et après l'intervention ne sont pas adaptés au groupe cible, un formulaire d'évaluation basé sur les souvenirs peut être utilisé à la place. Ces formulaires peuvent inclure des questions contrefactuelles ou de référence, par exemple :
Dans quelle mesure diriez-vous que le soutien apporté par [ précisez l'organisation/l'acteur] a influencé vos connaissances sur [ précisez le sujet]?
Avez-vous acquis des compétences et des connaissances que vous n'aviez pas auparavant ?
Une note composite obtenue à partir de plusieurs questions de ce type peut être utilisée pour définir « l'amélioration des connaissances et/ou des compétences ». Ce type de formulaire d'évaluation est également utile pour recueillir des commentaires en vue d'améliorer les interventions.
Les approches fondées sur les souvenirs doivent être considérées comme une solution de second choix et utilisées uniquement lorsque les données de référence ne peuvent être collectées, car les biais liés aux souvenirs et à la désirabilité sociale peuvent gonfler les résultats, en particulier dans le contexte des formations financées par des donateurs. Les conclusions tirées à partir de méthodes fondées sur les souvenirs doivent donc être interprétées comme des changements perçus et non comme des changements mesurés.
4) Si votre projet vise à mesurer si la population cible possède un niveau spécifique de connaissances et/ou de compétences, plutôt que de déterminer si elle s'est améliorée au fil du temps, utilisez l'indicateur % de [précisez le groupe cible] ayant les connaissances/compétences souhaitées sur [précisez le sujet] . L'avantage de cette approche est que vous n'avez pas besoin de collecter des données de référence et de suivi auprès des mêmes répondants.
5) Décidez s'il convient de mesurer l'effet direct d'une activité ponctuelle (par exemple, une démonstration) ou l'effet d'un processus d'apprentissage plus long (par exemple, une série de plusieurs sessions de formation sur une certaine période).
6)Si vous utilisez des autoévaluations, validez-les à l'aide d'un contrôle externe afin de réduire les biais. Demandez à des formateurs ou à des pairs de vérifier si les participants sont capables de démontrer les connaissances ou les compétences qu'ils ont eux-mêmes évaluées. Cette étape de vérification garantit que les résultats reflètent l'apprentissage réel plutôt que des perceptions subjectives.
7) Si possible,effectuez deux fois l'« évaluation postérieure »: une fois immédiatement après la fin de l'activité de « renforcement des capacités » (pour montrer les acquis immédiats) ; puis, 1 à 2 mois plus tard (pour montrer les connaissances et/ou compétences que les personnes retiennent réellement et sont susceptibles d'utiliser). Toutefois,les évaluations ne doivent pas nécessairement porter sur une seule activité(par exemple, une formation) ; elles peuvent être réalisées lors des enquête finale de référence et enquête finale , afin d'évaluer l'évolution globale des connaissances et/ou compétences spécifiques de la population cible.
8) En vous appuyant sur votre analyse de l'accessibilité et du genre , évaluez si des mesures supplémentaires sont nécessaires pour garantir une évaluation équitable et précise pour tous les répondants et, le cas échéant, mettez-les en œuvre. Il peut s'agir notamment de proposer plusieurs formats de collecte de données (écrit, oral ou numérique) afin de s'adapter aux différentes capacités ; de veiller à ce que les lieux d'évaluation soient accessibles ; d'offrir une certaine flexibilité dans le calendrier aux participants qui en ont besoin ; d'autoriser l'utilisation d'applications ou de programmes d'aide ; et de fournir du matériel de soutien, tel que des textes en gros caractères ou des aides visuelles. Utilisez un langage et des exemples neutres du point de vue du genre dans toutes les questions et ventilez et interprétez les résultats par genre afin de déterminer si les filles/jeunes femmes, les garçons/jeunes hommes ou les jeunes non binaires obtiennent des résultats d'apprentissage différents ou rencontrent des obstacles différents.
9) Le cas échéant, envisagez de demander aux répondants où ils ont acquis leurs connaissances/compétences. Cela pourrait vous aider à comprendre la contribution de votre intervention.
10) Si possible, ajoutez des questions afin de recueillir des commentaires sur l'utilité et la pertinence du renforcement des capacités. Utilisez les résultats pour améliorer les interventions.
11) Afin de renforcer l'apprentissage et la responsabilisation, communiquer les résultats des évaluations aux participants lorsque cela est possible et approprié, et les utiliser pour affiner les futures initiatives de renforcement des capacités.