Niveau de l'Indicateur
Libellé de l'indicateur
Indicateur Objectif
Comment collecter et analyser les données nécessaires
Déterminez la valeur de l'indicateur en utilisant la méthodologie suivante :
1) Décidez de la manière dont vous allez mesurer les compétences des promoteurs. Il existe deux options principales :
- Observer les promoteurs pendant leur travail et consigner ce qu'ils font (ou ne font pas) dans une liste de contrôle est le meilleur moyen d'évaluer leurs compétences et, dans une certaine mesure, leurs connaissances. La liste de contrôle doit s'attacher à déterminer si les promoteurs suivent les méthodes recommandées pour promouvoir le comportement et si ce qu'ils disent est techniquement correct. Un exemple de liste de contrôle figure aux pages 119 et 120 de la publication Make Me a Change Agent (voir ci-dessous). Envisagez de limiter la liste de contrôle à un nombre plus restreint (par exemple 10) des pratiques les plus importantes, en particulier celles qui posent souvent problème.
- Le test théorique vous aide à mesurer dans quelle mesure les promoteurs possèdent les connaissances nécessaires pour promouvoir efficacement les comportements. Ces tests sont généralement écrits, mais ils peuvent également être basés sur un entretien (qui prend toutefois beaucoup de temps aux personnes chargées de l'entretien). Ils tendent à évaluer les connaissances liées à :
1. les principaux messages que les promoteurs sont censés communiquer au public cible (et les connaissances "techniques" relatives à ces messages)
2. le contenu du matériel CSC que les promoteurs devraient utiliser
3. les grands principes d'une communication CSC efficace / les méthodes de facilitation
Il est recommandé d'utiliser soit uniquement des observations, soit des observations combinées à un test théorique. Évitez d'utiliser uniquement des tests théoriques, car ils ne vous permettent pas de connaître les compétences réelles des promoteurs.
Veillez à ce que les listes de contrôle et les tests soient réalistes (pas trop ambitieux). Ils doivent porter sur des compétences et des connaissances mesurables. Avant d’utiliser la liste de contrôle ou le test, testez-les auprès de quelques promoteurs et assurez-vous que les évaluateurs comprennent comment noter chaque critère de manière cohérente.
Sélectionnez les compétences indispensables à l'exercice des responsabilités concrètes des promoteurs, en tenant compte des comportements qu'ils encouragent et de la manière dont ils interagissent avec le public cible.
2) Décidez de la performance minimale qu'un promoteur doit atteindre pour être considéré comme "capable de promouvoir les comportements prioritaires de manière efficace". Par exemple, suivre au moins 8 des 10 pratiques observées et obtenir une note d'au moins 70 % à l'examen théorique.
Ces seuils sont donnés à titre d'exemple et ne constituent pas des normes universelles. Définissez le niveau de performance minimal acceptable en fonction de l'importance des compétences évaluées. Envisagez de définir des exigences essentielles qui doivent toujours être respectées, même lorsque le promoteur atteint la note minimale globale (par exemple, fournir des conseils techniquement corrects et éviter les recommandations préjudiciables). Si l'évaluation repose à la fois sur une observation et sur une épreuve théorique, le promoteur doit satisfaire aux exigences minimales pour chacune d'entre elles.
Lors des observations, notez les pratiques qui n’ont pas pu être évaluées de manière raisonnable comme « non évaluées », plutôt que de les considérer automatiquement comme des échecs. Excluez ces éléments du score global de la liste de contrôle, en appliquant une règle de notation définie au préalable. Si des compétences essentielles n’ont pas pu être évaluées, organisez une autre observation avant de décider si le promoteur répond à la norme. Définissez également le nombre minimum d’éléments de la liste de contrôle qui doivent être évalués pour que le score global soit considéré comme valide. Sinon, un promoteur pourrait être déclaré admissible sur la base de quelques pratiques observées seulement.
3) Réalisez les observations / faites passer les tests théoriques auprès d’ un échantillon représentatifde promoteurs. Commencez par établir une liste à jour des promoteurs dont les compétences l’indicateur est censé mesurer. Si le groupe est restreint, envisagez d’évaluer l’ensemble des personnes. Dans le cas contraire, sélectionnez des promoteurs parmi cette liste en utilisant une méthode qui reflète de manière adéquate leurs rôles, leurs lieux d’affectation et leurs conditions de travail. Évitez de n’évaluer que les personnes les plus faciles à observer ou celles qui se portent volontaires pour participer. Lorsque les promoteurs ont des responsabilités très différentes, utilisez des critères d’évaluation adaptés et envisagez de présenter leurs résultats séparément.
Il est vivement recommandé de mener ces observations et ces essais tout au long du projet, dans le cadre de son système de suivi régulier. Cette approche présente plusieurs avantages :
- Premièrement, elle permet de gagner du temps. Effectuer des observations et des tests prend du temps et essayer de les faire tous en même temps (par exemple au cours d'une enquête finale) pourrait être trop exigeant.
- Ensuite, les résultats des observations et des tests peuvent être utilisés pour fournir aux promoteurs le soutien dont ils ont besoin pour remédier aux faiblesses identifiées (par exemple, une formation supplémentaire axée sur les principales lacunes). Pour disposer du temps nécessaire pour remédier aux faiblesses, celles-ci doivent être identifiées au cours du projet et non à la fin de celui-ci.
Définissez à l'avance la période de référence et ne comptez chaque promoteur qu'une seule fois lors du calcul de l'indicateur. Si un promoteur est évalué plusieurs fois au cours de cette période, appliquez une règle cohérente, par exemple en retenant sa dernière évaluation valide. Ne considérez pas les observations individuelles comme des promoteurs distincts. Lorsque vous comparez les résultats d'une période à l'autre, utilisez les mêmes critères d'évaluation et les mêmes règles de déclaration.
4) En utilisant les critères de performance définis au point 2, comptez le nombre de promoteurs qui peuvent être considérés comme "capables de promouvoir les comportements prioritaires de manière efficace".
5) Pour calculer la valeur de l'indicateur, divisez le nombre de promoteurs pouvant être considérés comme « capables de promouvoir efficacement les comportements prioritaires » par le nombre total de promoteurs ayant fait l'objet d'une évaluation valide. Multipliez le résultat par 100 pour l'exprimer en pourcentage.
Ventilation par
Ces données peuvent être ventilées selon le sexe des promoteurs, leur lieu d'implantation et, si cela est pertinent et faisable, également selon leur tranche d'âge et leur nombre d'années d'expérience.
Commentaires importants
1) La publication Community Health Worker Competency List for Nutrition Social and Behavior Change (voir ci-dessous) peut vous donner des idées supplémentaires sur les compétences qui peuvent être mesurées à l'aide de la liste de contrôle basée sur les observations.
2) Gardez à l'esprit que les promoteurs peuvent adopter un comportement différent lorsqu'ils savent qu'ils sont observés. Dans la mesure du possible, évaluez leur travail habituel plutôt qu'une session spécialement préparée. Veillez à ce que les observateurs fournissent des commentaires constructifs aux promoteurs. N'oubliez pas qu'une seule observation positive ne signifie pas nécessairement que le promoteur affiche systématiquement de bonnes performances.
3) Utilisez les résultats pour identifier les compétences qui nécessitent un accompagnement supplémentaire. Dans la mesure du possible, associez les conclusions issues de l'observation aux retours d'expérience des personnes destinataires des messages diffusés. Ces retours d'expérience peuvent aider à identifier des problèmes de communication qui ne ressortiraient pas nécessairement de l'observation seule.
Indicateurs transversaux pertinents
Pensez également à utiliser les indicateurs suivants :
Compréhension par le personnel des principes d'un changement social et comportemental efficace (évalue si le personnel chargé du programme comprend les principes nécessaires pour soutenir des interventions efficaces en matière de changement de comportement)
Compréhension des messages promotionnels (permet de déterminer si le public cible comprend correctement ce qu'on l'encourage à faire)
Prévalence des freins au changement (permet d'identifier les obstacles que la communication efficace à elle seule ne suffit pas toujours à surmonter)
Accéder à des conseils supplémentaires
- Le réseau FSN et le groupe CORE (2015) Faites de moi un agent de changement : Une ressource multisectorielle de CSC pour les travailleurs communautaires et le personnel de terrain (.pdf)
- USAID - Faire progresser la Nutrition (2021) Liste des compétences des agents de santé communautaire en matière de changement social et comportemental dans le domaine de la Nutrition (.pdf)