Informations archivées
Ce contenu est archivé car Condition féminine Canada n’existe plus. Veuillez consulter Femmes et Égalité des genres Canada.
Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n'ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquer avec nous.
Planification et rapports
Évaluation du Programme de promotion de la femme
Évaluation du Programme de promotion de la femme
Volume I - Rapport final
3.0 Méthodologie
Cette section du rapport décrit en détail la méthodologie utilisée pour la présente évaluation.
3.1 Cadre d'évaluation
Le cadre d'évaluation qui figure à l'annexe C a été élaboré pour guider l'évaluation. Il est organisé en fonction des enjeux qui sont habituellement présents dans l'évaluation des résultats : la conception et la prestation, l'incidence du Programme, la rentabilité et les solutions de rechange et, enfin, la pertinence et la justification. Le cadre d'évaluation précise les enjeux et les questions propres à l'évaluation et il les relie aux méthodes de collecte de données utilisées.
3.2 Méthodes de collecte des données
Afin d'accroître la fiabilité et la validité des résultats, on a utilisé, lorsque cela était possible, de multiples sources de données pour répondre aux questions d'évaluation. Les méthodes de collecte de données utilisées comprennent :
- l'examen de documents et de données administratives sur le Programme;
- l'examen de dossiers (45);
- une enquête auprès de groupes qui ont présenté une demande (215);
- des entrevues auprès d'informatrices et d'informateurs clés (41);
- des études de cas (7).
Chacune de ces méthodes est décrite en détail ci-après. Tout au long du présent rapport, les termes « intervenantes » et « intervenants » désignent l'agencement des groupes auprès desquels on a recueilli de l'information, sauf indication contraire (p. ex. les intervenantes et intervenantes de l'extérieur appartiennent à des groupes à l'extérieur du Programme de promotion de la femme). Les outils de collecte de données figurent à l'annexe D. Des rapports détaillés sur les résultats de chaque méthode ont été rédigés. Ces rapports provisoires sont présentés dans le Volume II.
3.2.1 Examen de documents et de données
L'examen des documents et des données administratives sur le Programme visait à fournir des renseignements contextuels et à répondre directement à de nombreuses questions d'évaluation. Il revenait au Programme de promotion de la femme (PPF) de fournir à PRA les données et documents pertinents, dont le Manuel des procédures du Programme de promotion de la femme, le cadre de responsabilisation (y compris le modèle logique), le document sur les conditions du PPF, le cadre de vérification fondé sur les risques, les formulaires de demande de financement du Programme et les modèles de rapport; les données administratives du Programme d'action pour l'égalité entre les sexes (PAES) et du PPF; les rapports ministériels sur le rendement, les rapports sur les plans et priorités, les rapports de consultation et les rapports d'évaluation et de vérification préalables. En outre, PRA a examiné des documents pertinents provenant d'autres sources au sein du gouvernement du Canada, comme le ministère des Finances, le Secrétariat du Conseil du Trésor, Ressources humaines et Développement des compétences, le Cabinet du premier ministre, le Comité permanent de la Chambre des communes sur la condition féminine et le Projet de recherche sur les politiques (Bureau du Conseil privé) ainsi que de l'information provenant des Nations Unies.
Un rapport sur l'examen des documents et des données a été présenté sous forme d'un rapport technique distinct, et certains de ses éléments sont intégrés au présent rapport. Les données administratives du PAES ont été résumées dans un rapport distinct sur la composante PAES du PPF, avec les études de cas de deux initiatives financées grâce au PAES (voir le Volume II).
3.2.2 Examen des dossiers
L'examen des dossiers visait d'abord à déterminer quels avaient été les résultats des initiatives financées et dans quelle mesure ces résultats correspondaient aux résultats attendus, définis dans les propositions des groupes, puis à déterminer dans quelle mesure l'adoption, en 2003-2004, d'une approche axée sur les résultats pour l'établissement de rapports était mise en application et à repérer tout nouvel enjeu qui mériterait un examen plus approfondi ou une surveillance continue.
Au total, 45 dossiers fermés des exercices 2001-2002, 2002-2003 et 2003-2004 ont été examinés, soit 30 dossiers des exercices 2001-2002 (17) et 2002-2003 (13), et 15 dossiers de l'exercice 2003-2004. Les 15 dossiers de 2003-2004 correspondaient au total des dossiers fermés de cet exercice au moment où l'échantillon a été sélectionné.
Aux fins de l'examen des dossiers, le PPF définissait les dossiers fermés comme « complets » ou « incomplets »15. Pour 2003-2004, tous les dossiers fermés du PPF correspondant à ces définitions ont été inclus dans l'examen. Dans le cas des exercices 2001-2002 et 2002-2003, PRA a choisi au hasard un échantillon de dossiers (cinq dans chacune des six régions) à partir de listes annuelles fournies par le PPF pour tous les dossiers financés par région. Comme les listes n'indiquent pas si les dossiers étaient fermés ou non, le personnel du PPF a revu l'échantillon afin de déterminer ce qu'il en était. Les dossiers encore actifs ont été remplacés par PRA et le processus a été répété jusqu'à ce que l'échantillon ne contienne que des dossiers fermés, selon la définition ci-dessus. Ce processus, combiné au fait que la majorité des 15 dossiers de 2003-2004 provenaient de la région de la Colombie-Britannique/Yukon, a donné lieu à une répartition inégale entre les régions, comme le montre le Tableau 2.
| Région | n=45 | % |
|---|---|---|
| Atlantique | 6 | 13 |
| Québec/Nunavut | 6 | 13 |
| Ontario | 6 | 13 |
| Prairies/Territoires du Nord-Ouest | 7 | 16 |
| Colombie-Britannique/Yukon | 13 | 29 |
| Bureau national | 7 | 16 |
| Total | 45 | 100 |
Nota : Une initiative est considérée comme ayant une envergure nationale lorsque au moins trois des cinq régions de CFC y participent.
La répartition inégale des dossiers à travers le pays et le nombre limité de dossiers fermés depuis la mise en oeuvre de l'approche axée sur les résultats aux fins de l'établissement des rapports, en 2003-2004, présentent des limites importantes pour l'atteinte du deuxième objectif de l'examen, à savoir, évaluer la mesure dans laquelle la nouvelle approche a été mise en oeuvre.
3.2.3 Enquête auprès des groupes demandeurs
PRA a effectué une enquête auprès de tous les groupes de femmes et autres organisations oeuvrant pour l'égalité des femmes qui ont présenté une demande au PPF au cours des quatre dernières années financières (2001-2002, 2002-2003, 2003-2004 et 2004-2005). Cette enquête visait à recueillir l'opinion de ces groupes et organisations sur l'incidence et la pertinence du PPF et de ses éléments, sur la conception et la prestation du Programme ainsi que les solutions de rechange.
L'enquête a été mise à l'essai en français et en anglais auprès d'un petit nombre de groupes avant d'être envoyée par la poste à l'ensemble des groupes et organisations qui composaient l'échantillon. Les trousses comprenaient une lettre d'introduction expliquant le but de la recherche et encourageant la participation, un questionnaire, une enveloppe affranchie pré-adressée. Tous les groupes ont reçu la trousse en français et en anglais. Les répondantes et répondants pouvaient retourner l'enquête par la poste dans l'enveloppe affranchie pré-adressée ou par télécopieur, sans frais.
Pour constituer l'échantillon devant servir à l'enquête, PRA a demandé au PPF de déterminer quels groupes avaient présenté une demande au cours des exercices visés et pour lesquels le PPF disposait de coordonnées. L'échantillon initial a été établi à partir de différentes sources par le personnel de PPF et fourni à PRA. Toutefois, lorsque PRA a examiné cet échantillon, de nombreuses erreurs et incohérences ont été relevées : groupes apparaissant comme ayant été « financés » et « non financés », entrées en double et autres problèmes de même nature. Une fois que PRA a réglé les problèmes liés à l'échantillon, l'enquête a été envoyée à 508 groupes, dont 412 qui avaient été financés au moins une fois par le Programme et 96 qui n'avaient jamais été financés. Le PPF a par la suite découvert que deux groupes financés avaient été exclus de l'échantillon original, et les questionnaires de neuf groupes financés et de trois groupes non financés ont été retournés à PRA en raison d'adresses inexactes, ce qui a réduit à 498 le nombre de groupes et d'organisations dans l'échantillon final.
Chaque questionnaire d'enquête portait un numéro d'identification unique correspondant à un groupe particulier, ce qui a permis à PRA de gérer le processus d'enquête en effectuant un suivi téléphonique auprès des groupes qui n'avaient pas retourné leur questionnaire dans les délais prescrits. En tout, 215 questionnaires dûment remplis ont été retournés à PRA, ce qui représente un taux de réponse de 43 p. 100.
Le Tableau 3 présente le profil des répondantes et répondants à l'enquête.- Les deux tiers des répondantes et répondants (64 p. 100) ont rempli le questionnaire en anglais, les autres (36 p. 100) l'ont rempli en français.
- La grande majorité (89 p. 100) avait reçu des fonds du PPF dans le passé. Les 11 p. 100 restants n'avaient jamais reçu de fonds,
- Les répondantes et répondants représentaient les six régions; le bureau national et le Québec/Nunavut ont affiché les pourcentages les plus élevés.
| % | |
|---|---|
| Langue | |
| Anglais | 64 |
| Français | 36 |
| Statut de financement | |
| Financé | 89 |
| Non financé | 11 |
| Région | |
| Bureau national | 27 |
| Québec/Nunavut | 22 |
| Prairies/Territoires du Nord-Ouest | 16 |
| Colombie-Britannique /Yukon | 14 |
| Ontario | 10 |
| Atlantique | 9 |
| Inconnue* | 1 |
Source : Enquête auprès des groupes de femmes et autres organisations qui oeuvrent pour l'égalité.
Nota : Comme les chiffres ont été arrondis, le total peut ne pas correspondre à 100 %.
*Le code administratif était brouillé sur deux des questionnaires retournés. Il n'a donc pas été possible de déterminer la région de financement dans ces deux cas.
L'information recueillie grâce à l'enquête a été saisie sous forme de données et analysée à l'aide de SPSS, progiciel de statistiques fréquemment utilisé dans les recherches en sciences sociales. Les résultats de l'enquête ont été intégrés au présent rapport. La diversité des sources et la méthode itérative utilisée pour dresser la liste des groupes financés et non financés n'ont pas permis l'échantillonnage stratifié des variables clés. Il n'est donc pas possible de déterminer si le profil des répondantes et répondants à l'enquête correspond étroitement à la répartition de l'ensemble de la population des groupes demandeurs.
3.2.4 Entrevues des informatrices et informateurs clés
PRA a interviewé en tout 41 personnes qui connaissaient bien le PPF ou avaient une connaissance générale du domaine de la promotion de l'égalité des femmes. Comme dans le cas de l'enquête, les entrevues étaient conçues pour recueillir le point de vue des groupes de femmes et d'autres organisations militant pour l'égalité entre les sexes sur le PPF et elles englobaient également du personnel et des gestionnaires du Programme.
Il revenait au PPF de désigner des informatrices et informateurs clés appropriés et de fournir à PRA leurs coordonnées à jour. Les informatrices et informateurs clés comprenaient des gestionnaires et des membres du personnel du PPF (15), des personnes ayant présenté une demande (16) et des intervenantes et intervenants de l'extérieur (10). Sauf indication contraire, l'expression « informatrices et informateurs clés » désigne tout au long du présent rapport un agencement de ces trois groupes.
PRA a élaboré un guide d'entrevue distinct pour chacune de ces catégories. Les guides tenaient compte de la perspective unique que chacun des trois groupes pouvait offrir; toutefois, dans la mesure du possible, des questions similaires ont été posées aux trois groupes. Cette approche a permis de déterminer à quel point certaines opinions sont répandues parmi les différents groupes d'intervenantes et d'intervenants.
Avant que PRA ne communique avec elles et eux, les informatrices et informateurs clés qui appartenaient à la catégorie de personnes ayant demandé un financement ou à la catégorie des intervenantes et intervenants de l'extérieur ont reçu une lettre à en-tête du PRA qui décrivait le but et la nature de la recherche et les invitait à y participer. Les gestionnaires et les membres du personnel du Programme ont reçu un courriel du PPF leur annonçant que l'on communiquerait avec eux. La lettre soulignait l'importance de l'étude et du rôle joué par chaque informatrice et informateur clé pour le succès de sa réalisation.
Environ une semaine après la diffusion de la lettre d'introduction, PRA a commencé à communiquer avec les informatrices et informateurs clés par téléphone afin d'organiser les entrevues. Les informatrices et informateurs avaient le choix de faire l'entrevue en français ou en anglais. Un rapport technique résumant les constatations issues de ces entrevues a été soumis en tant que produit livrable distinct, et les constatations des entrevues ont été intégrées au présent rapport. Comme c'est habituellement le cas pour les entrevues réalisées auprès d'informatrices et d'informateurs clés, les personnes interviewées peuvent parler de leurs propres expériences et de leurs observations, mais elles sont rarement en mesure de commenter l'incidence globale d'un programme. Il n'est donc pas surprenant que les informatrices et informateurs clés aient eu beacoup plus de difficulté à parler de la contribution nette du PPF et de ses progrès vers l'atteinte de ses objectifs que des autres sujets abordés (la section 4.0 - Constatations - fournit de plus amples détails à ce sujet).
3.2.5 Études de cas
PRA a effectué sept études de cas dans le cadre de l'évaluation. Deux de ces études visaient des groupes financés par les fonds du PAES et cinq études visaient des groupes financés grâce aux fonds « réguliers » du PPF. Les études de cas visaient à mettre en évidence les résultats obtenus par un échantillon d'initiatives financées par le PPF. Les études des groupes financés grâce au PAES comprenaient un groupe financé par la région de l'Ontario et un groupe financé par le bureau national (voir le rapport dans le Volume II). Les cinq autres études visaient un groupe de chacune des régions suivantes : Colombie-Britannique/Yukon, Prairies/Territoires du Nord-Ouest, Québec/Nunavut, Atlantique et le bureau national. Le PPF devait, pour chaque étude de cas, obtenir le consentement du groupe. PRA a communiqué avec les groupes sélectionnés pour les études de cas seulement après qu'ils eurent accepté de participer.
Chaque étude de cas comportait un examen de dossier et des entrevues (par téléphone) avec des informatrices et informateurs clés (de un à trois). Il faut souligner que, bien que les études de cas aient visé à faire ressortir les résultats des initiatives sélectionnées, elles ont toutes porté sur des initiatives élaborées et réalisées avant la mise en oeuvre de l'approche axée sur les résultats, en 2003-2004. La documentation contenue dans les dossiers ne précisait donc pas clairement ou constamment les objectifs ou les résultats, ni la mesure dans laquelle les résultats avaient été obtenus (plutôt que les activités menées à bien).
Les résultats de l'examen des dossiers et des entrevues ont été résumés dans de brefs rapports d'étude de cas. Les études de cas d'initiatives financées par le PAES ont été produites au début du processus d'évaluation - elles faisaient partie du rapport sur la composante PAES du PPF, tandis que les cinq autres ont été produites plus tard, dans un rapport distinct (voir le Volume II). Les constatations issues de chacune des sept études de cas sont incluses dans le présent rapport.
15 Les dossiers définis comme « fermés complets » sont des dossiers fermés par le bureau régional ou national et comprennent une évaluation régionale ou nationale de l'initiative financée. L'évaluation peut avoir été effectuée à l'aide du Formulaire d'évaluation finale adopté en avril 2003 ou une évaluation finale d'un autre type peut avoir été effectuée avant cette date par le bureau régional ou national. Les dossiers définis comme « fermés incomplets » ont été fermés par le bureau régional ou national lorsqu'il a été déterminé que le rapport final ne serait pas présenté ou qu'il n'était pas adéquat, et que l'on ne pouvait s'attendre à ce que le groupe fournisse 'autres renseignements.
- Date de modification :