L’audit, qu’est ce???
On parle toujours du rapport entre l’évaluation et d’autres disciplines, telles que l’audit et le contrôle de gestion. Hypothèse numéro un: ce différences tiennent aux définitions par nature contingentes, et surtout aux pratiques. Hypothèse numéro deux : toutes les approches sont complémentaires. Hypothèse trois : l’important est de savoir ce qui fait le propre de l’évaluation.
Qu’est ce que l’évaluation ? L’évaluation commence lorsque face à des résultats aussi objectifs que possibles (chiffres, études de cas, perceptions des usagers..) on se demande la cause de ces résultats. Or les causes dans un univers social, qui n’est pas une boite de Pétri, sont toujours complexes. Savoir par exemple pourquoi avoir mis dix fois plus d’argent dans une zone d’éducation n’a pas eu d’effet peut correspondre à plusieurs causes : le problème est-il lié aux moyens ou aux processus de mise en œuvre ? Au contenu de l’enseignement ? À l’absence de soutien parental ? Au fait qu’il s’agit des cas les plus difficiles et que donc les progrès ne peuvent être qu’incrémentaux et non spectaculaires ? Il est vraisemblable qu’une seule explication ne l’emporte pas sur les autres. L’évaluation peut-elle donner une réponse « scientifique » , absolue et univoque ? Certes pas, pas plus que la « science dure » ne donne de réponses sans être dans un système d’hypothèses et de paradigmes. Par contre elle permet d’approcher d’éléments de réponse qui améliorent une politique publique.
L’audit peut-il se substituer à l’évaluation ?
La question qui est aujourd’hui de plus grande actualité est le rapport entre audit et évaluation.
En pratique et non en théorie trois approches existent :
· l’audit comme jugement externe, de constat et non de construction de solutions et non nécessairement partagé avec les intéressés
· l’audit constructif
· l’évaluation
L’audit dont il sera question dans la suite de ce travail est l’audit avec participation des audités, des processus d’apprentissage et de mise en œuvre concrète des améliorations suggérées. (ce qui est très différent de nombreuses pratiques d’audit qui existent encore aujourd’hui).
| Un exemple : l’audit des politiques publiques en faveur des aborigènes |
| La cour des comptes Australienne a entrepris en 1999 un audit de performance du programme « aborigènes ». cet audit a mis en évidence qu’il n’y avait aucune malversation, que l’argent était bien dépensé aux fins prévues, mais que les résultats (niveau de lettrisme, et de santé n’évoluaient pas) n’évoluaient pas. Répondre à cette question est trop complexe pour un audit. En effet différentes hypothèses peuvent être émises : une inadéquation des formes d’action à la sociologie des populations (par exemple le passage du nomadisme à l’habitat en « dur » fixe), une dispersion des moyens financiers, un manque d’écoute, des tensions entre générations etc. A ce moment une évaluation a commencé à examiner les différentes hypothèses et leur validité par des enquêtes de terrain. Une des conclusions qui en est ressortie est que toute solution n’était mise en oeuvre que si elle était acceptée par l’ensemble du clan familial et qu’elle n’apparaissait pas dénier les coutumes ancestrales. Le clan familial est donc devenu l’objet premier de travail de l’action publique. |
Les différents types d’audit
Dans les pays anglo-saxons en fait il y a trois niveaux d’audit :
L’audit de régularité, les lois et textes sont-ils appliqués ? Y a-t-il malversation, fraude, illégalité ?
L’audit d’efficience si l’on peut dire qui examine si les résultats sont proportionnés aux moyens qui y ont été mis (“value for money »)?
L’audit de performance qui est plus englobant, examinant l’efficience mais aussi l’efficacité de la politique, sans pour autant toujours pouvoir rendre compte des raisons de cette efficacité ou non efficacité , mais seulement la constater, moment auquel l’évaluation entre en scène.
L’audit est régi par des normes professionnelles et il a souvent un statut juridique sous jacent. Dans le secteur public, il est mené par des organisations ayant un pouvoir statutaire. Le résultat final en est souvent une certification, une accréditation ou un quitus. L’audit de régularité ou d’efficience repose sur des preuves (alors que l’évaluation prend aussi en compte la perception des acteurs), des pouvoirs légaux solides, de règles de déontologie strictes, des normes précisément définies (surtout l’audit financier) et une grande rigueur dans les dispositions d’assurance qualité. Donc en ce qui concerne l’audit (sauf celui de performance) on se trouve dans une discipline plus « hard » de contrôle, d’inspection qui ne poursuit pas le même objectif que l’évaluation qui n’est pas la vérification mais la compréhension du « pourquoi » ces résultats » plutôt que d’autres ?
Les limites de l’audit
L’audit contribue donc à l’évaluation mais n’y suffit pas, pour des raisons essentiellement pratiques qui est que la posture d’audit porte en général sur des organisations et non des actions ou des politiques publiques et se fait dans une durée trop limitée pour comprendre les causes des « bons » ou « mauvais » résultats. L’audit permet de cibler les questions qui devront être évaluées. Mais les « vrais » résultats et impacts sont influencés par la multiplicité des actions et des parties prenantes. Les gouvernements opèrent dans une incertitude croissante et seront de moins en moins capables de concevoir les événements de façon indépendante.
Les questions qui se posent sur l’audit sont alors :
· L’audit peut-il tenir compte de l’imputabilité et l’attribuer à un ou des acteurs publics?
· L’audit peut-il gérer des partenaires et acteurs multiples ?
Par la nature même de sa commandite, l’’audit tend à préférer des critères clairs et est moins à l’aise face à l’ambiguïté que l’évaluation. L’audit est bon pour établir ce qui s’est passé, mais est-il aussi bon pour en donner les raisons ? L’échelle de temps de l’audit est souvent limitée et soumise à la pression du public et du politique pour obtenir rapidement des réponses claires ; Or ceci ne fonctionne pas avec l’échelle temporelle de programmes ambitieux sur plusieurs années. Les réponses simples ne sont pas réalistes dans le cas de programmes complexes.
Les complémentarités
Les deux disciplines pourtant se sont rapprochées au fil de leur évolution car l’audit a adopté des approches plus évaluatives, en
ü définissant ses critères de jugement avec les intéressés,
ü adoptant une attitude de dialogue et de compréhension avec eux,
ü s’impliquant dans les améliorations et recommandations préconisées, ce qui rapproche l’audit de l’évaluation.
Cela ne veut pas dire que l’audit se compromet et perd de son indépendance, les zones de désaccord avec les audités doivent demeurer claires mais qu’il ne s’agit plus d’une démarche ex cathedra, imposée, sans considération du point de vue des audités ou de la faisabilité des recommandations. Une conscience accrue des besoins de rigueur et d’attention rapproche également l’audit de l’évaluation.
En conclusion les deux techniques peuvent apprendre l’une de l’autre, par exemple :
– l’évaluation à partir des processus d’assurance qualité de l’audit
– l’audit à partir de la concentration sur l’évaluation de l’apprentissage
Audit et évaluation se rapprochent donc en méthode (dans l’idéal) ; toutefois seule l’évaluation permet de s’approcher des causes des résultats constatés dans des sociétés complexes aux interactions entre acteurs, cultures, systèmes de régulation, organisations, complexes.
|
|
| Un exemple : l’évaluation faite par le NAO du programme Sure Start (aide aux enfants en difficulté) au Royaume-Uni (la première a démarré en 2001 la seconde en 2004) |
| Cette évaluation est à la fois un audit et une évaluation, un audit en ce sens que la bonne utilisation des fonds est examinée de même que la performance des acteurs mais qu’en même temps elle cherche a mieux préciser les objectifs de la politique publique. En l’occurrence Sure Start est partenarial, au sommet avec deux ministères celui de la santé et du social mais aussi de l’éducation qui est leader, et sur le terrain la mise en œuvre du programme associant les services déconcentrés de plusieurs ministères (santé, éducation, emploi), les collectivités locales et les associations. |
| L’évaluation a été partenariale et d’apprentissage |
| Les évaluations ont duré trois ans mais avec des réponses intermédiaires tous les ans. La durée s’explique par le fait que les propositions sont débattues et « négociées » avec les partenaires avant la remise du rapport, en prenant le temps de convaincre les partenaires. |
| Les normes de jugement ont été affichées dès le début (ce qui est une condition indispensable de l’évaluation et de l’audit dit constructif) : |
| · Quels sont les services délivrés? |
| · Comment ont été affectées les ressources? |
| · Le point de vue et les effets sur les partenaires (enfants, parents |
| · Le degré de coordination entre services |
| La méthode a été explicitée |
| • Un questionnaire écrit auprès de 260 centres |
| • Une enquête sur place dans 26 (enquêtes auprès de tous les acteurs) soit plus de la moitié !!! |
| • Une fois les résultats de ces deux phases établi, une série de problèmes et de questions sont apparus |
| • D’où la mise en place de groupes avec des experts et tous les partenaires concernés pour comprendre et proposer des solutions |
| Le seconde évaluation en 2004 a permis de poser des questions plus pointues car l’avancement du programme était plus net |
| • Commencer à évaluer l’impact (ce qui n’était pas possible trois ans après) |
| • Déterminer s’il y a des modèles de mise en œuvre alternatives , ce qui a été le cas en responsabilisant plus les collectivités locales et acteurs locaux |
| • Affiner les objectifs pour les rendre plus pertinents, en ciblant mieux les populations à risque • Rendre les procédures de mise en œuvre plus contraignantes en conditionnant les fonds à la collaboration effective des ministères |
| Les moyens de l’évaluation au NAO |
|
|
| Le NAO consacre 62 millions d’euros à l’évaluation |
| • Ce qui fait 229 personnes à temps plein sur les études et 144 qui répondent aux questions à plus court terme des parlementaires |
| • Il produit 60 rapports d’évaluation par an |
|
|
L’irréductibilité de l’évaluation
La différence entre évaluation et mesure des performances
Chaque évaluateur doit faire un choix préalable qui est de se positionner face à la philosophie de l'évaluation: cherche-t-on une évaluation qui se veut jugement, ou une évaluation qui cherche à comprendre les phénomènes observés et notamment les écarts entre les objectifs et les résultats ? Cette acception ne suppose pas nécessairement de jugement direct sur les services et les personnes, mais sur les modalités de mise en œuvre, les stratégies, les systèmes d'incitation, la logique des acteurs, la pertinence des objectifs au regard des résultats etc. En ce sens il n'y a pas d’adéquation totale entre l'évaluation des performances et l'évaluation des résultats, car les résultats ne sont jamais ou rarement le fait d'un seul acteur qui en a la maîtrise, ils ne lui sont pas imputables; n'est imputable que ce que sur quoi l'on a des leviers d'action effectifs. Or mesurer ou évaluer la performance suppose de pouvoir attribuer ce qui relève de la responsabilité propre d’un acteur. Les approches de jugement et celui de compréhension des causes ne se recouvrent pas en méthode ni en éthique. Ce point n’a pas été suffisamment débattu au moment de la mise en place de la LOLF où mesurer la performance et évaluer les résultats ont souvent été pris comme synonymes.
Le pluralisme de l’expertise
La compréhension entraîne le fait que la conduite des évaluations ne peut être de la compétence d'un seul corps ou d'une seule spécialité ou technicité, mais dépend des questions à résoudre (par exemple savoir pourquoi l'argent injecté dans les ZEP ne change pas les résultats des élèves suppose de l'analyse sociologique, des enquêtes auprès de tous les intéressés, une aptitude à évaluer les modalités pédagogiques ainsi que des compétences d’audit comptable et financier etc.). Ce point de vue est opposé à celui du haut fonctionnaire qui, parce qu'il a été recruté selon des critères très sélectifs, est supposé être omniscient.
| Un exemple : la Productivity commission (commission de la productivité) en Australie |
| Ce qui est intéressant et pourquoi il est possible de considérer que cette commission a un apport: |
| • Elle effectue à peu près six grosses évaluations par an mais sur des sujets d’importance nationale |
| • Elle compte 200 experts mais 100 sur l’évaluation, venant d’expériences professionnelles et de formation très différentes |
| • La méthode: une commande de haut niveau, et un projet problématique élaboré par la commission posant les problèmes (« papier de discussion ») |
| • Ce « papier de discussion » est rendu public |
| • Toute personne publique ou privée peut y répondre et sa réponse doit être prise en compte et publiée |
| • Des centaines d’auditions nationales, régionales et locales en fonction de l’acuité du problème sont effectuées |
| • Un texte final tenant compte de tous ces travaux est produit |
| • En général cela prend un an mais en cas d’urgence la même démarche « réduite » peut être faite en six mois |
L’apprentissage collectif des savoirs
Le choix des sujets évalués est un problème particulièrement complexe : dans les pays anglo-saxons il fait l’objet d’une consultation avec le parlement et les évalués. C’est toute la gestion difficile de l’évaluation, il n’est ni possible d’imposer brutalement des évaluations ni de laisser ceux qui ont intérêt au maintien des situations existantes décider seuls de ce qui sera évalué ou ne le sera pas. L’évaluation suppose une navigation, un travail de conviction complexe entre le consensus et la fermeté. C’est pourquoi la dimension de gestion stratégique de l’évaluation est si importante : il faut convaincre chaque acteur que s’il peut prendre certains risques il a aussi à y gagner. Cette formule pourrait être utilement étendue à l‘audit.
| Ainsi lorsqu’a eu lieu en Australie l’évaluation des dispositifs et résultats de l’action publique en matière d’éducation des aborigènes, le ministère des aborigènes était plus que réticent car il savait que le taux d’alphabétisation était très bas et que cela ferait la une des journaux. Pourtant il a été possible de le convaincre car le seul moyen pour lui d’avoir de nouveaux outils, financiers ou juridiques, pour faire avancer le problème était de procéder à l’évaluation, qui créerait un choc auquel le gouvernement aurait à répondre. |
Il est de plus en plus courant aujourd'hui d’admettre que l'évaluation, et même l’audit dans les pays anglo-saxons, est aussi un processus d'apprentissage où le fait même d'évaluer doit amener à convaincre les acteurs de faire évoluer leurs pratiques; l'apprentissage prévaut si l'on peut dire sur le rapport. Les recommandations d'une évaluation dans l'idéal devraient être intégrées par les acteurs de l’action avant même que d'être rendues publiques. Cela ne suppose aucun affadissement du travail de l'évaluateur car les désaccords entre les évaluateurs et les évalués sont débattus s'il s'agit d'une politique publique devant une commission spécialisée du parlement ou rendus publics. Apprentissage et production de savoirs et de données « décapantes » sont les deux faces de l’évaluation et de l’audit, et même s’il est complexe de tenir ces deux exigences simultanément, elles en sont part intrinsèque. En effet s’il n’y a que des conclusions même justes mais rejetées par tous il ne se passera rien dans les faits (l’inertie a toujours primat sur la décision) ; si à l’inverse les accords entre acteurs se font au détriment des questions fondamentales, chacun en sera satisfait mais la politique n’évoluera pas (par exemple débattre des seuils d’accès aux logements sociaux sans se demander s’il faut faire des logements sociaux ou s’il y a d’autres solutions)
La capacité de débat public
On entend souvent dire contre l'évaluation, qu'il y aura autant de points de vue que d'experts. En premier lieu avoir une diversité d'analyse n'est pas en soi anti démocratique. Par ailleurs l'évaluation doit couvrir une dimension objective et positiviste: produire des chiffres, des études aussi incontestables que possible, rendre compte de la perception des partenaires (il existe des techniques d'entretien plus scientifiques que d'autres). Par exemple, savoir si les 35 heures ont crée de l'emploi et quel type d'emplois ne relève pas que de l'idéologie de chaque personne. Pour autant dans nombre de domaines plusieurs points de vue peuvent être acceptables : est-il mal ou bien que des emplois aidés soient des effets d’aubaine ? L’intérêt des deux disciplines, audit et évaluation, est qu’elles supposent du débat et que si l’on pense que le débat sur le sens de l’action publique est impossible ou doit demeurer le trésor d’une élite fermée, audit et évaluation ne joueront un rôle qu’ornemental.
Il est intéressant de noter que les pays où l’évaluation est la moins conflictuelle (pays nordiques) sont des pays à forte tradition de débat public où communément les décisions d’importance sont précédées de commissions avec le spectre le plus large des partenaires et des positions possibles. La tradition anglaise des Royal commissions va dans le même sens. La légitimité de tels comités doit être suffisante pour pouvoir impulser tant de l’évaluation participative qu’externe.
Les conditions de succès de l’évaluation et de l’audit
Tout projet de loi ou toute dépense publique devraient être assortis d'une évaluation ex ante, dont l'ampleur dépend de l'objet en question mais qui doit au minimum répondre à une check List de critères ( par exemple cette mesure modifie-t-elle une mesure semblable qui a été prise il y a moins de deux ans et en ce cas pourquoi? y a-t-il des précédents et que sait-on de leur succès ou échec? comment se justifie le coût de la mesure? quels en sont les effets attendus? qui a les leviers d'action pour la mettre en œuvre? Etc.). Le but est de limiter les projets non budgétés ou à simple effet d'affichage ou sans mémoire de ce qui a déjà été fait ou est en cours. L'avantage serait de ne pas encourir le reproche de politiques ou d'actions lancées sans étude préalable.
Toute loi et tout programme devrait dans son plan de financement de mise en œuvre prévoir les crédits d'évaluation/audit et les critères (ou indicateurs lorsque cela est possible) de son évaluation. Cette pratique est déjà commune au niveau européen
Toute évaluation/audit devrait se situer dans le cadre d'un programme pluriannuel. En effet certaines questions sont trop complexes pour être évaluées d'emblée et bénéficieraient d'être tronçonnées en questions de difficulté graduelles. Par ailleurs pour pouvoir disposer des meilleurs experts et ne pas perdre de temps dans la mise en place des instances d'évaluation ou des comités de pilotage la pluri annualité est indispensable au regard du "marché" restreint de l'expertise et des charges de travail des acteurs publics.
Tout évaluation/audit doit être géré stratégiquement: anticipation de ses conclusions possibles et de leurs effets politiques et sociaux; choix du moment de lancement et de la durée en fonction des enjeux de la décision publique; choix des méthodes également adapté aux enjeux de la décision publique autant que faire se peut; vérification qu'il y a bien une attente sur le sujet évalué.
Il serait souhaitable que la Cour des comptes organise et forme une partie de ses membres à l'évaluation (sachant que certains membres considèrent certaines tâches de la cour comme devenues obsolètes)
Il faudrait de l'aide, toute politique nouvelle et l'évaluation l'est, doit être soutenue lorsqu'elle est lancée (ce qui n'a pas été le cas lors des précédentes tentatives d'évaluation en France); en l'occurrence on pourrait imaginer la création d'un organisme (où figureraient aussi les collectivités locales) qui regrouperaient des experts de haut niveau et de spécialité différente, venus de nos meilleurs organismes de recherche, INSEE, CREDOC, etc. qui seraient à même de conduire des évaluations, ce qui ferait gagner en savoir faire méthodologique;
L'évaluation devait être conduite à différents niveaux, celui des ministères et des programmes, et celui des politiques publiques interministérielles. Certaines évaluations devraient être en auto commande (Cour des comptes), d'autres en commande après dialogue, commande par exemple venue du Premier Ministre (comme les expenditure reviews au Royaume-Uni, évaluations des dépenses publiques liées à des politiques publiques) ou du parlement qui pourrait avoir un pouvoir de saisine du conseil d'administration du nouvel organisme expert.
Le rôle du parlement en matière d'évaluation pourrait être renforcé par la permanence d'une commission ad hoc en charge de la modernisation du service public (dont l'évaluation fait partie car elle permet d'éclairer les causes de réussite ou d'échec des objectifs donnés à l'administration); Ce serait l'équivalent des comités britanniques.
La difficulté réelle est politique. Dans un monde très médiatisé la mise en évidence de résultats négatifs peut se traduire par des conclusions simplificatrices mettant en cause les ministres, les services voire des individus, ce qui va à l'encontre de l'objectif d'amélioration continue. L'évaluation doit-elle au nom de son indépendance être partie prenante du jeu politique? Il paraît donc important d'exercer une certaine prudence sur le contenu et le moment où les résultats de l'évaluation sont rendus publics (ce que fait par exemple le NAO), de pouvoir annoncer en même temps que les résultats de l'évaluation les mesures de redressement correspondant aux recommandations, d'avoir des évaluations qui soulignent autant les échecs ou difficultés que les réussites. Ces trois pistes sont aujourd’hui poursuivies par les pays anglo-saxons.
Si l’on prend une position de recul un peu plus fondamentale sur l’audit et l’évaluation on arrive au postulat de la nécessité de donner « une evidence base » à nos conclusions et nos jugements, c’est-à-dire à essayer de les étayer le plus objectivement possible, ce qui en fait s’oppose aux intuitions issues de la seule intelligence même du fonctionnaire le plus brillant. Et encore plus fondamentalement c’est accepter qu’il n’y a pas qu’une seule vérité, que chacun n’est porteur ni du faux ni du vrai mais d’un peu des deux et que seul un processus de débat, « d’agir communicationnel » peut nous aider à nous approcher modestement de la connaissance et d’une meilleure action publique. Audit et évaluation sont antinomiques d’une attitude arrogance, de refus d’aider à l’amélioration concrète des politiques publiques, de prééminence de la pensée sur ceux qui font(ou l’inverse), c’est une pratique de la modestie et de l’humanisme.
Jeremy Lonsdale (National Audit Office, Royaume-Uni) et Sylvie Trosa (IGPDE, France)
