10 juillet 2009

Des voitures à vivre aux voitures à conduire

Vous vous souvenez certainement du slogan qui accompagnait le lancement de la Twingo de Renault,
des voitures à vivre,
faciles à conduire, pratiques à charger, des voitures babacool s'adaptant à un style de vie très en vogue à l'époque.
Succès de la Twingo et pas encore celui de la SMART qui avait une approche différente, économique, utilitariste, facile à garer... Et donc succès pour le moins mitigé pour la SMART.
Et puis vient la déferlante des low cost Renault, celle des pays de l'Est, celles bientôt du Maroc, puis de l'Inde,.... le maître mot est le prix, l'économie.
Et puis vient le développement durable, les prix du pétrole insoupçonnés, la prise de conscience de la rareté, du prix, les PV de plus en plus chers et qu'il faut payer,. La voiture perd de son statut social pour privilégier une autre fonction essentielle et qui était presque devenue seconde, aller d'un point à un autre, en général de la maison au bureau et inversement. Un changement total de paradigme aux conséquences encore insoupçonnées: cela passe par la recherche de solutions nouvelles de transport telles que le Vélib pour de petites distances, par la vente par Michelin non plus de pneus mais d'heures d'utilisation, et chez Renault par la création d’un  département "services" qui sera chargé de réfléchir à savoir comment se positionner sur un marché où les gens ne veulent pas acheter une voiture mais veulent pouvoir en conduire une", indique-t-on chez Renault. Pour occuper ce poste, Renault a nommé Odile Kirchner, jusque-là secrétaire exécutive pour la région Amérique. "Elle sera chargée de développer de nouvelles offres de mobilité", indique-t-on chez Renault (le Monde du 9 Juillet 2009)

On est au cœur d'une rupture sociologique et technologique majeure.
Et plutôt de se battre pour maintenir en activité des chaînes qui produiront des voitures que le marché a déjà condamnées , formons nos jeunes et nos moins jeunes à concevoir et réaliser les produits et services de mobilité du futur.

Paul Ohana

Partner Paul Ohana Consultants

Président de la Commission Réforme de l’Etat

Fondation Concorde

09 juillet 2009

Les medias peuvent-ils contribuer à la réforme de l’état?

Une intéressante matinée avec Christophe Barbier directeur de la rédaction de l’Express.

Christophe Barbier balaie tout de suite cette idée préconçue que les médias seraient un pouvoir en tant que tel, le quatrième , après le législatif, l’exécutif  e le judiciaire.

Il se positionne par contre, comme un contre-pouvoir en mesure de jouer plusieurs rôles très précis dans notre vie publique:

1. Le rôle d’alerte

agissant comme un système de veille en amont, ils ont pour mission de débusquer les fausses bonnes idées, les mauvaises réformes en préparation , d’en informer l’opinion publique intéressée pour qu’elle puisse réagir et faire éventuellement barrage à cette initiative. Ceci implique bien sûr que les médias prennent une position forte .

2. Le rôle d’organisateur du débat.

Sur des sujets comme la santé, la fusion ANPE-UNEDIC, la gestion de la dette, les medias sont intervenus sur Internet, en offrant sur leurs supports traditionnels des pages de tribunes, des pages d’opinion. dans ce domaine, Christophe Barbier trouve que les medias jouent bien leur rôle.

3. Le scandale par les medias.

Les medias sont parfaitement dans leur rôle quand ils soulèvent tel excès, tel abus ou qu’ils donnent un retentissement particulier à tel rapport spécial de la Cour des Comptes.

Mais là Christophe Barbier reconnaît une faiblesse à ce rôle:

celui du zapping médiatique dû à l’actualité qui entraîne en particulier une absence de suivi des chantiers ouverts

4. le rôle inattendu de passerelle entre la vie publique et le monde du privé

Ce rôle conduisant à faire évoluer la culture de la sphère publique vers les critères de réussite, de culture de résultats, de mesure des coûts, de mesure ex ante des impacts (un rôle auquel vous le savez bien je suis très sensible)

5. et enfin dernier rôle: celui de porteur de rêve, d’utopie et de recherche de l’idéal.

J’ai pour ma part souligné deux rôles qui me paraissaient importants à remplir et dans lesquels les médias étaient défaillants

celui de pédagogue pour expliquer, clarifier des concepts majeurs de notre vie publique qui font l’objet de débats intenses alors même que les concepts n’ont pas été clarifiés

et celui de soutien à des décisions  apparemment anodines  telles que la récente constitution au sein de l’Assemblée Nationale d’un Comité d’Evaluation et de Contrôle qui n’a fait l’objet d’aucune médiatisation alors qu’il devrait changer le fonctionnement de nos institutions!

N’hésitez pas à réagir à ces propos, c’est le principe même du débat démocratique.

Bien à vous

Paul Ohana

Président de la Commission Réforme de l’Etat

Fondation Concorde

06 juillet 2009

Où l’on reparle de la mesure du bonheur

 

Selon une étude réalisée auprès de 143 pays par l’ONG britannique The New Economics Foundation le Costa Rica serait le pays le plus heureux du monde.

Je me suis réjoui de cette distinction pour un pays dont on m’a dit qu’il avait déclaré la paix au monde et qui de ce fait,  n’aurait pas de défense nationale. Ce seul critère aurait suffi à lui donner ma sympathie.

Mais le Costa Rica a d’autres cordes additionnelles à son arc. En effet les trois critères retenus pour la définition du bonheur étaient:

  • le niveau de satisfaction des habitants
  • l’espérance de vie
  • et les politiques environnementales.

Si le niveau de satisfaction est un indicateur “déclaratif”, l’espérance de vie,elle,  est mesurée objectivement; quant aux politiques environnementales elles doivent être le produit de plusieurs Grenelle comme nous savons aussi les organiser.

On ne retrouve pas par contre les indicateurs qui ont façonné et continuent à façonner notre mode de pensée tel que l’ incontournable Produit Intérieur Brut dont on souligne désormais les limites.

Cela nous ramène chez nous aux travaux de la Commission Stiglitz appelée à réfléchir sur de nouveaux outils de mesure de la richesse qui traduiraient enfin dans la réalité ce fait incontournable, à savoir que malgré les vicissitudes, la France est un pays où il fait bon vivre.

Mais cela sera sans aucun doute difficile à faire reconnaître à nos compatriotes car , très probablement , comme M. Jourdain dans ses rapports avec la prose, ils sont heureux sans le savoir!

P.S. on nous pardonnera de plaisanter sur un sujet aussi sérieux alors que la crise n’a pas fini de toucher tout un chacun, mais sans un minimum d’humour où serait le bonheur?

Quels dirigeants publics pour demain?

Pour tous ceux qui s’intéressent à l’évolution des pratiques en matière de vie-publique en France et dans différents pays de par le monde, je recommande vivement ce le numéro 31 de la revue « Perspective Gestions Publiques ».

Organisé par le département Recherche, Etudes, Veille (REV) de l'Institut de la Gestion Publique et du Développement Economique IGPDE ce numéro rend compte des 8èmes Rencontres Internationales de la Gestion Publique (25 et 26 mai) qui ont porté sur le thème :

Quels dirigeants publics pour demain ?

8 pays invités ont témoigné de leur expérience ,de leur réflexion et de réformes engagées sur le rôle et la gestion des dirigeants publics.

Vous y trouverez  les présentations des différents intervenants internationaux complétées et recadrées par des apports de grands témoins français.

Vous accèderez à cette revue de 8 pages en copiant ce lien dans la zone adresse de votre navigateur internet :

http://www.institut.minefi.gouv.fr/sections/etudes__publication/perspective-gestions-publiques/quels-dirigeants-publics-pour-/view

 

Une lecture de grand intérêt et un excellent document de référence.

30 juin 2009

L’évaluation et l’audit : l’exemple des pays anglo-saxons…Jeremy Lonsdale (National Audit Office, Royaume-Uni) et Sylvie Trosa (IGPDE, France)

L’audit, qu’est ce???

On parle toujours du rapport entre l’évaluation et d’autres disciplines, telles que l’audit et le contrôle de gestion. Hypothèse numéro un: ce différences tiennent aux définitions par nature contingentes, et surtout aux pratiques. Hypothèse numéro deux : toutes les approches sont complémentaires. Hypothèse trois : l’important est de savoir ce qui fait le propre de l’évaluation.

Qu’est ce que l’évaluation ? L’évaluation commence lorsque face à des résultats aussi objectifs que possibles (chiffres, études de cas, perceptions des usagers..) on se demande la cause de ces résultats. Or les causes dans un univers social, qui n’est pas une boite de Pétri, sont toujours complexes. Savoir par exemple pourquoi avoir mis dix fois plus d’argent dans une zone d’éducation n’a pas eu d’effet peut correspondre à plusieurs causes : le problème est-il lié aux moyens ou aux processus de mise en œuvre ? Au contenu de l’enseignement ? À l’absence de soutien parental ? Au fait qu’il s’agit des cas les plus difficiles et que donc les progrès ne peuvent être qu’incrémentaux et non spectaculaires ? Il est vraisemblable qu’une seule explication ne l’emporte pas sur les autres. L’évaluation peut-elle donner une réponse « scientifique » , absolue et univoque ? Certes pas, pas plus que la « science dure » ne donne de réponses sans être dans un système d’hypothèses et de paradigmes. Par contre elle permet d’approcher d’éléments de réponse qui améliorent une politique publique.

L’audit peut-il se substituer à l’évaluation ?

La question qui est aujourd’hui de plus grande actualité est le rapport entre audit et évaluation.

En pratique et non en théorie trois approches existent :

· l’audit comme jugement externe, de constat et non de construction de solutions et non nécessairement partagé avec les intéressés

· l’audit constructif

· l’évaluation

L’audit dont il sera question dans la suite de ce travail est l’audit avec participation des audités, des processus d’apprentissage et de mise en œuvre concrète des améliorations suggérées. (ce qui est très différent de nombreuses pratiques d’audit qui existent encore aujourd’hui).

Un exemple : l’audit des politiques publiques en faveur des aborigènes

La cour des comptes Australienne a entrepris en 1999 un audit de performance du programme « aborigènes ». cet audit a mis en évidence qu’il n’y avait aucune malversation, que l’argent était bien dépensé aux fins prévues, mais que les résultats (niveau de lettrisme, et de santé n’évoluaient pas) n’évoluaient pas. Répondre à cette question est trop complexe pour un audit. En effet différentes hypothèses peuvent être émises : une inadéquation des formes d’action à la sociologie des populations (par exemple le passage du nomadisme à l’habitat en « dur » fixe), une dispersion des moyens financiers, un manque d’écoute, des tensions entre générations etc. A ce moment une évaluation a commencé à examiner les différentes hypothèses et leur validité par des enquêtes de terrain. Une des conclusions qui en est ressortie est que toute solution n’était mise en oeuvre que si elle était acceptée par l’ensemble du clan familial et qu’elle n’apparaissait pas dénier les coutumes ancestrales. Le clan familial est donc devenu l’objet premier de travail de l’action publique.

Les différents types d’audit

Dans les pays anglo-saxons en fait il y a trois niveaux d’audit :

L’audit de régularité, les lois et textes sont-ils appliqués ? Y a-t-il malversation, fraude, illégalité ?

L’audit d’efficience si l’on peut dire qui examine si les résultats sont proportionnés aux moyens qui y ont été mis (“value for money »)?

L’audit de performance qui est plus englobant, examinant l’efficience mais aussi l’efficacité de la politique, sans pour autant toujours pouvoir rendre compte des raisons de cette efficacité ou non efficacité , mais seulement la constater, moment auquel l’évaluation entre en scène.

L’audit est régi par des normes professionnelles et il a souvent un statut juridique sous jacent. Dans le secteur public, il est mené par des organisations ayant un pouvoir statutaire. Le résultat final en est souvent une certification, une accréditation ou un quitus. L’audit de régularité ou d’efficience repose sur des preuves (alors que l’évaluation prend aussi en compte la perception des acteurs), des pouvoirs légaux solides, de règles de déontologie strictes, des normes précisément définies (surtout l’audit financier) et une grande rigueur dans les dispositions d’assurance qualité. Donc en ce qui concerne l’audit (sauf celui de performance) on se trouve dans une discipline plus « hard » de contrôle, d’inspection qui ne poursuit pas le même objectif que l’évaluation qui n’est pas la vérification mais la compréhension du « pourquoi » ces résultats » plutôt que d’autres ?

Les limites de l’audit

L’audit contribue donc à l’évaluation mais n’y suffit pas, pour des raisons essentiellement pratiques qui est que la posture d’audit porte en général sur des organisations et non des actions ou des politiques publiques et se fait dans une durée trop limitée pour comprendre les causes des « bons » ou « mauvais » résultats. L’audit permet de cibler les questions qui devront être évaluées. Mais les « vrais » résultats et impacts sont influencés par la multiplicité des actions et des parties prenantes. Les gouvernements opèrent dans une incertitude croissante et seront de moins en moins capables de concevoir les événements de façon indépendante.

Les questions qui se posent sur l’audit sont alors :

· L’audit peut-il tenir compte de l’imputabilité et l’attribuer à un ou des acteurs publics?

· L’audit peut-il gérer des partenaires et acteurs multiples ?

Par la nature même de sa commandite, l’’audit tend à préférer des critères clairs et est moins à l’aise face à l’ambiguïté que l’évaluation. L’audit est bon pour établir ce qui s’est passé, mais est-il aussi bon pour en donner les raisons ? L’échelle de temps de l’audit est souvent limitée et soumise à la pression du public et du politique pour obtenir rapidement des réponses claires ; Or ceci ne fonctionne pas avec l’échelle temporelle de programmes ambitieux sur plusieurs années. Les réponses simples ne sont pas réalistes dans le cas de programmes complexes.

Les complémentarités

Les deux disciplines pourtant se sont rapprochées au fil de leur évolution car l’audit a adopté des approches plus évaluatives, en

ü définissant ses critères de jugement avec les intéressés,

ü adoptant une attitude de dialogue et de compréhension avec eux,

ü s’impliquant dans les améliorations et recommandations préconisées, ce qui rapproche l’audit de l’évaluation.

Cela ne veut pas dire que l’audit se compromet et perd de son indépendance, les zones de désaccord avec les audités doivent demeurer claires mais qu’il ne s’agit plus d’une démarche ex cathedra, imposée, sans considération du point de vue des audités ou de la faisabilité des recommandations. Une conscience accrue des besoins de rigueur et d’attention rapproche également l’audit de l’évaluation.

En conclusion les deux techniques peuvent apprendre l’une de l’autre, par exemple :

– l’évaluation à partir des processus d’assurance qualité de l’audit

– l’audit à partir de la concentration sur l’évaluation de l’apprentissage

Audit et évaluation se rapprochent donc en méthode (dans l’idéal) ; toutefois seule l’évaluation permet de s’approcher des causes des résultats constatés dans des sociétés complexes aux interactions entre acteurs, cultures, systèmes de régulation, organisations, complexes.

Un exemple : l’évaluation faite par le NAO du programme Sure Start (aide aux enfants en difficulté) au Royaume-Uni (la première a démarré en 2001 la seconde en 2004)

Cette évaluation est à la fois un audit et une évaluation, un audit en ce sens que la bonne utilisation des fonds est examinée de même que la performance des acteurs mais qu’en même temps elle cherche a mieux préciser les objectifs de la politique publique. En l’occurrence Sure Start est partenarial, au sommet avec deux ministères celui de la santé et du social mais aussi de l’éducation qui est leader, et sur le terrain la mise en œuvre du programme associant les services déconcentrés de plusieurs ministères (santé, éducation, emploi), les collectivités locales et les associations.

L’évaluation a été partenariale et d’apprentissage

Les évaluations ont duré trois ans mais avec des réponses intermédiaires tous les ans. La durée s’explique par le fait que les propositions sont débattues et « négociées » avec les partenaires avant la remise du rapport, en prenant le temps de convaincre les partenaires.

Les normes de jugement ont été affichées dès le début (ce qui est une condition indispensable de l’évaluation et de l’audit dit constructif) :

· Quels sont les services délivrés?

· Comment ont été affectées les ressources?

· Le point de vue et les effets sur les partenaires (enfants, parents

· Le degré de coordination entre services

La méthode a été explicitée

Un questionnaire écrit auprès de 260 centres

Une enquête sur place dans 26 (enquêtes auprès de tous les acteurs) soit plus de la moitié !!!

Une fois les résultats de ces deux phases établi, une série de problèmes et de questions sont apparus

D’où la mise en place de groupes avec des experts et tous les partenaires concernés pour comprendre et proposer des solutions

Le seconde évaluation en 2004 a permis de poser des questions plus pointues car l’avancement du programme était plus net

Commencer à évaluer l’impact (ce qui n’était pas possible trois ans après)

Déterminer s’il y a des modèles de mise en œuvre alternatives , ce qui a été le cas en responsabilisant plus les collectivités locales et acteurs locaux

Affiner les objectifs pour les rendre plus pertinents, en ciblant mieux les populations à risque

Rendre les procédures de mise en œuvre plus contraignantes en conditionnant les fonds à la collaboration effective des ministères

Les moyens de l’évaluation au NAO

Le NAO consacre 62 millions d’euros à l’évaluation

Ce qui fait 229 personnes à temps plein sur les études et 144 qui répondent aux questions à plus court terme des parlementaires

Il produit 60 rapports d’évaluation par an

L’irréductibilité de l’évaluation

La différence entre évaluation et mesure des performances

Chaque évaluateur doit faire un choix préalable qui est de se positionner face à la philosophie de l'évaluation: cherche-t-on une évaluation qui se veut jugement, ou une évaluation qui cherche à comprendre les phénomènes observés et notamment les écarts entre les objectifs et les résultats ? Cette acception ne suppose pas nécessairement de jugement direct sur les services et les personnes, mais sur les modalités de mise en œuvre, les stratégies, les systèmes d'incitation, la logique des acteurs, la pertinence des objectifs au regard des résultats etc. En ce sens il n'y a pas d’adéquation totale entre l'évaluation des performances et l'évaluation des résultats, car les résultats ne sont jamais ou rarement le fait d'un seul acteur qui en a la maîtrise, ils ne lui sont pas imputables; n'est imputable que ce que sur quoi l'on a des leviers d'action effectifs. Or mesurer ou évaluer la performance suppose de pouvoir attribuer ce qui relève de la responsabilité propre d’un acteur. Les approches de jugement et celui de compréhension des causes ne se recouvrent pas en méthode ni en éthique. Ce point n’a pas été suffisamment débattu au moment de la mise en place de la LOLF où mesurer la performance et évaluer les résultats ont souvent été pris comme synonymes.

Le pluralisme de l’expertise

La compréhension entraîne le fait que la conduite des évaluations ne peut être de la compétence d'un seul corps ou d'une seule spécialité ou technicité, mais dépend des questions à résoudre (par exemple savoir pourquoi l'argent injecté dans les ZEP ne change pas les résultats des élèves suppose de l'analyse sociologique, des enquêtes auprès de tous les intéressés, une aptitude à évaluer les modalités pédagogiques ainsi que des compétences d’audit comptable et financier etc.). Ce point de vue est opposé à celui du haut fonctionnaire qui, parce qu'il a été recruté selon des critères très sélectifs, est supposé être omniscient.

Un exemple : la Productivity commission (commission de la productivité) en Australie

Ce qui est intéressant et pourquoi il est possible de considérer que cette commission a un apport:

Elle effectue à peu près six grosses évaluations par an mais sur des sujets d’importance nationale

Elle compte 200 experts mais 100 sur l’évaluation, venant d’expériences professionnelles et de formation très différentes

La méthode: une commande de haut niveau, et un projet problématique élaboré par la commission posant les problèmes (« papier de discussion »)

Ce « papier de discussion » est rendu public

Toute personne publique ou privée peut y répondre et sa réponse doit être prise en compte et publiée

Des centaines d’auditions nationales, régionales et locales en fonction de l’acuité du problème sont effectuées

Un texte final tenant compte de tous ces travaux est produit

En général cela prend un an mais en cas d’urgence la même démarche « réduite » peut être faite en six mois

L’apprentissage collectif des savoirs

Le choix des sujets évalués est un problème particulièrement complexe : dans les pays anglo-saxons il fait l’objet d’une consultation avec le parlement et les évalués. C’est toute la gestion difficile de l’évaluation, il n’est ni possible d’imposer brutalement des évaluations ni de laisser ceux qui ont intérêt au maintien des situations existantes décider seuls de ce qui sera évalué ou ne le sera pas. L’évaluation suppose une navigation, un travail de conviction complexe entre le consensus et la fermeté. C’est pourquoi la dimension de gestion stratégique de l’évaluation est si importante : il faut convaincre chaque acteur que s’il peut prendre certains risques il a aussi à y gagner. Cette formule pourrait être utilement étendue à l‘audit.

Ainsi lorsqu’a eu lieu en Australie l’évaluation des dispositifs et résultats de l’action publique en matière d’éducation des aborigènes, le ministère des aborigènes était plus que réticent car il savait que le taux d’alphabétisation était très bas et que cela ferait la une des journaux. Pourtant il a été possible de le convaincre car le seul moyen pour lui d’avoir de nouveaux outils, financiers ou juridiques, pour faire avancer le problème était de procéder à l’évaluation, qui créerait un choc auquel le gouvernement aurait à répondre.

Il est de plus en plus courant aujourd'hui d’admettre que l'évaluation, et même l’audit dans les pays anglo-saxons, est aussi un processus d'apprentissage où le fait même d'évaluer doit amener à convaincre les acteurs de faire évoluer leurs pratiques; l'apprentissage prévaut si l'on peut dire sur le rapport. Les recommandations d'une évaluation dans l'idéal devraient être intégrées par les acteurs de l’action avant même que d'être rendues publiques. Cela ne suppose aucun affadissement du travail de l'évaluateur car les désaccords entre les évaluateurs et les évalués sont débattus s'il s'agit d'une politique publique devant une commission spécialisée du parlement ou rendus publics. Apprentissage et production de savoirs et de données « décapantes » sont les deux faces de l’évaluation et de l’audit, et même s’il est complexe de tenir ces deux exigences simultanément, elles en sont part intrinsèque. En effet s’il n’y a que des conclusions même justes mais rejetées par tous il ne se passera rien dans les faits (l’inertie a toujours primat sur la décision) ; si à l’inverse les accords entre acteurs se font au détriment des questions fondamentales, chacun en sera satisfait mais la politique n’évoluera pas (par exemple débattre des seuils d’accès aux logements sociaux sans se demander s’il faut faire des logements sociaux ou s’il y a d’autres solutions)

La capacité de débat public

On entend souvent dire contre l'évaluation, qu'il y aura autant de points de vue que d'experts. En premier lieu avoir une diversité d'analyse n'est pas en soi anti démocratique. Par ailleurs l'évaluation doit couvrir une dimension objective et positiviste: produire des chiffres, des études aussi incontestables que possible, rendre compte de la perception des partenaires (il existe des techniques d'entretien plus scientifiques que d'autres). Par exemple, savoir si les 35 heures ont crée de l'emploi et quel type d'emplois ne relève pas que de l'idéologie de chaque personne. Pour autant dans nombre de domaines plusieurs points de vue peuvent être acceptables : est-il mal ou bien que des emplois aidés soient des effets d’aubaine ? L’intérêt des deux disciplines, audit et évaluation, est qu’elles supposent du débat et que si l’on pense que le débat sur le sens de l’action publique est impossible ou doit demeurer le trésor d’une élite fermée, audit et évaluation ne joueront un rôle qu’ornemental.

Il est intéressant de noter que les pays où l’évaluation est la moins conflictuelle (pays nordiques) sont des pays à forte tradition de débat public où communément les décisions d’importance sont précédées de commissions avec le spectre le plus large des partenaires et des positions possibles. La tradition anglaise des Royal commissions va dans le même sens. La légitimité de tels comités doit être suffisante pour pouvoir impulser tant de l’évaluation participative qu’externe.

Les conditions de succès de l’évaluation et de l’audit

Tout projet de loi ou toute dépense publique devraient être assortis d'une évaluation ex ante, dont l'ampleur dépend de l'objet en question mais qui doit au minimum répondre à une check List de critères ( par exemple cette mesure modifie-t-elle une mesure semblable qui a été prise il y a moins de deux ans et en ce cas pourquoi? y a-t-il des précédents et que sait-on de leur succès ou échec? comment se justifie le coût de la mesure? quels en sont les effets attendus? qui a les leviers d'action pour la mettre en œuvre? Etc.). Le but est de limiter les projets non budgétés ou à simple effet d'affichage ou sans mémoire de ce qui a déjà été fait ou est en cours. L'avantage serait de ne pas encourir le reproche de politiques ou d'actions lancées sans étude préalable.

Toute loi et tout programme devrait dans son plan de financement de mise en œuvre prévoir les crédits d'évaluation/audit et les critères (ou indicateurs lorsque cela est possible) de son évaluation. Cette pratique est déjà commune au niveau européen

Toute évaluation/audit devrait se situer dans le cadre d'un programme pluriannuel. En effet certaines questions sont trop complexes pour être évaluées d'emblée et bénéficieraient d'être tronçonnées en questions de difficulté graduelles. Par ailleurs pour pouvoir disposer des meilleurs experts et ne pas perdre de temps dans la mise en place des instances d'évaluation ou des comités de pilotage la pluri annualité est indispensable au regard du "marché" restreint de l'expertise et des charges de travail des acteurs publics.

Tout évaluation/audit doit être géré stratégiquement: anticipation de ses conclusions possibles et de leurs effets politiques et sociaux; choix du moment de lancement et de la durée en fonction des enjeux de la décision publique; choix des méthodes également adapté aux enjeux de la décision publique autant que faire se peut; vérification qu'il y a bien une attente sur le sujet évalué.

Il serait souhaitable que la Cour des comptes organise et forme une partie de ses membres à l'évaluation (sachant que certains membres considèrent certaines tâches de la cour comme devenues obsolètes)

Il faudrait de l'aide, toute politique nouvelle et l'évaluation l'est, doit être soutenue lorsqu'elle est lancée (ce qui n'a pas été le cas lors des précédentes tentatives d'évaluation en France); en l'occurrence on pourrait imaginer la création d'un organisme (où figureraient aussi les collectivités locales) qui regrouperaient des experts de haut niveau et de spécialité différente, venus de nos meilleurs organismes de recherche, INSEE, CREDOC, etc. qui seraient à même de conduire des évaluations, ce qui ferait gagner en savoir faire méthodologique;

L'évaluation devait être conduite à différents niveaux, celui des ministères et des programmes, et celui des politiques publiques interministérielles. Certaines évaluations devraient être en auto commande (Cour des comptes), d'autres en commande après dialogue, commande par exemple venue du Premier Ministre (comme les expenditure reviews au Royaume-Uni, évaluations des dépenses publiques liées à des politiques publiques) ou du parlement qui pourrait avoir un pouvoir de saisine du conseil d'administration du nouvel organisme expert.

Le rôle du parlement en matière d'évaluation pourrait être renforcé par la permanence d'une commission ad hoc en charge de la modernisation du service public (dont l'évaluation fait partie car elle permet d'éclairer les causes de réussite ou d'échec des objectifs donnés à l'administration); Ce serait l'équivalent des comités britanniques.

La difficulté réelle est politique. Dans un monde très médiatisé la mise en évidence de résultats négatifs peut se traduire par des conclusions simplificatrices mettant en cause les ministres, les services voire des individus, ce qui va à l'encontre de l'objectif d'amélioration continue. L'évaluation doit-elle au nom de son indépendance être partie prenante du jeu politique? Il paraît donc important d'exercer une certaine prudence sur le contenu et le moment où les résultats de l'évaluation sont rendus publics (ce que fait par exemple le NAO), de pouvoir annoncer en même temps que les résultats de l'évaluation les mesures de redressement correspondant aux recommandations, d'avoir des évaluations qui soulignent autant les échecs ou difficultés que les réussites. Ces trois pistes sont aujourd’hui poursuivies par les pays anglo-saxons.

Si l’on prend une position de recul un peu plus fondamentale sur l’audit et l’évaluation on arrive au postulat de la nécessité de donner « une evidence base » à nos conclusions et nos jugements, c’est-à-dire à essayer de les étayer le plus objectivement possible, ce qui en fait s’oppose aux intuitions issues de la seule intelligence même du fonctionnaire le plus brillant. Et encore plus fondamentalement c’est accepter qu’il n’y a pas qu’une seule vérité, que chacun n’est porteur ni du faux ni du vrai mais d’un peu des deux et que seul un processus de débat, « d’agir communicationnel » peut nous aider à nous approcher modestement de la connaissance et d’une meilleure action publique. Audit et évaluation sont antinomiques d’une attitude arrogance, de refus d’aider à l’amélioration concrète des politiques publiques, de prééminence de la pensée sur ceux qui font(ou l’inverse), c’est une pratique de la modestie et de l’humanisme.

Jeremy Lonsdale (National Audit Office, Royaume-Uni) et Sylvie Trosa (IGPDE, France)

Blog powered by TypePad