B. UNE ÉVALUATION DES ACTIVITÉS DE L'AGENCE INSUFFISAMMENT TOURNÉE VERS L'EFFICACITÉ
Actuellement, l'AFSSAPS mesure davantage ses activités que son efficacité. Si, comme elle l'a elle-même noté, « l'efficacité peut se définir comme le niveau de sécurité sanitaire que l'Agence procure au public entendu au sens large (patients, usagers, professionnels...) », elle n'est pas encore véritablement en mesure de la définir.
Les réponses que l'AFSSAPS a apportées sur ce point à votre rapporteur le confirment. Elle a ainsi indiqué qu'elle pouvait rendre compte « d'une importante « activité » dans son environnement et d'un nombre croissant de questions traitées avec toute la rigueur scientifique et techniques indispensables », ce qui est particulièrement succinct. Elle renvoie certes aux indicateurs présentés dans ses rapports d'activité, mais ceux-ci sont essentiellement d'ordre quantitatif. L'Agence a d'ailleurs implicitement reconnu ce fait puisqu'elle a noté que « l'ensemble des interventions et actions de l'Agence font l'objet d'un recensement ». Il s'agit bien, en effet, d'un recensement, et non d'une évaluation. Elle cite d'ailleurs elle-même des exemples : nombre d'AMM, nombre d'autorisations temporaires d'utilisation, nombre d'observations d'effets indésirables dans le domaine des vigilances, nombre de demandes traitées au titre de la transparence et de la publicité, nombre d'établissements contrôlés et de décisions, prises à la suite de ces inspections, nombre d'analyses réalisées par les laboratoires...
L'Agence a ainsi indiqué à votre rapporteur que, « concernant les indicateurs de suivi d'activités, le directeur général n'a jamais caché que l'exercice, qualifié de pertinent et de démarche nouvelle pour l'Agence dans le rapport d'audit IGF/IGAS, d'élaboration d'indicateurs en 2001 n'est qu'une ébauche à partir des données d'activité, certes imparfaite, et d'une estimation des ressources humaines consacrées à ces activités ».
Le travail actuel le plus important repose sur la mise en place d'indicateurs opérationnels, bien qu'il soit difficile d'appréhender globalement l'efficacité des actions d'une agence dont le champ d'intervention n'a cessé de croître .
Néanmoins, des points importants ont déjà été déterminés :
1) Le but est de lier les moyens aux objectifs et de déterminer les priorités en fonction des ressources disponibles.
Les indicateurs développés visent à quantifier, lorsque c'est possible, l'activité de l'Agence. Ils permettent d'évaluer ex ante les moyens nécessaires et de définir ainsi les objectifs accessibles en fonction des priorités et des obligations. Ex post , ils permettent de confirmer l'évaluation et de modifier, le cas échéant, les orientations.
Les tableaux de bord proposés et les indicateurs qui les composent visent ainsi à objectiver le travail de l'Agence :
- dans une approche globale, permettant une compréhension de l'activité générale de l'Agence et facilitant le travail des administrateurs et des ministères de tutelle ;
- en permettant également une analyse plus fine à la demande, dans le cadre du pilotage interne à l'établissement.
2) Une logique de produit prédominant pour une meilleure lisibilité
L'établissement d'un projet de mesure de l'activité de l'Agence a été fait en tenant compte de deux logiques d'analyse de l'activité : une logique de produits et une logique par missions . Dans l'approche globale, le découpage premier est celui des produits, car il correspond aux attentes des professionnels de santé, des patients et des industriels.
L'ensemble des produits de santé pour lesquels l'Agence est compétente peuvent être identifiés et classés selon une catégorie générale d'appartenance, à savoir les médicaments, les dispositifs médicaux, produits biologiques, cosmétiques, et autres produits.
Les activités opérationnelles communes aux différentes directions de l'Agence ont été regroupées autour de six activités qui définissent à la fois les missions de l'Agence et les tâches communes aux différentes directions opérationnelles de celle-ci.
Il s'agit de : l'évaluation ; la vigilance et la gestion des alertes ; le contrôle des produits ; l'inspection ; la conception de la réglementation et des normes ; l'information et la communication.
3) Un choix d'indicateurs qui repose sur un principe de lisibilité
Plusieurs critères ont servi à sélectionner les indicateurs proposés :
• Des indicateurs simples et robustes
Les indicateurs proposés peuvent être renseignés en utilisant des données disponibles et leur recueil ne nécessite pas une adaptation importante du système d'informations. Par ailleurs, la lisibilité de l'évolution des résultats nécessite que les indicateurs définis soient stables dans le temps.
• Des indicateurs pertinents
Les indicateurs retenus donnent à voir la diversité des activités de l'Agence et doivent permettre de mettre en face de celles-ci les moyens ou ressources utilisés ou à mobiliser.
L'appropriation collective des indicateurs exige un accord de l'ensemble des utilisateurs sur leur pertinence, autrement dit que ces indicateurs soient significatifs au regard des missions et de l'activité.
• Des indicateurs interprétables
Les indicateurs sont explicables, c'est-à-dire que les données détaillées sur lesquelles ils sont fondés sont accessibles et que les résultats sont commentés.
• Des indicateurs qualitatifs
Les indicateurs portent sur les flux, mais également sur les performances, au premier rang desquelles le respect des délais impartis, qui constitue un facteur d'efficacité pour la sécurité sanitaire et qui est un service rendu aux industriels. Le délai moyen ou médian présente également un intérêt.
S'agissant des médicaments, des analyses spécifiques sont possibles. Sont d'emblée proposées des analyses sur les médicaments génériques. Sont également proposées des analyses sur les médicaments issus des biotechnologies.
Les activités quantifiées ne s'arrêtent pas à la seule activité opérationnelle de sécurité sanitaire, mais comprennent également la participation à la conception de textes, ainsi que l'activité d'expertise ou de conseil technique et scientifique à la DGS sur les domaines de son champ de compétence. Les activités européennes sont parties intégrantes du travail quotidien et seront quantifiées, en distinguant les cas où l'Agence est pilote au niveau européen, de ceux où elle est simple participante.
Il n'en demeure pas moins vrai que la tâche reste à accomplir et doit mobiliser l'encadrement supérieur de l'AFSSAPS. Ce travail est indispensable à la démarche d'un contrat d'objectifs et de moyens. L'objectif est de consolider une première série d'indicateurs à l'automne 2003 mais il est tout à fait évident que la mise en place d'indicateurs validés sera progressive et bénéficiera du développement d'outils informatiques tant pour le suivi budgétaire (ADIX) que pour les ressources humaines (CIRIL), qui avaient été planifiés et qui sont en fin de réalisation.
Cette démarche, comme l'ont rappelé les tutelles lors du conseil d'administration de mai 2003, ne peut se poursuivre qu'à partir des conclusions définitives du rapport de la mission IGF/IGAS. Le contrat d'objectifs et de moyens serait donc discuté fin 2003/début 2004. Le président et le conseil d'administration doivent s'impliquer dans la préparation du contrat avec les autorités de tutelle.
Votre rapporteur estime dès lors que le nouvel examen de la loi du 1 er juillet 1998 précitée devra prendre en compte les améliorations apportées par l'Agence à son fonctionnement, suite aux conclusions de cet audit.