Le retour d'expérience : histoire, enjeux, limites, avenir

Pilier de la sûreté de fonctionnement et de la maîtrise du vieillissement, le REX a démontré son utilité dans l'aide à la conception ou à la protection de l'environnement. Quant à la R&D, elle y trouve une formidable source de progrès et d'innovation, qui garantit au REX un avenir radieux...

Le retour d'expérience répond à de nombreux enjeux industriels. En tout premier lieu, la sécurité et la sûreté (gestion des risques, homologation, évaluation probabiliste de la sûreté). Il participe aussi activement à la maîtrise de la disponibilité, de la performance industrielle, de la qualité et de la compétitivité du produit (marketing, services rendus, connaissance des coûts, rentabilité...). C'est un des piliers de la sûreté de fonctionnement (optimisation de la maintenance, réduction des coûts de maintenance, soutien logistique...) et de la maîtrise du vieillissement (durabilité, prolongation de l'exploitation). Il est utile à l'aide à la conception ou à la protection de l'environnement, et la R&D y trouve une formidable source de progrès et d'innovation. Le retour d'expérience est donc stratégique pour les industries et doit donc s'intégrer dans le système d'information de ces dernières.

Le « retour d'expérience » : quelques définitions

Trouver une définition consensuelle du retour d'expérience dans la documentation technique est une tâche bien embarrassante : on peut en effet en trouver une cinquantaine...
Chacun a la sienne, selon sa fonction et sa thématique de travail. Le tableau 1 donne quelques définitions, toutes pertinentes mais au final incomplètes.
Le tableau 2 met en lumière la pluridisciplinarité, caractéristique du retour d'expérience. Signalons que le REX nécessite de nombreuses compétences concernant la maîtrise des risques, la connaissance des données, l'expertise, la collecte, l'analyse et surtout le processus d'animation.

Il existe différentes bases de retour d'expérience :
- le retour d'expérience « événementiel » : accidents, incidents...; impacts sur la sûreté et la disponibilité ; impacts des facteurs humain et organisationnels ;
- le retour d'expérience technique, « matériel » : défaillances, dégradations... ; impacts sur la sûreté, la maintenance, la durabilité, l'aide à la conception ;
- les données de surveillance, issues de la maintenance conditionnelle ; optimisation de la maintenance, durabilité, protection de l'environnement ;
- les données d'inspection et de contrôle ; analyse de dégradations ;
- les statistiques de fonctionnement.

Certaines analyses spécifiques de retour d'expérience, mises en oeuvre lors de situations importantes, concernent principalement les analyses de grands accidents, des facteurs humain et organisationnel, de sûreté et de maintenance, mais aussi de comportement de matériaux.

Petite histoire du retour d'expérience

Comme M. Jourdain, nous faisons du retour d'expérience depuis notre plus tendre enfance sans le savoir.
Depuis les temps les plus reculés, l'homme bâtit son futur sur les acquis du passé ; il conçoit et construit des méthodes et des outils qu'il met au point et qu'il améliore en les utilisant. Les résultats de ses expériences heureuses ou malheureuses ont été transmis aux générations futures, par oral puis par écrit. Une masse énorme de connaissances s'est donc accumulée depuis la Préhistoire, même si certaines connaissances ont été oubliées lorsqu'une des phases de la transmission n'est pas accomplie correctement, ou lorsque, par paresse, le retour d'expérience est déclaré fastidieux, sans intérêt et peu rentable, ou lorsque l'homme refuse son passé, ses erreurs, pour des raisons idéologiques, philosophiques ou religieuses.

Tableau 1 - Quelques définitions extraites de la documentation technique

Tableau 2 - Les domaines impliqués par le retour d'expérience

La transmission du retour d'expérience a longtemps été orale ; ce n'est que relativement récemment, à propos de démographie (mais aussi de statistique, de gestion des compétences), que naît le retour d'expérience écrit. La trace la plus ancienne est très probablement la demande de Dieu à Moïse de recenser les tribus d'Israël (les Nombres). Il faudra encore attendre de nombreux siècles pour comprendre l'intérêt de l'utilisation du retour d'expérience et pour l'exploiter de façon pertinente, aussi bien qualitativement que quantitativement. De nos jours, le rôle du retour d'expérience n'est pas encore compris par tous. Pourtant, tout ingénieur commence son étude d'analyse de risque et de sûreté de fonctionnement par la collecte, la validation, l'analyse et l'interprétation du retour d'expérience.

Lors des grandes persécutions de la fin du IIIe siècle, Arnobius (Arnobe l'Ancien) veut réfuter les graves accusations à l'égard des chrétiens. Il met en place le premier retour d'expérience écrit « accidentologique ». Il énumère toutes les catastrophes qui ont frappé le monde, depuis les invasions des sauterelles jusqu'à l'enlèvement de la belle Hélène ou les tremblements de terre, et à la chute de l'Atlantide, en faisant remarquer que les chrétiens n'y sont pour rien.
Ce retour d'expérience se trouve dans son ouvrage Adversus nationes. Il est aussi le premier à utiliser l'argument du pari que développera plus tard Pascal.
Au Moyen Âge, les moines des abbayes relatent les événements naturels qu'ils observent. Leurs chroniques seront analysées au XXe siècle pour se prémunir des effets des catastrophes naturelles.

Un livre, publié en 1662, analyse les registres de mortalité, dans le but d'anticiper la propagation de la peste bubonique.
Son auteur, John Graunt (1620-1674), est un mercier de la banlieue de Londres. Il développe les toutes premières méthodes de la statistique et de la démographie ; il organise les méthodes de recensement qui restent le fondement des méthodes modernes de la démographie. Les travaux de Graunt aboutissent à la première étude statistique d'estimation de la population de Londres. John Graunt compile systématiquement les naissances et les décès, détermine les nombres d'individus de chaque sexe, de chaque condition, de chaque âge, de chaque religion, de chaque métier, invente l'étude de marché, fournit aux armées les estimations concernant l'enrôlement des hommes, étudie les causes de mortalité, les crimes, les maladies, les épidémies, les victimes de la peste, la fréquence des accidents sur le lieu de travail, etc. Sa démarche est exemplaire, son apport à l'analyse de risque est impressionnant. On peut le considérer comme le père du retour d'expérience moderne, tel qu'on le pratique à l'heure actuelle. On entre avec lui dans le problème des données qui sont la matière première de la maîtrise des risques. Il est le premier à collecter des données brutes, à les trier, à les valider.
C'est la première fois qu'on se sert d'échantillons pour analyser les données et qu'on a recours aussi systématiquement à l'analyse des données observées.
Il transforme la simple collecte d'informations en un instrument complexe permettant de comprendre et d'interpréter.

Le statisticien belge Adolphe Quetelet (1796-1874) apporte une pierre essentielle au traitement et à l'analyse du retour d'expérience. Il a très largement contribué à l'analyse statistique : d'une part à l'organisation de la collecte et à la mise en forme de données quantitatives, d'autre part à l'analyse et à l'interprétation de données au moyen d'outils statistiques.
Son importance réside également dans la mise en évidence, dans tout domaine d'étude, de la présence de nombreuses causes enchevêtrées, impossibles à recenser de manière exhaustive, ce qui implique de raisonner en probabilité, et aussi dans la promotion des sciences sociales et de l'utilisation des statistiques pour l'interprétation, tant dans les sciences humaines (sociologie, économie) que dans la gestion politique du monde social.

Le développement du retour d'expérience va de pair avec le développement de la maîtrise des risques. Le retour d'expérience est en effet le matériau de base indispensable à toute étude de maîtrise des risques et de sûreté de fonctionnement. C'est dans les années 1930 qu'apparaissent les premiers retours d'expérience structurés, à propos de séismes et de leurs effets et de performances des matériels aéronautiques. Les années 1940 à 1960 vont voir se développer le retour d'expérience technique, essentiellement pour des raisons politiques et militaires, mais aussi à cause de l'apparition de la toute nouvelle industrie électronique. C'est à cette époque qu'est publiée la très célèbre norme (et recueil) toujours d'actualité, la Mil-Std 217 - Reliability prediction of electronic equipment.
En France, le Centre national d'études des télécommunications est le premier à s'impliquer dans le retour d'expérience.

Les années 1960-1970 sont une période d'intense production dans le domaine du retour d'expérience, pour trois raisons principales :
- l'essor de l'économie de marché : le concept de qualité (apparu en 1965) incite les industries grand public à améliorer leurs produits pour des raisons de compétitivité ;
- le risque technologique majeur : les industries dites dangereuses (chimie, gaz, nucléaire, pétrole) doivent homologuer leurs installations, réaliser des évaluations probabilistes de sûreté. La première étude (le Wash 1400) est publiée en 1975 ;
- l'avènement des ordinateurs qui vont permettre d'informatiser les bases de données et faciliter leur traitement.

De nombreuses bases de données voient le jour mais disparaissent très rapidement. On se focalise sur la collecte, oubliant les objectifs, les problèmes de confidentialité, l'analyse.

C'est au début des années 1980, d'ailleurs, que la thématique « banques de données » devient effectivement le retour d'expérience. C'est aussi dans ces années, à la suite de l'accident de Three Mile Island (1979), que le retour d'expérience commence à s'intéresser au retour d'expérience facteur humain puis, un peu plus tard (après l'accident de Challenger en 1986), au retour d'expérience organisationnel. À la fin de la décennie, la donne change. Le retour d'expérience était ciblé sur le seul objectif de sécurité. Les méthodes dites risk-based ou risk-informed montrent que le retour d'expérience est également essentiel pour améliorer les performances et assurer la compétitivité, que les données utilisées pour la sûreté peuvent l'être aussi pour des objectifs de rentabilité. Le retour d'expérience jusqu'alors coûteux permet désormais des gains. Ces méthodes, d'abord appliquées avec succès à l'optimisation de la maintenance, mère de la sécurité, ne sont efficaces que si le retour d'expérience est de qualité ; elles vont donc grandement contribuer à l'amélioration de la collecte des données.

Dans les années 1990, les méthodes de sûreté de fonctionnement se généralisent. Les clauses de sûreté de fonctionnement et les pénalités apparaissent dans les contrats industriels. Les analyses de risque prennent en compte de plus en plus le facteur humain, en exploitation pour les aspects de sécurité mais aussi en phase de conception. Tous les secteurs industriels sont maintenant concernés, qualité, compétitivité, sûreté, aversion au risque, protection de l'environnement obligent. La méthodologie du retour d'expérience technique se consolide. On ne se contente plus de collecter. Les analyses sont de plus en plus nombreuses.
Le retour d'expérience n'est plus dépensier.
Il procure des gains de performance à ceux qui ont cru et investi dans son développement. Les méthodes d'intégration de la sûreté de fonctionnement et du retour d'expérience dans la conception d'un produit sont maintenant systématiquement utilisées par de nombreux secteurs industriels. Les années 1990 sont des années de consolidation de la méthodologie du retour d'expérience.

À la fin des années 1990 et à la suite de l'accident AZF de Toulouse (2001) apparaissent d'autres préoccupations, impulsant le retour d'expérience :
- une nouvelle dimension : il reste difficile de traiter les événements humains ou organisationnels ; le rôle de l'homme est mal compris ou négligé ; les fiches de données sont souvent focalisées sur les causes et conséquences ; les mesures prises, de prévention ou de protection, sont rarement explicitées ; enfin, la dynamique du déroulement d'une décision n'est jamais prise en compte : le retour d'expérience ne relate pas le « pourquoi » ni le « comment » des décisions prises ; une nouvelle façon de collecter les faits doit donc être étudiée ;
- le retour des méthodes liées à l'utilisation du langage naturel, probablement parce que l'analyse par text mining est maintenant plus aisée. Ces méthodes sont sans aucun doute l'avenir du retour d'expérience, à la fois pour la facilité de la collecte, pour la qualité des données, pour les possibilités d'analyse ; des premières tentatives sont déjà réalisées pour recenser les incidents aériens ;
- le retour d'expérience analogue : les données étant de plus en plus rares, comment enrichir l'information par l'examen du retour d'expérience analogue de systèmes de même fonction dans des conditions d'exploitation / maintenance / environnement sensiblement identiques ? Comment enrichir l'information par l'expertise ?
- le besoin d'analyser les risques à tous les niveaux et le recours à des méthodes nouvelles de cartographie de risques, d'élicitation d'expertise, de réseaux bayésiens pour l'identification des variables importantes (sur lesquelles il conviendra de consentir un gros effort de retour d'expérience), pour la détermination des mesures de maîtrise des risques (par recherche des options possibles dans les bases de retour
d'expérience) et pour l'aide à la décision ; - l'estimation de la durabilité pour une prolongation de la durée d'exploitation. Cette préoccupation touche tous les secteurs industriels à investissement lourd ; cette estimation ne peut être effectuée sans analyse du retour d'expérience (loi de dégradation, comportement fiabiliste, facteur d'usage...) ;
- l'optimisation de la gestion du cycle de vie d'un bien. Qu'il s'agisse des méthodes d'optimisation technico- économique - dites d'asset management (gestion des actifs industriels)
- ou de l'utilisation de méthodes nouvelles d'aide à la décision, d'ailleurs fondées sur les principes énoncés au XVIIIe siècle par Daniel Bernoulli, ces méthodes nécessitent de nombreuses informations de retour d'expérience, notamment pour déterminer la fiabilité, facteur prédominant dans la décision ;
- les risques naturels et environnementaux. La protection de l'environnement et le réchauffement climatique, à qui l'on attribue nombre de catastrophes naturelles, obligent les organismes publics, les collectivités et les industriels à développer ce retour d'expérience.

Le retour d'expérience investit de nombreux nouveaux secteurs : la santé (essentiellement pour des raisons de qualité des soins), l'agroalimentaire, la géographie, les risques naturels, les risques sociétaux.
On ne s'intéresse plus qu'aux seuls grands incidents mais aussi à tous les petits incidents qui peuvent s'avérer être précurseurs d'incidents plus graves et qui nuisent également à la disponibilité et aux résultats économiques.

Les limites liées au retour d'expérience

Le REX présente cependant de nombreuses difficultés et limites.

La motivation et l'implication des acteurs du REX constituent une première difficulté. Il serait tentant de considérer que les décideurs sont aujourd'hui convaincus de l'intérêt du retour d'expérience. Rien n'est moins sûr, et de nombreux industriels ignorent encore la qualité et la maîtrise des risques. Le décideur est le premier des acteurs les plus difficiles à convaincre ; le second est l'agent chargé de la collecte et de la validation, qui ne comprend pas l'utilité d'un tel travail - imposant l'idée d'un retour du retour d'expérience pour le convaincre et le motiver !

Cependant, dans le cas d'un REX lié à la sécurité/sûreté, la description d'incidents mettant en évidence des responsabilités, engendrant la peur de la sanction, peut poser un problème juridique et nuire à la qualité des données.

L'innovation est également une difficulté. Les délais de développement des biens sont de plus en plus courts. Le retour d'expérience des biens en exploitation est également court, réduisant les effets possibles d'amélioration. On assiste à une course entre l'innovation où l'on dispose de peu de données pertinentes et l'exploitation où les durées de collecte deviennent insuffisantes pour une démarche de progrès.

Certaines critiques reprochent au REX sa vision rétrospective : il retranscrirait un passé qui ne saurait se reproduire dans le futur. En fournissant une image objective des faits effectivement observés, le REX s'avère, c'est vrai, insuffisant pour établir une prévision ; il reste cependant nécessaire pour préparer l'avenir et orienter la décision vers quelques solutions qu'il permet de choisir parmi un éventail quasi infini de possibilités.

Conclusion et perspectives de R&D

Le retour d'expérience nécessite un investissement lourd - à la mesure des gains potentiels. Indispensable à toute analyse de risque, le REX est l'affaire de tous, quelle que soit sa fonction. Tout ingénieur de maîtrise des risques s'est trouvé, se trouve ou se trouvera confronté à des difficultés liées au retour d'expérience. Il est stratégique dans le système d'information des entreprises. C'est un domaine orienté à la fois vers le terrain, avec des enjeux opérationnels (notamment ceux liés à la collecte de données exhaustives, justes et pertinentes), vers la R&D, avec de nombreuses perspectives à court et moyen terme. Le retour d'expérience est un enjeu opérationnel difficile puisqu'il s'agit de convaincre un décideur de faire adopter une démarche, de former, de motiver, d'accompagner. Le REX s'avère d'application plus difficile que son développement.
Chacun a rencontré ce problème dans son métier, lorsqu'il s'agit de mettre en place de nouvelles méthodes, de nouvelles pratiques, de nouvelles organisations. Si le REX offre de trop nombreuses pistes de recherche pour qu'il soit possible de toutes les citer, certaines voies semblent prioritaires :
- assurer une cohérence, par le retour d'expérience, entre les différents thèmes de la sûreté de fonctionnement : sûreté, maintenance, durabilité, conception, soutien logistique et systèmes de gestion des données techniques (CAO) des installations ;
- faciliter l'enquête et la recherche d'informations sur site ;
- optimiser la collecte du retour d'expérience, en limitant autant que possible les périodes de collecte ou en choisissant de suivre quelques lots d'items, tout en veillant à la bonne représentativité des choix effectués et en sachant que les entités importantes pour la sécurité ou la compétitivité doivent de toute façon être surveillées de façon continue ;
- développer l'utilisation de techniques permettant de compléter ou d'enrichir le retour d'expérience (utilisation du retour d'expérience analogue, de l'expertise, de démarches bayésiennes, possibilistes...) ;
- développer les méthodes d'accès, de classement et de traitement liées au langage naturel, ce dernier étant le plus sûr moyen d'accéder aux données, de les retrouver, de garantir leur qualité, de les classifier ;
- développer les statistiques des petits échantillons ;
- développer les méthodes fréquentielles et bayésiennes de calcul de la durée de vie d'un matériel, afin d'étudier son comportement et d'optimiser les périodes de maintenance préventive ;
- permettre l'analyse quantitative des facteurs humain et organisationnel ;
- développer les bases de retour d'expérience positive, qui doivent contenir le savoir-faire, les enseignements du retour d'expérience, les connaissances.

Le retour d'expérience a donc un bel avenir...