Elia Studio

← Tous les articles

Checklist de passage en production d'un agent IA : 24 points de contrôle

Alexandre Gon · Head of AI & CTO

24 points de contrôle sur les données, la sécurité, l'évaluation, la responsabilité, les coûts et l'adoption pour décider si un agent IA est prêt, avec une règle go/no-go.

Couverture : une porte go/no-go entre le pilote et la production

Réponse courte : un agent IA est prêt pour la production quand il passe 24 points de contrôle répartis en six domaines et que chacun des 14 points bloquants est validé. Traitez les points bloquants comme une porte go/no-go, et donnez à chaque autre écart un responsable et une date.

Définition : prêt pour la production. Le moment où une équipe peut compter sur les résultats d'un agent IA, expliquer ce qu'il a fait, limiter ce qu'il peut faire, en assumer le coût et l'arrêter sans risque.

Comment utiliser cette checklist

  1. Déroulez-la avec le sponsor métier, le responsable technique et la personne en charge de la sécurité ou de la protection des données.
  2. Répondez oui ou non à chaque point, et demandez la preuve indiquée dans la troisième colonne. Une opinion n'est pas une preuve.
  3. Appliquez la règle go/no-go à la fin. Si vous êtes encore au stade POC ou pilote, servez-vous de la checklist pour voir ce qui manque avant d'avancer.

Les 24 points de contrôle

Données

#Point de contrôlePreuve à demanderBloquant
D1L'agent a été testé sur de vrais documents ou messages, pas seulement sur des échantillons nettoyés.Un test sur un échantillon représentatif, avec la liste des échecsOui
D2Chaque source de données a un responsable nommé et une règle d'accès.La liste des sources, des responsables et de qui peut lire quoiOui
D3Les données personnelles et confidentielles sont identifiées et traitées selon vos règles de protection des données.Une courte cartographie des données, revue avec le DPOOui
D4La qualité des données est contrôlée automatiquement sur le flux réel.Des alertes sur les entrées manquantes, périmées ou mal forméesNon

Sécurité et droits

#Point de contrôlePreuve à demanderBloquant
S1Les droits sont les plus petits qui font le travail, et démarrent en lecture seule.Une liste des droits par outilOui
S2Les identifiants sont par personne, chiffrés et hors de portée du modèle.Où sont stockées les clés et qui peut les lireOui
S3Toute écriture exige une confirmation humaine pour cette action précise.Une démonstration d'écriture bloquée tant qu'elle n'est pas validéeOui
S4Les accès sont journalisés (qui, quand, quoi) sans copier le contenu, et peuvent être révoqués.Un extrait du journal et un test de révocationOui

Évaluation

#Point de contrôlePreuve à demanderBloquant
E1Un jeu de test de cas réels existe, avec les résultats attendus.Le jeu de test et le nom de son responsableOui
E2Un seuil de qualité de mise en service est validé par écrit.Le seuil et le score actuelOui
E3Les tests se relancent automatiquement après chaque changement de modèle, de prompt ou d'outil.Un historique d'exécutions de testsNon
E4Une personne examine les échecs chaque semaine pendant les premiers mois.Un journal de revueNon

Responsabilité et exploitation

#Point de contrôlePreuve à demanderBloquant
O1Un product owner nommé est responsable après le lancement.Un nom et un rôleOui
O2Un interrupteur d'arrêt existe, et quelqu'un sait s'en servir.Un test d'arrêt de l'agentOui
O3Les incidents ont un circuit : qui est alerté, qui décide, qui communique.Une procédure d'une pageNon
O4Les versions du modèle, du prompt et des outils sont suivies, et un retour arrière est possible.Un historique des versionsNon

Coûts

#Point de contrôlePreuve à demanderBloquant
C1Le coût par tâche est mesuré sur l'usage réel.Un chiffre mesuré, pas une estimationOui
C2Un budget mensuel avec alertes et plafond strict existe.Le budget et les réglages d'alerteOui
C3Le coût à dix fois l'usage actuel a été estimé.Une projection simpleNon
C4Un modèle moins cher a été testé sur les tâches simples.Une comparaison sur votre jeu de testNon

Adoption

#Point de contrôlePreuve à demanderBloquant
A1Les utilisateurs cibles et le processus que l'agent transforme sont nommés.Une courte description des utilisateurs et du processusOui
A2Les utilisateurs ont reçu une courte formation et savent ce que l'agent ne doit pas faire.Le support de formation et la liste de présenceNon
A3Une charte d'usage précise les données que l'on peut confier à l'agent.Une charte d'une pageNon
A4L'usage et la satisfaction sont suivis, avec une date de revue.Un tableau de bord ou une revue mensuelleNon

La règle go/no-go

  • Un point bloquant à non : no-go. L'agent reste en pilote, et le point manquant devient le prochain chantier.
  • Seuls des points non bloquants à non : le go est possible, si chaque écart a un responsable et une date.
  • Les 24 points à oui : go, avec une date de revue. La production est une étape, pas une ligne d'arrivée.

Pourquoi ces 14 points bloquants ? Chacun protège contre une défaillance difficile à corriger : des données erronées qui atteignent les utilisateurs, des droits trop larges, aucune mesure de la qualité, personne de responsable, aucun moyen d'arrêter l'agent, et des coûts que personne ne suit.

D'où viennent ces points

Les six domaines correspondent aux quatre fonctions du cadre de gestion des risques de l'IA du NIST (en anglais) : gouverner, cartographier, mesurer et gérer. Le NIST a aussi publié en juillet 2024 un profil pour l'IA générative (en anglais) qui recense les risques propres à l'IA générative. Les points de sécurité suivent les mêmes principes que le Top 10 OWASP pour les applications LLM (en anglais), qui inclut l'autonomie excessive, et que la spécification MCP (en anglais), qui place le consentement de l'utilisateur en premier.

Dans notre propre pilote de messagerie, ce sont les points S1 à S4 qui ont demandé le plus d'effort de conception. Le connecteur était la partie facile. Le détail est dans Donner accès à votre messagerie à un agent IA : 7 questions à poser à votre expert.

Pour l'évaluation en particulier, la checklist d'évaluation d'agents de LangChain (en anglais) est un bon complément technique pour vos ingénieurs.

Prochaine étape

Commencez par un cas d'usage réel et déroulez cette checklist avant de passer à l'échelle. Découvrez nos services ou contactez Elia Studio pour cadrer un pilote.

Questions fréquentes

Que signifie « prêt pour la production » pour un agent IA ?
L'équipe peut compter sur les résultats de l'agent, expliquer ce qu'il a fait, limiter ce qu'il peut faire, en assumer le coût et l'arrêter sans risque. Une démo qui marche sur des échantillons propres ne suffit pas.
Qui doit dérouler la checklist ?
Le sponsor métier, le responsable technique et la personne en charge de la sécurité ou de la protection des données. Répondez à chaque point avec une preuve, pas une opinion, et décidez ensemble.
À quelle fréquence refaire la checklist ?
Avant chaque passage à l'étape suivante, puis après tout changement important : nouveau modèle, nouvel outil connecté ou groupe d'utilisateurs élargi.