Qu’est-ce que la gouvernance de l’IA ?

La gouvernance de l’IA est l’ensemble des politiques, processus et contrôles qu’une organisation utilise pour développer, déployer et surveiller ses systèmes d’IA en toute sécurité et en conformité avec les réglementations. Il définit qui est responsable des décisions liées à l’IA, comment les risques liés à l’IA sont gérés et comment les systèmes restent auditables dans le temps. Une gouvernance efficace de l’IA couvre tout le cycle de vie de l’IA, de l’approvisionnement et du développement des données jusqu’à la déploiement. La gouvernance de l’IA s’applique non seulement aux modèles traditionnels d’apprentissage automatique, mais aussi aux agents d’IA modernes et autonomes.

Pourquoi la gouvernance de l’IA est-elle importante ?

Lorsque l’IA est déployée sans supervision appropriée, elle peut exposer les organisations aux risques suivants :

Fuite de données : les données sensibles ou confidentielles introduites dans des outils d’IA peuvent être conservées, exposées ou utilisées pour entraîner des modèles d’IA tiers, mettant en péril les secrets commerciaux et les informations des clients.
Résultats biaisés ou préjudiciables : les modèles entraînés sur des données incorrectes ou erronées peuvent aggraver les biais existants, produisant des résultats discriminatoires qui peuvent nuire aux utilisateurs et susciter un examen juridique.
Sanctions réglementaires : des référentiels tels que le règlement européen sur l'IA impliquent des conséquences importantes, et les organisations ne disposant pas de contrôles documentés peinent à démontrer leur conformité.
Perte de confiance des clients : un seul échec majeur de l’IA, comme une décision biaisée ou une fuite de données, peut détruire une confiance qui aurait pu prendre des années à construire.
Prolifération des identités : à mesure que les agents d’IA et l’automatisation évoluent, ils créent les comptes de service, les identités de charge de travail et d’autres identités non humaines (NHI) plus rapidement que les équipes de sécurité ne peuvent les suivre. En l'absence de gouvernance, cette prolifération des identités engendre des comptes orphelins et des chemins d'accès intraçables que les attaquants peuvent exploiter pour se déplacer latéralement et élever leurs privilèges.

L’objectif principal de la gouvernance de l’IA est d’aider les organisations à adopter l’IA plus rapidement et avec plus de confiance. Avec des directives claires, une propriété définie et une automatisation en place, les équipes peuvent innover sans avoir à se demander constamment ce qui est sûr ou autorisé lors de l’utilisation de l’IA.

Principes fondamentaux de la gouvernance de l’IA

De nombreux cadres de gouvernance de l’IA convergent autour d’un ensemble commun de principes, définissant à quoi ressemble en pratique l’IA responsable et fournissant aux organisations une norme cohérente à laquelle mesurer leurs systèmes.

Responsabilité

En définissant clairement qui est responsable des décisions et des résultats d’un système d’IA, les organisations tiennent les employés humains responsables. Par exemple, si un modèle d'IA influence une décision d'embauche ou signale une transaction, il doit y avoir un responsable ou une équipe désigné(e) capable d'expliquer le comportement du système d'IA et d'intervenir en cas de problème. En l'absence de responsabilité clairement définie, celle-ci se fragmente entre les différents services, et personne n'est en mesure de déceler ou de corriger les défaillances.

Transparence

Les décisions pilotées par l’IA doivent être comprises, auditées et expliquées aux personnes concernées. Au lieu d’opérer dans le mystère, un système d’IA bien géré documente la manière dont il parvient aux conclusions et produit une entrée claire que les auditeurs et régulateurs peuvent examiner. L’explicabilité est particulièrement importante dans des secteurs à enjeux élevés comme la santé et les services financiers, où chacun mérite de comprendre les décisions prises à son sujet.

Équité et atténuation des biais

Les organisations doivent empêcher les systèmes d’IA de discriminer des groupes spécifiques ou de perpétuer des biais intégrés dans leurs données d’entraînement. Puisque les modèles apprennent des données passées, ils peuvent reproduire et même amplifier les biais existants s’ils ne sont pas contrôlés. La gouvernance aborde cela intentionnellement en plusieurs étapes : auditer les données de formation, tester les résultats à travers les différentes démographies et surveiller les impacts disparates.

Sécurité et confidentialité

Les modèles d'IA doivent être protégés contre les cyberattaques, en veillant à ce que les données d'entraînement sensibles soient traitées correctement tout au long de leur cycle de vie. De l’empoisonnement des données à l’injection rapide, les systèmes d’IA introduisent de nouvelles surfaces d’attaque tout en traitant de grands volumes d’informations utiles. Un programme de gouvernance solide applique des principes de sécurité zero trust, qui supposent qu’aucun utilisateur ni système ne doit être implicitement fiable et que chaque demande d’accès doit être vérifiée en continu. Combiné à une gestion correcte des données et à un chiffrement solide, le modèle d’IA et les données dont il dépend peuvent être protégés.

Exemples de gouvernance de l’IA

La gouvernance de l’IA varie selon le secteur et le niveau de risque impliqué. Voici plusieurs exemples concrets montrant comment les principes d’IA ci-dessus apparaissent en pratique.

Gestion des données de santé

Un hôpital qui déploie un modèle d'IA pour aider à prioriser les cas de patients traite des informations de santé protégées (PHI) régies par des réglementations telles que la HIPAA. Dans cette situation, la gouvernance de l’IA détermine à quel point les données sensibles des patients sont anonymisées avant qu’elles n’atteignent le modèle et qui est autorisé à y accéder. Le modèle exige également que toute recommandation clinique assistée par l’IA soit explicable lorsque cela est possible et toujours soumise à un examen humain, afin que le clinicien prenne la décision finale. Une gouvernance solide permet aux professionnels de santé de bénéficier de l’IA tout en protégeant la confidentialité des patients et en respectant leurs obligations réglementaires.

Gestion du risque lié aux modèles financiers

Les banques et institutions financières utilisent des modèles d’IA pour la détection de fraude, les décisions d’investissement et le score de crédit. Un modèle défectueux peut causer des dommages financiers importants et une exposition de données contraires aux normes réglementaires. La gouvernance de l’IA dans ce contexte se concentre sur la gestion des risques des modèles en validant les modèles avant le déploiement, en documentant leur prise de décision et en surveillant continuellement les biais. La gouvernance nécessite des tests d’équité et des pistes d’audit détaillées qui prouvent aux régulateurs exactement comment et pourquoi chaque décision a été prise.

Flux de travail d’approbation d’entreprise pour les exécutions d’agents d'IA

De nombreux agents d'IA peuvent effectuer des actions autonomes comme provisionner des ressources cloud ou appeler des API, de sorte que la gouvernance garantit qu’aucun agent ne peut fonctionner sans supervision. Un flux de travail typique d’IA commence par observer le comportement d’un agent dans un environnement surveillé. Ensuite, les actions à haut risque passent par une porte d’approbation où un évaluateur désigné les approuve avant que l’agent ne poursuive. Chaque action, décision et approbation est consignée dans une piste d’audit détaillée, fournissant aux équipes de sécurité et de conformité des réponses claires sur ce que l’agent a fait et qui l’a autorisé.

Comment mettre en œuvre la gouvernance de l’IA

Voici quelques bonnes pratiques pour offrir un point de départ solide à la mise en œuvre de la gouvernance de l’IA :

Commencez par des cas d’usage à haut risque et développez progressivement. Au lieu d’essayer de gouverner tous les systèmes d’IA simultanément, priorisez les applications ayant le plus grand potentiel de préjudice, y compris celles qui gèrent des données sensibles ou agissent de manière autonome.
Ajustez la supervision au niveau de risque. Puisque tous les systèmes d’IA ne méritent pas la même surveillance, il faut appliquer une revue simplifiée aux outils à faible impact et une supervision complète aux outils à fort impact, afin de renforcer la confiance en matière de gouvernance.
Rendez la gouvernance de l'IA transversale. L’IA s’étend aux équipes juridiques, de sécurité, de conformité et d’entreprise — aucun département ne peut la gouverner seul. Des programmes efficaces réunissent ces équipes afin que tous les risques de sécurité, objectifs métier et exigences de conformité soient pris en compte dans les mêmes décisions.
Attribuez des responsabilités claires pour éviter une dilution des responsabilités.. Lorsque la responsabilité des systèmes d’IA est répartie sur plusieurs équipes, personne n’est réellement tenu responsable. Désignez des propriétaires spécifiques pour chaque système d’IA afin que les personnes soient habilitées à prendre des décisions, à approuver le déploiement et à justifier les résultats.
Considérez la gouvernance comme un processus continu. Les systèmes d’IA évoluent avec le temps, la gouvernance établie au lancement doit donc être réexaminée pour réévaluer les risques, retester les biais et mettre à jour les politiques à mesure que la technologie et les normes de conformité évoluent.
Intégrez une documentation et un suivi prêts à l’audit. Surveillez en permanence les systèmes d’IA pour détecter les anomalies, les dérives et les mauvais usages des modèles, et maintenez des entrées détaillées des décisions, des approbations et du comportement du système. Une documentation prête à l’audit permet de prouver la conformité aux régulateurs, d’enquêter sur les incidents au fur et à mesure de leur apparition et de répondre à qui a autorisé quoi et pourquoi.