Gardez le contrôle sur les usages de l'IA en entreprise avec Emilie Brochette [3/4]

L'essentiel de votre hack'tu cybersécurité

• Risques liés au Shadow AI d'usage : l'utilisation non contrôlée de plateformes d'IA publiques par les employés (Shadow AI) expose les entreprises à des fuites de données sensibles, des violations de la confidentialité et des risques de gouvernance. La sensibilisation et des solutions techniques comme le contrôle des sites et la prévention des pertes de données sont essentielles ; 
• Risques liés au Shadow AI de création : la montée du « Vibe coding » permet à un plus grand nombre de personnes de développer des applications en s'appuyant sur l'IA. Sans l'aval du département IT, cela peut ajouter des failles supplémentaires au sein des systèmes d'information ; 
• Risques liés à l'émergence de l’IA agentique : l’intégration de l’IA dans les processus métiers, avec une autonomie accrue, pose des enjeux de sécurité importants, car ces systèmes pourraient devenir des vecteurs d’attaque puissants s’ils sont mal protégés ou mal contrôlés.

Intelligence artificielle en entreprise : quand les performances se font au détriment de la gouvernance

3ème épisode de notre série d’actus consacrée à l’impact de l’IA sur la cybersécurité numérique avec Emilie Brochette, IA Sec Business Program Leader chez Orange Cyberdefense. Toujours au micro de Jérôme Colombain pour l’émission « Monde numérique », Emilie aborde en détails les principaux risques auxquels les entreprises sont aujourd’hui confrontées en matière d’intelligence artificielle… Et comment s’en prémunir pour profiter pleinement des bienfaits de cette nouvelle technologie. 

Quels sont les principaux risques de l’intelligence artificielle en matière de cybersécurité ?

Au cours de cette interview, Emilie Brochette, IA Sec Business program leader chez Orange Cyberdefense, identifie trois principaux risques que les entreprises doivent connaître en matière d’IA : 

1. Le Shadow AI d’usage, que nous avions précédemment abordé sur le blog d’Orange Cyberdefense ;  
2. Le Shadow AI de création, qui tend à se développer ; 
3. Le détournement des règles et protections qui encadrent l’IA à des fins d’extraction de données ou de déni de service. 

Shadow AI : mise en lumière d’un risque majeur en matière de fuite des données

« 90 % des entreprises ont du Shadow AI », nous dit d’entrée de jeu Emilie Brochette, AI Sec Business program leader chez Orange Cyberdefense.. Le terme de « Shadow AI » désigne l’usage de plateformes d’intelligence artificielle publique au sein des entreprises. 

Et le risque pour ces dernières est bien réel. En diffusant des informations propres à l’entreprise sur une plateforme d’IA publique, les collaborateurs exposent ainsi des données pouvant être confidentielles et stratégiques. Cela pose bien évidemment un problème de gouvernance en matière de stockage et de confidentialité de la donnée. Les conséquences peuvent être multiples : infraction au RGPD, fuite de données concernant l’entreprise et / ou ses clients, pertes de propriétés intellectuelles etc. 

Le Shadow AI consiste pour vos collaborateurs à utiliser des plateformes IA publiques avec un compte personnel et gratuit, souvent sans en avoir conscience. Cela peut entraîner la divulgation d’informations sensibles, récupérées par des malveillants ou réutilisées par le fournisseur de l’IA, selon ses conditions. Les données partagées peuvent ainsi être exploitées pour entraîner la plateforme et devenir accessibles au public, explique Emilie Brochette.

Afin d’y faire face, la première ligne de défense est bien la sensibilisation des collaborateurs. Mais il existe aussi plusieurs solutions techniques pour contribuer à renforcer un usage sécurisé de l’intelligence artificielle en entreprise, comme l’installation de plug-ins, qui vont pouvoir contrôler les sites consultés, que ce soit des plateformes fournies par des « pure players » ou des sites qui ont intégré de l’IA. 

Couplée avec du DLP (Data Loss Prevention), l’IA générative va pouvoir scanner les documents et en faciliter la gestion des droits d’accès, précise Emilie Brochette.   

Enfin si le groupe Orange propose aujourd’hui « Live Intelligence » à ses clients, c’est précisément pour apporter un cadre sécurisé pour limiter ce type d’usage sauvage et risqué pour les intérêts des entreprises et des organisations. 

Vibe coding : un développement à suivre de (très) près

Le code fait partie des langages avec lesquels sont entraînés les plateformes d’IA. En s’appuyant sur les LLM, il est désormais possible pour une plus grande partie de la population de développer soi-même un petit logiciel ou une application. C’est ce que l’on appelle le « Vibe coding ».  

Avec le Vibe coding, nous rentrons petit à petit dans l’ère du « tous développeurs ». C’est ce que j’appelle le Shadow AI de création. Le risque ? Les entreprises doivent composer avec des personnes n’ayant pas connaissance des règles de sécurité élémentaires face à la donnée et qui se mettent à créer de leur propre chef de nouveaux systèmes d’IA au sein même du système d’information détaille Emilie Brochette. 

Une fois de plus la sensibilisation est primordiale et il existe également des technologies qui peuvent être installées dans la partie Cloud pour en scanner le périmètre et relever l’existence d’outils non répertoriés. 

Détourner l'IA : sport favori des cybercriminels ?

Les plateformes et chatbots IA sont encore jeunes. Et si leur déploiement tend à être encadré par des règles, détourner ces mêmes règles est devenu une sorte de jeu pour les cybercriminels. 

Les attaquants peuvent par exemple rendre un chatbot de service inopérant en lançant une attaque de type DDOS, qui peut impacter les revenus et la réputation d’une marque ou d’un service. Ils peuvent également détourner une plateforme ou un chatbot à des fins d’extraction de données, développe Emilie Brochette.  

Et puisque les LLM sont liés à l’apprentissage et aux interactions langagières, il n’est pas si surprenant d’apprendre que l’usage d’un langage précis peut servir à en détourner les fonctionnalités.    

Le décalage entre l’entraînement des modèles de langage, basé sur divers langages et les protections sémantiques traditionnelles a permis aux cybercriminels d’utiliser un langage plus codifié pour contourner ces mesures. En réponse, des garde-fous, ou « Guardrails », ont été progressivement instaurés, analyse Emilie Brochette.

Il est également possible de manipuler « psychologiquement » ces plateformes. 

Si vous dites tout de go à une plateforme « Je veux créer un malware », il y a de fortes chances que celle-ci n’abonde pas dans votre sens. Mais si vous lui expliquez que vous êtes journaliste ou un scientifique et que tout cela est purement à des fins d’enquête ou d’étude, il est possible de contourner ses garde-fous et d’arriver à vos fins. Ces phénomènes tendent à se réduire parce que les éditeurs ont intégré ce biais dans le développement de leurs plateformes. Mais les attaquants continuent d’en tester les limites, renchérit-t-elle. 

A quoi faut-il s'attendre avec l'IA agentique ?

On parle de plus en plus de la démocratisation de l’AI agentique (ou « Agentic AI ») comme la seconde grande étape de l’évolution de l’IA. Quels sont les risques associés à cette nouvelle étape de l’intégration de l’intelligence artificielle dans le quotidien et l’activité des entreprises ? 

Aujourd’hui, l’IA agentique relie les capacités de l'IA générative aux besoins métiers en s’intégrant à des outils comme Active Directory, Outlook ou Salesforce. Elle peut automatiser et exécuter des actions dans le système d’information, devenant de plus en plus autonome. Elle va être en capacité de raisonner, planifier et agir. Toutefois, ce niveau d'interconnexion et d'autonomie au sein du SI soulève des enjeux de sécurité en cas d'attaque, selon Emilie Brochette.

En attendant la quatrième et dernière partie de notre série sur les enjeux de cybersécurité à l'ère de l'IA, vous pouvez : 

• Retrouver l’intégralité de l’interview d’Emilie Brochette en vidéo à la fin de cet article ;  
• Regarder le second épisode avec l’interview de Kader Seddak, Directeur Commercial IA et Cloud chez Orange Cyberdefense ; 
• Regarder le premier épisode avec l’interview de Vivien Mura, CTO d’Orange Cyberdefense ; 
• Consulter le second numéro de notre revue quadrimestrielle « Ctrl », accessible via l’encart ci-dessous.