Select your country

Not finding what you are looking for, select your country from our regional selector:

Rechercher

L'IA générative : un vecteur de performance et de risques

Emilie Brochette, experte de l'IA, évoque les risques liés à la Gen AI.

L'essentiel de votre hack'tu cybersécurité

  • Des cyberattaques amplifiées grâce à l'IA générative : l'IA Gen permet aux cybercriminels d'automatiser, de personnaliser et de rendre plus sophistiquées des attaques telles que le phishing, la manipulation de contenu (deepfakes) et l'usurpation d'identité, tout en abaissant les barrières techniques pour des attaques plus rapides et difficiles à détecter ; 
  • Des risques internes via le « Shadow AI » : l'utilisation non contrôlée d'outils d'IA par les employés ou les équipes métier expose l'entreprise à des fuites d'informations sensibles, des vulnérabilités de sécurité, et à la création d'applications IA non supervisées, augmentant ainsi la surface d'attaque ; 
  • Etablir une stratégie de défense proactive : la mise en place d'une gouvernance claire, la sensibilisation des équipes et l'utilisation de solutions de sécurité spécifiques (« CASB », « DLP »« AISPM ») sont essentielles pour contrôler l'usage de l'IA générative, sécuriser le cycle de vie des applications, et tester leur résilience face à des attaques simulées.

Quand l'IA générative étend la surface d'attaque

L'IA générative (IA Gen) n’est pas seulement une révolution technologique mais aussi un puissant catalyseur qui redéfinit le paysage de la cybersécurité. Regardons ensemble les différents risques liés à son émergence. 

Des menaces externes boostées à l'IA générative

L'intelligence artificielle générative (on parle également de GenAI, d'IA Gen ou d' IA générative) n'est pas seulement une révolution technologique. Elle démultiplie la puissance des attaques traditionnelles et agit comme un accélérateur pour les cybercriminels en leur permettant : 

  • D'automatiser et de personnaliser les attaques : l'ingénierie sociale, le phishing et la fraude atteignent un niveau de sophistication et de personnalisation inédit, rendant la détection plus ardue, en s’alimentant des « traces ADN digitales » que nous laissons sur la toile ; 
  • D'abaisser les barrières techniques : la création de deepfakes audio et vidéo, désormais accessible, facilite par ailleurs l'usurpation d'identité et la manipulation à grande échelle. La GenAI rend les menaces plus efficaces, plus rapides à déployer et plus difficiles à déceler.

Le risque interne ou le double visage du « Shadow AI »

L'un des risques les plus insidieux provient de vos propres murs, souvent motivé par une quête de productivité : 

  • Le Shadow AI « utilisateurs » : l'utilisation par les collaborateurs d'outils d'IA Gen publics non approuvés est devenue massive. En soumettant des données internes - rapports, e-mails, secrets industriels, commerciaux et feuilles de route stratégiques - ils exposent l'entreprise à des fuites d'informations critiques et à des non-conformités ; 
  • Le Shadow AI « métiers » : le risque s'étend lorsque des équipes créent leurs propres applications IA Gen sans supervision par les équipes IT ou sécurité. Ces initiatives peuvent introduire des failles de sécurité majeures (vulnérabilités, mauvaises configurations, usages de données sensibles…), créer une dette technique et une surface d'attaque invisible pour vos équipes sécurité ; 
  • La génération de code : en utilisant l'IA Gen pour coder, les développeurs peuvent involontairement intégrer des vulnérabilités, du code soumis à des licences restrictives, ou même des « chevaux de Troie » dissimulés au sein de composants.

L'IA, une nouvelle cible stratégique

Lorsque la Gen AI est intégrée au cœur de vos processus, elle devient une cible de choix. Cette menace prend une dimension critique avec l'émergence de l'IA agentique. Ces systèmes ne se contentent plus de générer du contenu. Dotés de capacités de perception, de raisonnement et de planification, ils sont capables d'orchestrer différentes ressources et outils de manière autonome.

Face à la menace de l'IA générative : construire une stratégie de défense robuste

Si la Gen AI amplifie les risques, elle n'est pas une fatalité. Une approche proactive et multicouches permet de transformer ce défi en une opportunité maîtrisée. Pour les dirigeants, il ne s'agit pas d'interdire, mais de l'encadrer pour innover en toute sécurité.

Gouvernance et sensibilisation

La première ligne de défense est humaine et organisationnelle. Une stratégie de sécurité efficace commence par la définition de règles claires et la formation des équipes.

  • Sensibiliser pour responsabiliser : la méconnaissance est le premier allié de l'attaquant. Il est essentiel de former toutes les équipes, et non uniquement les experts, aux nouvelles menaces ; 
  • Evaluer pour mieux protéger : toutes les applications d'IA Gen ne présentent pas le même niveau de criticité. Il est indispensable de conduire des analyses de risques pour chaque cas d'usage afin d'adapter les mesures de sécurité. Des cadres méthodologiques reconnus comme « NIST AI RMF », « EBIOS RM » ou la norme « ISO/IEC 23894 »(1) permettent de structurer cette démarche.

Maîtriser l'écosystème de l'IA générative : les outils de sécurisation

Une fois la gouvernance établie, les solutions de sécurité existent pour la mettre en œuvre et la faire respecter à travers le cycle de vie de l'IAGen : 

  • Contenir le « Shadow AI » d'usage : pour contrôler l'utilisation d'outils externes ou « Shadow AI utilisateurs », les solutions de CASB (« Cloud Access Security Broker ») et de DLP (« Data Loss Prevention »)(2) sont fondamentales. Le CASB permet un contrôle d’accès granulaire (autoriser, bloquer, avertir) aux applications, tandis que le DLP empêche que des informations classifiées (secrets commerciaux, données personnelles etc.) ne soient transmises via ces outils non contrôlés ; 
  • Sécuriser le cycle de vie des applicatifs IA Gen ou GenAI « maison »  : l'AISPM (« AI Security Posture Management »)(3) offre une visibilité complète sur l'environnement de développement Gen AI (modèles IA, datasets, API, base de données). Il identifie les mauvaises configurations, les vulnérabilités et les chemins d'attaque potentiels, et permet aux équipes IT d’y remédier.
  • Le scan des composants Open Source (modèles, datasets) est crucial pour se prémunir contre les « backdoors » et autres malwares qui pourraient être dissimulés dans ces briques logicielles et s'activer une fois intégrés à vos systèmes.
  • Protéger les applications en production : en phase d'exécution, des solutions de filtrage des prompts agissent comme un pare-feu intelligent. Elles analysent les requêtes entrantes pour bloquer les tentatives de Prompt Injection et contrôlent les réponses sortantes pour prévenir les fuites de données.

Les solutions actuellement disponibles sur le marché évoluent constamment pour s’adapter à la fois aux nouvelles techniques d’attaque et aux usages émergents, tels que l’arrivée de l’IA agentique. Cela inclut notamment le contrôle entre agents (Agent-to-Agent) et la gestion des accès tiers, notamment via les MCP (« Model Context Protocol ») (4).

Valider pour renforcer : l'épreuve du feu

Déployer des défenses ne suffit pas. Il est nécessaire d'éprouver leur résilience face à des attaques réalistes.

  • Le Pentest d'applications d'IA générative : cet exercice de test d'intrusion est adapté pour évaluer la robustesse de vos applications IA Gen. Il vise à identifier et exploiter les vulnérabilités propres à ces systèmes afin de les corriger avant qu'un attaquant ne les exploite ; 
  • L'« AI Red Teaming »(5) : l'IA Gen ou Gen AI devient ici une arme pour simuler de nombreux variants d’attaques adverses, testant les limites de vos protections avec une efficacité et une rapidité décuplées.

Sources et notes

(1)NIS AIRMF : le « Network and Information Systems - Artificial Intelligence Risk Management
Framework » est un cadre de gestion des risques liés à l’IA dans les systèmes d’information. ; ISO/IEC 23894 : une norme internationale pour la gestion
de la sécurité et de la confidentialité dans l’utilisation de l’IA. 

(2)CASB : le « Cloud Access Security Broker » est une solution de sécurité qui agit comme un intermédiaire entre les utilisateurs et les services cloud. Son rôle principal est de contrôler, surveiller et sécuriser l'accès aux applications cloud et aux données qui y circulent. ; DLP : la « Data Loss Prevention » ou « Prévention de la perte des données » désigne les solutions et pratiques visant à prévenir la fuite ou l’exfiltration de données sensibles, y compris dans les flux IA Gen.

(3)AISPM : l’ « Ai Security Posture Management » est la gestion continue de la posture de sécurité des systèmes d’IA Gen, incluant visibilité des assets, surveillance,
conformité et réduction des risques. 

(4)MCP : le « Model Context Protocol » permet aux modèles d’IA Gen d’interagir avec des outils et données externes.

(5)AI Red Teaming : un processus qui simule des attaques réelles afin de mettre au jour les faiblesses de l’architecture, des données d’entraînement et des sorties d’un système d’IA avant que des attaquants ne le fassent.

Intelligence artificielle : Ange et démon ? 

Découvrez la deuxième édition de « Ctrl : 8 minutes pour garder le contrôle ».

Télécharger notre revue

Victime d’un incident ?

Vous faites face à une cyberattaque ?

Nos experts sont joignables 24h/24, 7j/7.

Contactez l'assistance