Select your country

Not finding what you are looking for, select your country from our regional selector:

Buscar

| Blog

IA generativa, deepfakes y deepaudios… ¿Qué amenazas emergentes podemos esperar a corto y medio plazo?

IA generativa y ciberseguridad | Orange Cyberdefense

La evolución de la IA generativa es tan rápida que está transformando la prospectiva, la vigilancia tecnológica y la implementación de contramedidas. Vivien Mura, CTO de Orange Cyberdefense, nos ofrece su visión sobre las amenazas inminentes y futuras relacionadas con el uso ilícito de la inteligencia artificial.

¿Por qué la IA generativa utilizada para crear deepfakes y deepaudios representa una amenaza para la ciberseguridad?

La gran mayoría de los ciberataques comienza con técnicas de ingeniería social, basadas principalmente en correos electrónicos fraudulentos o sitios web falsos. Hasta ahora, frente al phishing, la mejor barrera de protección consistía en concienciar y formar a las personas, enseñándoles a identificar determinadas anomalías en los contenidos (nota de la redacción: URL sospechosas, faltas de ortografía, textos o traducciones poco precisos generados por IA, uso de logotipos e imágenes de baja calidad o mal integrados, solicitudes de datos de tarjetas bancarias o cuentas bancarias para acceder a un servicio contratado o completar algún trámite, etc.). Esta era la primera línea de defensa que debía establecerse. La segunda barrera, de carácter técnico, intervenía posteriormente.

Sin embargo, la llegada de la IA generativa ha cambiado las reglas del juego. Ahora es capaz de producir contenidos tan creíbles que incluso las personas más experimentadas pueden tener dificultades para identificar un engaño. Lo que veremos en los próximos meses y años irá mucho más allá de las manipulaciones que conocemos y que todavía podemos detectar sin demasiada dificultad. Los contenidos falsos ya no se limitan al texto: ahora son «multimodales», es decir, también incorporan voz, imágenes y vídeos. La IA generativa facilita la creación de contenidos multimedia sofisticados y probablemente permitirá producirlos con mayor calidad y a un coste más reducido en los próximos meses.

Por el momento, todavía existe una limitación: para generar contenidos falsos de audio y vídeo que resulten convincentes, de forma integrada y en tiempo real, sin latencia ni fallos visuales o técnicos, es necesario recurrir a modelos de gama alta que requieren una gran capacidad de procesamiento (1). Algunas demostraciones que hemos podido observar todavía presentan irregularidades, retrasos y fallos que pueden despertar sospechas. Sin embargo, es cuestión de meses que estos contenidos sean cada vez más difíciles de distinguir de los auténticos y más accesibles, y que aparezcan herramientas listas para usar ofrecidas bajo el modelo «as a service».

Los modelos de negocio asociados a la IA cambian constantemente, sin olvidar la aparición, cada dos o tres meses, de una nueva herramienta de IA generativa que promete superar a sus predecesoras.

Estamos observando, por tanto, un ciclo de innovación que se ha vuelto extremadamente corto. Es muy probable que los ciberdelincuentes utilicen tecnologías de IA altamente avanzadas para llevar a cabo ataques sofisticados a bajo coste y sin necesidad de contar con grandes conocimientos técnicos. Ante esta situación, la concienciación ya no será suficiente, porque incluso para los expertos resultará complicado distinguir los contenidos auténticos de los falsificados.

Esto plantea un importante desafío para la ciberseguridad, ya que será necesario encontrar nuevas formas de detectar este tipo de actividades maliciosas. Podemos hablar de un auténtico punto de inflexión, de un cambio de paradigma.

En este contexto, desarrollar contramedidas capaces de hacer frente al uso malicioso de los deepfakes y las tecnologías de clonación de voz (Deepvoice) representará un verdadero desafío. Será necesario innovar rápidamente para desarrollar nuevas formas de detectar y responder a estas nuevas categorías de amenazas.

¿Qué medidas está llevando a cabo actualmente Orange Cyberdefense para identificar las contramedidas más adecuadas?

No será una única solución tecnológica la que permita hacer frente a este tipo de ciberataques, sino más bien un conjunto de contramedidas. Por este motivo, realizamos un seguimiento activo de las nuevas soluciones que llegan al mercado, las identificamos y llevamos a cabo análisis comparativos para determinar cuáles son relevantes y ofrecen resultados mínimamente satisfactorios.

El objetivo de Orange Cyberdefense es poder combinar, integrar y ofrecer estas soluciones a nuestros clientes para proporcionarles una respuesta tangible y adaptada que les ayude a detectar contenidos fraudulentos sofisticados.

Más allá de los usos fraudulentos de las tecnologías de IA generativa, ¿qué otros riesgos están relacionados con la aparición de estas plataformas?

La creciente adopción de las plataformas basadas en grandes modelos de lenguaje (LLM) aumenta la superficie de ataque e introduce nuevas vulnerabilidades. Creemos que los ciberdelincuentes comenzarán a interesarse cada vez más por comprometer las soluciones de IA. ¿Por qué? Porque estas soluciones representan una vía de acceso privilegiada a los datos y a los sistemas de información con los que están conectadas.

Pongámonos en la piel de un ciberdelincuente que, hasta ahora, aprovechaba las vulnerabilidades tradicionales para acceder a una infraestructura informática o de red. Es importante comprender que un servicio de IA está interconectado con numerosos sistemas.

Cuando los ciberdelincuentes comprendan que la vía más rápida para acceder a grandes volúmenes de datos ya no consiste en explotar una vulnerabilidad de un cortafuegos, sino en aprovechar una vulnerabilidad de una plataforma de IA, es muy probable que cambien su estrategia.

En el ámbito de la ciberseguridad, tendremos que desarrollar soluciones capaces de prevenir la explotación de este tipo de vulnerabilidades.

¿Puedes darnos varios ejemplos de vulnerabilidades inherentes a las plataformas de IA?

Las plataformas de IA son, ante todo, ecosistemas que incluyen capas de hardware y software, cada una de las cuales puede presentar vulnerabilidades. Al igual que ocurre con la nube o con cualquier otro software, estas soluciones pueden ser vulnerables si la seguridad no se integra correctamente en su ciclo de vida.

El primer riesgo es el «Shadow AI», que hace referencia al uso de recursos de inteligencia artificial no supervisados ni autorizados por la empresa. Este concepto está relacionado con el «Shadow IT». Si un empleado utiliza un chatbot comercial no autorizado por su empresa con fines profesionales, corre el riesgo de cargar datos y documentos potencialmente sensibles que no deberían salir del entorno corporativo. Por este motivo, animamos a las empresas a integrar soluciones de IA seguras para sus actividades. Actualmente están surgiendo en el mercado herramientas de detección de Shadow AI, algunas de las cuales ya hemos incorporado a las soluciones que ofrecemos a nuestros clientes.

Además, pueden aparecer otros vectores de ataque que, por el momento, se encuentran en fase de «POC» («Proof of Concept» o prueba de concepto). La «Prompt Injection» o inyección de instrucciones, por ejemplo, es una vulnerabilidad bien identificada en estas nuevas plataformas de inteligencia artificial. Consiste en elaborar un prompt, es decir, una instrucción o consulta introducida en una herramienta basada en LLM, con el objetivo de obligar a la IA a eludir sus políticas de seguridad y generar una respuesta que no estaba prevista por sus desarrolladores o por el Responsable de Seguridad de la Información (CISO) de la empresa.

Otra técnica consiste en formular una solicitud cuyo objetivo sea provocar una denegación de servicio, es decir, saturar la herramienta. La IA deja de funcionar correctamente y ya no puede responder a las solicitudes, lo que puede tener consecuencias importantes si el asistente virtual afectado debe garantizar la continuidad del servicio.

La IA pronto estará intrínsecamente vinculada a nuestra vida digital, tanto personal como profesional. Por tanto, la inteligencia artificial representa una vía de acceso privilegiada a numerosos datos y servicios, ya sean administrativos, comerciales, educativos, hospitalarios, etc. Una denegación de servicio que afecte a una IA situada en el centro de un servicio crítico supondrá un problema importante.

Por ejemplo, cada vez vemos más asistentes virtuales que se convierten en el principal punto de acceso a servicios de comercio electrónico o de atención posventa. Si estos sistemas de IA dejan de funcionar porque un ciberdelincuente consigue explotar sus vulnerabilidades, el impacto en la actividad comercial de la empresa afectada puede ser considerable.

Los actores maliciosos también pueden intentar extraer información sensible. Un ejemplo típico relacionado con una segmentación inadecuada de los datos sería el siguiente: imaginemos que una persona solicita a la aplicación de IA de su empresa que le indique el salario de su director y que, como respuesta, recibe la nómina de su superior.

También existe otro riesgo: el robo de modelos de IA, conocido como «model theft». Un modelo de inteligencia artificial no es más que una representación de una parte del conocimiento humano que contiene una enorme cantidad de datos: información protegida por derechos de propiedad intelectual y derechos de autor, datos personales, datos sanitarios e información relacionada con conocimientos técnicos especializados.

Las grandes empresas que participan en esta carrera por la inteligencia artificial señalan que el futuro no estará centrado únicamente en los grandes modelos de lenguaje (LLM), sino también en modelos entrenados con conjuntos de datos más pequeños y especializados. Esta tendencia incluye la «Agentic AI» o «IA agéntica», que permitirá realizar determinadas tareas específicas gracias a conocimientos altamente especializados, adquiridos mediante el entrenamiento con bases de datos expertas, en ocasiones confidenciales.

Es probable que los ciberdelincuentes intenten obtener información sensible mediante técnicas de extorsión. Esta información puede abarcar desde números de teléfono o cuentas bancarias IBAN, que posteriormente podrían venderse en la Dark Web, hasta datos económicos o información protegida por secretos de Estado, en el marco de operaciones de espionaje estatal o industrial.

Al «robar» un modelo de IA, un ciberdelincuente podría extraer de una sola vez una gran cantidad de datos estratégicos pertenecientes a una empresa, institución u organización.

¿Tienes alguna visión de futuro sobre otras amenazas relacionadas con el uso de estas herramientas?

En los próximos cinco años, tendremos que mantenernos muy atentos a la capacidad de estos modelos para automatizar, planificar y ejecutar escenarios ofensivos.

Es probable que el nivel de automatización aumente en diferentes ámbitos de la vida digital. Esta evolución tecnológica también podrá utilizarse con fines maliciosos. Aunque la IA todavía no ha alcanzado este grado de automatización, debemos prepararnos para que, en un futuro próximo, sea capaz de:

  • Realizar una fase de reconocimiento;

  • Identificar los activos críticos;

  • Identificar las vulnerabilidades explotables;

  • Desarrollar una cadena de compromiso;

  • Incluso crear una infraestructura de ataque;

  • Y, finalmente, llevar a cabo un ciberataque de principio a fin.

Me refiero a la elaboración de un auténtico plan de ataque que la herramienta podrá ejecutar o ayudar a ejecutar.

Esto todavía no existe… al menos por ahora, o prácticamente no. Si analizamos las capacidades actuales de planificación de la IA, siguen siendo muy limitadas.

¿Y qué puedes contarnos sobre la desinformación?

Observamos una tendencia creciente hacia la hibridación de los ciberataques, que combinan ataques técnicos «tradicionales» con ataques de carácter informativo.

Constatamos que quienes llevan a cabo este tipo de actividades suelen estar vinculados o alineados con determinados Estados, con el objetivo de desestabilizar el entorno digital de organizaciones, gobiernos y empresas. Su propósito es generar la mayor desestabilización posible, manipular la opinión pública, crear confusión y agravar las crisis.

Esta tendencia tiene su origen en varios fenómenos:

  1. El primero está relacionado con el contexto geopolítico de crisis «multipolar»: la guerra en Ucrania, el conflicto israelí-palestino, la guerra económica entre Estados Unidos y China… Estas tensiones impulsan a determinadas potencias y organizaciones criminales a recurrir a este tipo de estrategias.

  2. El segundo es la democratización de la IA generativa, que permite crear fácilmente contenidos falsos mediante herramientas prácticamente gratuitas.

Desinformación, manipulación de la información, noticias falsas (fake news)… Cualquier método puede servir para agravar una crisis y debilitar al máximo a la organización afectada.

En el ámbito de la ciberextorsión, también conocida como «Cy-X», el simple hecho de hacer creer que una organización ha sido víctima de un ciberataque, como una filtración de datos o un ataque de ransomware, puede resultar tan perjudicial como si el ataque hubiera ocurrido realmente.

De este modo, una empresa puede verse obligada, de un día para otro, a responder en las redes sociales, ante los medios de comunicación, sus socios y sus clientes, mientras lleva a cabo una investigación interna para comprobar que no se ha producido ninguna alerta, filtración de datos o ataque real.

En este caso, lo primero que debe hacer la empresa es:

  1. Verificar si la información es cierta. Esto requiere tiempo para investigar y evaluar la situación, un proceso que puede prolongarse durante una semana o incluso más.

  2. Movilizar sus recursos en dos frentes: el ámbito técnico de la ciberseguridad y el ámbito de la información y la comunicación.

Desde una perspectiva doctrinal, los países anglosajones consideran desde hace tiempo que la seguridad del entorno digital abarca tanto los sistemas de información como la propia información.

En Francia, sin embargo, ambos ámbitos se han abordado por separado: por un lado, la ciberseguridad y, por otro, la gestión de las crisis informativas.

Cabe preguntarse si este enfoque deberá evolucionar, adoptando todas las precauciones necesarias para evitar posibles abusos.

FUENTES Y NOTAS

(1) Para saber más sobre la capacidad de procesamiento necesaria para el funcionamiento de las plataformas de IA : « L’agilité énergétique au cœur des besoins de l’IA », Guillaume Gérard, ingénieur chez Orange - Hello Future, 26 mars 2025.   
Línea de atención