1 von 4 – Mit GenAI vorankommen

Einleitung

Wir erleben eine wahrhaft beeindruckende Zeit des technologischen Fortschritts und der damit verbundenen Wunder. Die letzten 25 Jahre waren geprägt von einem explosiven Wachstum im Informationstechnologiesektor, das die Globalisierung weiter beschleunigte. Maßgeblich getrieben wurde dies durch das Internet und die Mobilfunktechnologie.

Fortschritte in der Künstlichen Intelligenz (KI) seit 2017 haben zahlreiche Innovationen hervorgebracht. Durchbrüche wie die Transformer-Architektur für neuronale Netzwerke führten zur Entstehung von Generative Pre-Trained Transformer (GPT)-Modellen, die wiederum zu Generative AI (GenAI)-Apps wie ChatGPT führten. Die Welt ist fasziniert von den enormen Investitionen in diese „magische“ Technologie. Die Ausgaben werden voraussichtlich innerhalb von fünf Jahren die 200-Milliarden-Dollar-Marke überschreiten. Damit Schritt zu halten, ist anstrengend, aber auch aufregend.

Wir planen eine Blogserie zum Thema KI. Dieser Einführungsblog ist in zwei Teile gegliedert.

Im ersten Teil fassen wir unsere Veröffentlichungen aus dem Security Navigator 2025 zusammen. Der nächste Teil untersucht ausführlich, welche Auswirkungen KI auf die weltweite Produktivitätssteigerung haben könnte.

Wenn Sie die Security Navigator 2025 Artikel zum Thema KI bereits gelesen haben, können Sie die nachfolgende Zusammenfassung gerne überspringen.

Zusammenfassung des Security Navigators 2025

Im Kapitel „Research: Artificial Intelligence What’s All the Fuss“ des Security Navigators 2025 haben wir die Auswirkungen von KI auf die Cybersicherheit und ihre Bedeutung für defensive und offensive Anwendungen detailliert dargestellt. Dabei wurden die Auswirkungen auf Wirtschaft, Technik und Gesellschaft betrachtet.

Die Menschheit hat schon immer von der Entwicklung von Werkzeugen profitiert, und GenAI verspricht, unsere Fähigkeiten zu erweitern – ob im Guten wie im Schlechten. Der Artikel des Security Navigators 2025 verdeutlicht, dass neue Technologien asymmetrische Auswirkungen auf die Sicherheit haben und somit zunächst den Angreifer begünstigen. Dabei geht es nicht um Cybersicherheit, sondern darum, dass jede neue Technologie versucht, Features und Funktionen zu erweitern, um die Akzeptanz zu steigern, während Sicherheit und Schutz hinterherhinken müssen.

Angreifer mit Verbindungen zu Regierungen nutzen LLMs (Large Language Models) bereits für verwerfliche Aktionen, um Social Engineering durchzuführen oder Inhalte besser zu verstehen. Diese Aktivitäten haben sich auf die Welt der Cyberkriminalität ausgeweitet, ebenso wie Kriminelle, die Echtzeit-Deepfake-Funktionen nutzen, um Video und Sprache zu synthetisieren und so ihre Opfer zu täuschen.

GenAI kann auch zum Schutz eingesetzt werden. Im Artikel des Security Navigator 2025 spekulieren wir über einen möglichen Anwendungsfall, bei dem eine Gruppe von LLMs gemeinsam Schwachstellen in Systemen analysiert und anschließend Patches zum Schutz vor Systemausnutzung entwickelt. Diese Idee ist an sich nicht neu (vgl. DARPA Awards und die DARPA AI Cyber ​​Challenge) und birgt viele potenzielle Vorteile für die Entwicklung sicherer Software. Es bleibt zu hoffen, dass diese Technologie verfügbar ist, bevor sie für böswillige Zwecke eingesetzt wird. Im Security Navigator 2025 wird der folgende positive Kommentar zu dieser Zukunft getätigt:

Die Vorstellung, dass Angreifer solche Aktivitäten häufiger oder einfacher ausführen könnten, gibt Anlass zur Sorge, erfordert aber nicht unbedingt eine grundlegende Änderung unserer Sicherheitspraktiken und
-technologien.

Die Einhaltung bewährter Branchenpraktiken durch rigorose Risikobewertung und Bedrohungsmanagement in Ergänzung zu Schwachstellenmanagement wird sich für Unternehmen als vorteilhaft erweisen. Das Tempo, mit dem dies geschieht, wird jedoch zunehmen, und die Reaktionslatenz muss dem entsprechen. Mit gleichen Waffen kämpfen – das Wettrüsten in der KI-Energietechnologie hat begonnen.

Einführung von KI

Viele Unternehmen setzen KI eifrig ein. Dieser Eifer scheint getrieben zu sein durch das Versprechen von Effizienzsteigerungen, das Entdecken neuer Möglichkeiten und die Aussicht, zwischen all den mit „KI-gestützten“ Slogans werbenden Konkurrenz relevant zu erscheinen.

Diese Begeisterung für die frühzeitige Förderung von KI hat seinen Preis. Große Unternehmen mit etabliertem IT-Service-Einkauf sollten erfahren und in der Lage sein, KI-gestützte Software-as-a-Service (SaaS)-Abonnements zu integrieren. Die Risiken, die mit der Weitergabe proprietärer und sensibler Informationen an einen Drittanbieter-GenAI-SaaS verbunden sind, sind für Unternehmen nicht trivial, und wer sich mit Compliance und Vorschriften in diesem Bereich nicht auskennt, kann später auf Herausforderungen stoßen.

Andererseits ist KI ein überzeugendes und attaktives Geschäftsmodell für Unternehmen, die mit großen Cloud-Anbietern wie GCP, AWS und Azure zusammenarbeiten. Die Herausforderung besteht jedoch darin, Daten angemessen zu kennzeichnen und zu klassifizieren, um sicherzustellen, dass die weniger privilegierten und nur nach dem Need-to-know-Prinzip geschützten Kontrollen bestehen bleiben.

Auch die soziale Verantwortung von Unternehmen und die Einhaltung von Emissionsvorschriften erschweren die Einführung von GenAI, da diese Dienste bekanntermaßen energieintensiv sind. Unternehmen sollten dieser steigenden Nachfrage ebenfalls Beachtung schenken, da sie ihren CO2-Fußabdruck insgesamt erhöhen kann.

Neue Bedrohungen in Zusammenhang mit LLMs

Wir müssen stets die Nachteile und negativen Auswirkungen neuer Technologien berücksichtigen. Dies betrifft nicht nur explizit böswillige Handlungen, sondern auch die ungeahnten Nebenwirkungen der Nutzung von LLMs oder der Erstellung dieser Modelle. Der Security Navigator 2025 definiert zwei Kategorien: „Verbraucher“ und „Hersteller“ von LLMs. Ein Verbraucher ist ein Nutzer von LLMs, und ein Hersteller ist für die Erstellung von LLMs verantwortlich, die von Verbrauchern verwendet werden.

Im Security Navigator 2025 haben wir die folgenden Bedenken für Verbraucher hervorgehoben:

• Datenlecks
• Falsche oder irreführende Antworten („Halluzinationen“)
• Verletzungen geistigen Eigentums

Hersteller oder Anbieter von LLM sind auch mit Bedrohungen oder Risiken konfrontiert, die sie berücksichtigen oder aktiv mindern sollten, wie beispielsweise:

• Diebstahl des Modells
• Manipulation (z.B. durch Datenvergiftung), die zu Verzerrungen oder Leistungseinbußen führen kann
• Zerstörung oder gezielte Beeinträchtigung des Modells
• Rechtliche Haftung infolge falscher, irreführender, unangemessener oder rechtswidriger Inhalte

Wir gehen davon aus, dass im Laufe der Zeit neue Bedrohungen für LLM-Hersteller und -Nutzer entstehen werden. Die Technologie-Stacks der Anbieter sind komplex und werden mit der Zeit immer umfangreicher. Diese wachsende Angriffsfläche ist attraktiv, und die Belohnung für einen erfolgreichen Angriff könnte für manche Angreifer eine lohnende Trophäe sein. Viele der Angriffe werden sich wahrscheinlich gegen klassische Web-Anwendungen richten und nicht nur auf LLMs zugeschnitten sein. SDie Systeme sind mit internen Datensätzen verknüpft, die wiederum mit dem Internet verbunden sind, was ein Labyrinth aus Bedrohungsmodellen ergibt, durch das man navigieren muss.

Weitreichende Auswirkungen

Die Herausforderung bei GenAI besteht darin, Systeme zu entwickeln, die vertrauenswürdig sind und eine gewisse Form der Absicherung erfordern. Sicherheit spielt dabei eine Rolle, aber sie ersetzt nicht den Aufbau von soliden Grundlagen. In den folgenden vier Kategorien müssen wir uns mit umfassenderen potenziell negativen Auswirkungen auseinandersetzen:

Geschäftliche Risiken

Datenschutz und Datenhoheit

• Unternehmen müssen sich angesichts der Tatsache, dass diese Systeme für ihr Wachstum und ihre Verbesserung mehr Daten benötigen, noch stärker mit den Herausforderungen des Datenschutzes und der Datenhoheit befassen.

Abhängigkeit von Plattformanbietern

• Systementwickler müssen bewusste Designentscheidungen treffen, um Plattformabhängigkeit oder eine enge Kopplung an LLM-Dienste (Large Language Models) zu vermeiden.

Einführungsmüdigkeit 

• Unternehmen stehen unter dem Druck, KI-Technologien zu übernehmen, um wettbewerbsfähig zu bleiben und nicht den Anschluss zu verlieren. Anteilseigner erwarten von Unternehmensleitungen, dass sie durch den Einsatz neuer KI-Technologien Produktivitätssteigerungen nachweisen. Führungskräfte müssen von einer rein reaktiven Haltung zu einem strategischen Vorgehen übergehen, das Kosten rechtfertigt und mittelfristige sowie langfristige Geschäftsziele in den Fokus rückt.

Technische Risiken

LLMs fördern Social Engineering

• Angreifer werden effizienter darin, Inhalte zu erstellen, um Opfer zu täuschen oder zu manipulieren. Es ist zwar unklar, ob generative KI-Inhalte tatsächlich effektiver sind, doch Angreifer werden die Nutzung dieser Werkzeuge weiter verfeinern und optimieren.

Bedrohung durch Globalisierung

• Angreifer können durch generative KI auch Zielpersonen ansprechen, die bislang durch Sprach- oder Kulturbarrieren unerreichbar waren. GenAI kann weit über einfache Übersetzungen hinausgehen, indem Tonfall, Struktur und umgangssprachliche Nuancen berücksichtigt werden.

Beschleunigung bestehender Bedrohungen

• Einer der großen Vorteile von LLMs und GenAI ist der versprochene Produktivitätszuwachs. Dies bedeutet, dass selbst weniger versierte Angreifer auf einem deutlich höheren Niveau agieren können – etwa durch Automatisierung oder schnelle Aneignung technischer Fähigkeiten.

Risiken durch Datenanhäufung

• Die zunehmende Sammlung großer Datenmengen (Data Hoarding) und deren sichere Speicherung wird eine zentrale Herausforderung, da Angreifer sich gezielt auf diese Datenbestände konzentrieren werden.

KI als Angriffs-Proxy

• Angreifer können LLMs mit Internetzugang nutzen und diese durch gezielte Manipulation dazu bringen, böswillige Aufgaben in ihrem Namen auszuführen. Dadurch entsteht eine neue Angriffsfläche, auf der sich Bedrohungen weiterentwickeln können.

Gesellschaftliche Risiken

Gefahr für Privatsphäre und persönliche Daten

• LLMs finden bereits Anwendung in sozialen Netzwerken, Messengern, Produktivitätstools, Kundensupport, Content-Plattformen und mehr. Immer mehr persönliche Daten werden erfasst, um Modelle zu trainieren und zu verbessern.

Urheberrecht und Fair-Use-Problematik

• Online geteilte Inhalte werden zur Schulung von KI-Modellen verwendet, ohne dass die Urheber anerkannt oder entschädigt werden – während die Betreiber der Modelle wirtschaftlich davon profitieren.

Schleichende Qualitätsverluste in Forschung, Kreativität und Journalismus

• Generierte Inhalte müssen gekennzeichnet werden, damit künftige Nutzer deren Vertrauenswürdigkeit und ethische Grundlage einschätzen können.
• Fehler in von LLMs erzeugtem Code, wissenschaftlichen Arbeiten, technischen oder juristischen Texten können dauerhaft im Internet verbleiben und in künftige Modelle einfließen – was zu einer fortlaufenden Verbreitung von Ungenauigkeiten oder Falschinformationen führen kann.

Kulturelle und geopolitische Einseitigkeit durch marktbeherrschende LLM-Betreiber

• Voreingenommenheit in KI-Modellen führt dazu, dass Inhalte durch die Weltanschauungen und Interessen ihrer Entwickler gefärbt oder verzerrt werden.

Einsatz von LLMs für Deepfakes und gezielte Diskreditierung

• LLMs werden die Erstellung von Deepfakes begünstigen, die zur Verleumdung, Einschüchterung oder Schädigung Einzelner oder von Minderheiten genutzt werden können. Diese Technologien könnten neue Formen von Belästigung, Mobbing und öffentlicher Beschämung über soziale Medien und Messenger-Plattformen ermöglichen.

Verteidigung (gegen) KI

Neue Technologien, die im Internet entwickelt werden, basieren in der Regel auf Code- und Systemebenen, die bereits weit verbreitet sind. Das bedeutet, dass neue Plattformen unter den üblichen Schwachstellen leiden können, die auf Implementierungs- oder Designfehlern der bestehenden Technologie beruhen.

Der Aufbau einer soliden Sicherheitsgrundlage erfordert Fachwissen und Entschlossenheit. Systeme müssen von Anfang an unter Berücksichtigung von Vertraulichkeit, Integrität und Verfügbarkeit entwickelt werden. Dies erfordert sorgfältige Planung und Gewährleistung von Architektur, Implementierung, Bereitstellung und kontinuierlicher Wartung sowie sicherer Best Practices.

Die Geschäftsführung, einschließlich des CISO, sollte sicherstellen, dass Mitarbeiter Zugang zu LLM-basierten Diensten haben, die den gesetzlichen und Compliance-Standards für eine sichere und verantwortungsvolle Nutzung entsprechen. Dies umfasst:

• Schulung und Training der Mitarbeiter, um die Chancen und Risiken von LLM-Lösungen kritisch zu bewerten, geeignete Dienste auszuwählen und umsichtig zu nutzen.
• Datenlecks sind immer möglich, daher sind weitere Investitionen in Sicherheitsprogramme und Technologien erforderlich, die die absichtliche oder versehentliche Offenlegung sensibler Informationen minimieren.
• Datensicherheit und ihr Zusammenhang mit Informationen im Unternehmen werden wichtiger denn je. Die Datenkennzeichnung und -klassifizierung muss innerhalb der Organisation durchgesetzt werden, um die LLM-Fähigkeit je nach Benutzerrolle angemessen einzuschränken.

KI austricksen

LLMs sind komplexe mathematische und statistische Konstrukte, die Eingaben verarbeiten und basierend darauf die nächste Ausgabe vorhersagen. Die Fähigkeit der LLMs, natürliche Sprache zu „verstehen“ und eine entsprechende Antwort zu generieren, wirkt magisch. Die meisten GenAI-Plattformen verfügen über spezielle Schutzmechanismen in Form einer Alignment-Policy, die verhindern soll, dass das LLM potenziell schädliche, gefährliche, irreführende oder unangemessene Antworten generiert.

Forscher und Angreifer haben eine Technik namens „Prompt Injections“ entdeckt, die diese Schutzmechanismen umgehen oder deaktivieren kann, was zu einem „Jailbreak“ des LLMs führt. Die gejailbreakte LLM-Sitzung kann nun Inhalte generieren, die ursprünglich nicht von den Erstellern beabsichtigt waren, oder potenziell zu übermäßigem Ressourcenverbrauch führen. Dies unterstreicht die nicht-deterministische Natur des LLMs.

Beispiele dafür sind Angriffe mit Kontextwechsel, Verschleierung, Denial-of-Service-Angriffen oder multimodalen Ansätzen, die das Modell „verwirren“. Prompt Injections sind nichts Neues, und die Entwickler von LLMs arbeiten aktiv daran, Umgehungen entgegenzuwirken.

Abwehrmaßnahmen gegen diese Angriffe umfassen:

1. Begrenzung der Antwortgröße
2. Menschliches Eingreifen bei sensiblen Vorgängen
3. Verfolgung von LLM-Aktionen
4. Regelmäßige Updates
5. Sicherheitstests

Weitere Informationen zu diesem Thema finden Sie im Security Navigator 2025 im Abschnitt „Tricking the AI: How to outsmart LLMs by using their ability to ‘think’“.

KI-gesteuerte Erkennung

Ein schwaches Signal aus dem Rauschen herauszufiltern und etwas Ungewöhnliches zu identifizieren ist ein großer Teil der Cybersicherheitsbranche. Anwendungs- und Sicherheitsprotokolle enthalten potenziell viele Muster, die als Grundlage für datenhungrige KI-Modelle dienen könnten.

Angreifer setzen Tools ein, die im Hintergrund operieren und darauf ausgelegt sind, im allgemeinen Rauschen unterzugehen und so einer Erkennung zu entgehen. Einige dieser Tools werden als Command-and-Control-Frameworks (C2) bezeichnet und bieten einen umfangreichen und leistungsstarken Funktionsumfang, der auf einer robusten und flexiblen Architektur basiert. Die C2-Frameworks nutzen einen Signalisierungsaspekt namens „Beaconing“, der wie ein Herzschlag zwischen der getarnten Software auf dem kompromittierten Host des Opfers und der Kommandozentrale fungiert. Clevere Angreifer verbergen ihre C2-Beacons, indem sie den C2-Netzwerkverkehr mit legitimen Websites verknüpfen, die sie zuvor kompromittiert haben. Dies erschwert es Menschen, verdächtige Aktivitäten in großen Datenmengen zu erkennen.

KI-Modelle identifizieren anomalen Netzwerkverkehr, indem sie nach wiederkehrenden Anfragen und Abweichungen vom etablierten Datenverkehr suchen – also nach allem, was von einer Basislinie abweicht. Diese automatisierte Erkennung wird mit einer Reaktion mit geringer Latenz kombiniert, um die Verweildauer von Angreifern in einer Umgebung drastisch zu reduzieren.

Weitere Informationen zu diesem Thema finden Sie im Abschnitt „Enhancing Beaconing Detection with AI-driven proxy log analysis“ des Security Navigators 2025 .

Zusammenfassung

Künstliche Intelligenz (KI) ist ein Thema, das vielfältiger diskutiert wird, als wir je gedacht hätten. Unsere Zusammenfassung des Kapitels zum Thema KI im Security Navigator 2025 legt den Grundstein für viele zukünftige Diskussionen. Der sichere Einsatz von KI wird stets durch die Gefahr von Angreifern im Verborgenen erschwert. Die Auswirkungen neuer Technologien, die mit rasanter Geschwindigkeit voranschreiten und neue Funktionen einführen, werden Angreifern immer zugutekommen, da die Welt die tatsächlichen Auswirkungen erst allmählich versteht.

Glücklicherweise begünstigt KI auch diejenigen, die sie für gute Zwecke einsetzen, und kann die Wirksamkeit bei der Identifizierung verdächtiger oder böswilliger Aktivitäten steigern.

Teil zwei dieses Blogbeitrags finden Sie hier.