Nico Mehlhose
Security Consultant
Lesezeit: ca. 10 Minuten
Agentic AI ist nur dann produktionsreif, wenn Modell-Training und Governance auf Augenhöhe mit der operativen Wirkung sind. In stark regulierten Branchen ist das ohnehin Pflicht. Allerdings gilt auch im Mittelstand: Vertrauen entsteht nur dort, wo Modelle nachvollziehbar entwickelt, validiert und überwacht werden. Dieser Beitrag zeigt, wie Sie Modell-Training, kontinuierliches Tuning und Governance so verzahnen, dass Agentic AI sicher und auditfähig bleibt.
Vom Pilot zur produktiven Modell-Pipeline
Viele Pilotprojekte zeigen die Möglichkeiten von Agentic AI, doch nur wenige skalieren erfolgreich in den Produktivbetrieb. Oft entsprechen die Ergebnisse nicht den Erwartungen, und es fehlen die Prozesse, um Modelle kontrolliert weiterzuentwickeln und zu betreiben. Eine durchgängige Modell-Pipeline mit Versionierung, Tests und Rollout-Prozessen ist dafür die Grundlage. Erst wenn Modelle wie Software behandelt werden (mit Build, Test, Deploy und Monitoring ), wird Agentic AI verlässlich.
„Ein Agentic-AI-Modell ist kein fertiges Produkt, das man einkauft und einschaltet. Es ist eine Engineering-Disziplin: Es will versioniert, getestet, überwacht und im Zweifel zurückgerollt werden, wie jede andere kritische Software auch.“ – Nico Mehlhose, Security Consultant, Orange Cyberdefense Germany
Trainingsdaten: Quellen, Qualität und Bias
Die Wirkung eines Agentic-AI-Systems steht und fällt mit den Trainings- und Beispielldaten. Achten Sie auf folgendes:
- Datenherkunft: anonymisierte SOC-Telemetrie, kuratierte Threat-Intelligence, synthetische Daten für seltene Szenarien.
- Qualität: Vollständigkeit, Konsistenz, Aktualität.
- Bias-Risiken: Über-/Unterrepräsentation bestimmter Branchen, Tools oder Angriffsmuster.
- Datenschutz: DSGVO-konforme Verarbeitung, Pseudonymisierung, Datensparsamkeit.
Validierung: Metriken und Testverfahren
Validierung ist mehr als ein einmaliger Test. Bewährte Verfahren:
- Klassifikationsmetriken (Precision, Recall, F1) auf realen Test-Sets.
- Backtesting auf historischen Incidents.
- Adversarial Testing / Red Teaming durch ein internes oder externes Team.
Umgang mit False Positives und Modellfehlern
False Positives sind nicht nur lästig, sondern verursachen Vertrauensverlust und operative Last. So gehen Sie vor:
- Strukturierte Fehler-Erfassung mit Ursachen-Codes.
- Closed-Loop-Feedback: Analyst-Korrekturen fließen in das Modell-Tuning zurück.
- Drift-Erkennung: Indikatoren, dass sich das Modellverhalten verschlechtert.
- Notfall-Rollback auf eine zuvor freigegebene Version.
Governance-Rollen und -Prozesse
Eine klare Rollenverteilung ist Pflicht:
- AI-Owner: verantwortet Strategie, Use-Case-Backlog und Risiken.
- Modell-Engineering: Aufbau, Training, Tuning.
- Security-Operations: setzt Modelle im Betrieb ein, überwacht diesen und gibt Feedback.
- Governance/Compliance: prüft EU-AI-Act, DSGVO, Branchenregulierung.
- Audit/Revision: prüft Nachvollziehbarkeit und Effektivität.
Erfahren Sie mehr dazu im Kriterienkatalog zur Auswahl des richtigen MSSP / MXDR-Anbieters.
Auditfähigkeit und Dokumentation
Jede Modellversion sollte mit einer „Modell-Karte“ dokumentiert sein: Zweck, Trainingsdaten, Metriken, bekannte Limitierungen, Freigabe-Status. Aktionen des Agenten werden in einem unveränderlichen Audit-Log protokolliert. Diese Disziplin spart in regulierten Audits viel Zeit und erhöht das Vertrauen aller Beteiligten.
Fazit: Sichere Agentic AI ist Engineering-Disziplin
Wer Agentic AI verlässlich betreiben will, braucht einen durchgängigen Engineering-Ansatz mit klarer Governance, sauberen Daten und konsequentem Tuning. Orange Cyberdefense bringt diese Disziplin als Service mit, mit Expertise aus 15 CyberSOCs und kontinuierlicher Threat-Intelligence-Integration.
Häufig gestellte Fragen (FAQ) zu Agentic AI in der Cybersecurity
Wie werden Agentic-AI-Modelle für SOC-Aufgaben trainiert?
Agentic-AI-Modelle für SOC-Aufgaben werden auf einer Mischung aus Datenquellen trainiert: anonymisierte SOC-Telemetrie, kuratierte Threat Intelligence und synthetische Daten für seltene Angriffsszenarien. Entscheidend sind Qualität – Vollständigkeit, Konsistenz, Aktualität – und der bewusste Umgang mit Bias, etwa der Über- oder Unterrepräsentation bestimmter Branchen oder Angriffsmuster. Das Training erfolgt DSGVO-konform mit Pseudonymisierung und Datensparsamkeit. Wichtig: Training ist kein einmaliger Schritt, sondern Teil einer durchgehenden Modell-Pipeline mit Build, Test, Deploy und Monitor.
Wie wird die Qualität kontinuierlich validiert?
Validierung ist mehr als ein einmaliger Test. Bewährt hat sich ein Bündel aus Verfahren: Klassifikationsmetriken wie Precision, Recall und F1 Score auf realen Test-Sets, Backtesting auf historischen Incidents, Adversarial Testing durch ein Red Team sowie ein Schatten-Betrieb, in dem das Modell parallel zur produktiven Pipeline läuft, ohne Aktionen auszulösen. Ergänzt wird dies durch Drift-Erkennung im laufenden Betrieb. So wird Qualität nicht punktuell, sondern kontinuierlich nachgewiesen.
Wie gehen Sie mit False Positives und Modellfehlern um?
False Positives sind nicht nur lästig, sie kosten Vertrauen und Betriebskapazität. Der bewährte Umgang folgt vier Schritten: eine strukturierte Fehler-Erfassung mit Ursachen-Codes, ein Closed-Loop-Feedback, bei dem Analyst-Korrekturen ins Modell-Tuning zurückfließen, eine Drift-Erkennung, die Verschlechterungen früh sichtbar macht, und ein Notfall-Rollback auf eine zuvor freigegebene Version. Modellfehler werden so nicht verschwiegen, sondern systematisch zur Verbesserung genutzt – das ist gelebte Fehlerkultur.
Welche Governance-Rollen sind nötig?
Eine klare Rollenverteilung ist Pflicht. Der AI-Owner verantwortet Strategie, Use-Case-Backlog und Risiken. Das Modell-Engineering baut, trainiert und tuned die Modelle. Security Operations setzt sie im Betrieb ein und gibt strukturiertes Feedback. Governance und Compliance prüfen EU-AI-Act, DSGVO und Branchenregulierung. Audit und Revision schließlich prüfen Nachvollziehbarkeit und Effektivität. Entscheidend ist, dass diese Rollen getrennt besetzt sind – wer ein Modell baut, sollte es nicht allein freigeben.
Wie lassen sich Modelländerungen audit-fest dokumentieren?
Audit-Festigkeit entsteht durch zwei Bausteine. Erstens die Modell-Karte: Jede Modellversion wird mit Zweck, Trainingsdaten, Metriken, bekannten Limitierungen und Freigabe-Status dokumentiert. Zweitens das unveränderliche Audit-Log, in dem jede Aktion des Agenten mit Begründung protokolliert wird. Zusammen ergeben sie eine lückenlose Historie: Welche Version war wann aktiv, warum, mit welchem Ergebnis. Diese Disziplin spart in regulierten Audits viel Zeit und ist die Grundlage für belastbares Vertrauen.
Was bedeutet Red Teaming für Agentic AI?
Red Teaming bedeutet, das eigene Agentic-AI-System gezielt anzugreifen, bevor es ein echter Angreifer tut. Ein internes oder externes Team versucht, das Modell zu täuschen, zu manipulieren oder zu Fehlentscheidungen zu verleiten, etwa durch Adversarial Inputs oder Prompt-Manipulation. Die Erkenntnisse fließen direkt in Training und Guardrails zurück. Red Teaming ist damit kein einmaliger Test, sondern fester Bestandteil des Modell-Lebenszyklus und ein zentraler Nachweis von Robustheit gegenüber Auditoren.