Ein probabilistisches System lässt sich nicht verifizieren, indem man es fragt, was es getan hat.
Wir evaluieren agentische Systeme aus der Perspektive eines Angreifers, gemessen an einer deterministic ground truth, die weder der Agent noch der Angriff erreichen kann — standardisiert, wiederholbar, mit veröffentlichter Methodik.
Was Sie erhalten
Belege, die Ihre Kunden nachvollziehen können
Die Sicherheitsprüfung Ihrer Kunden verlangt Belege, die Sie nicht selbst erzeugt haben. Eine Evaluierung liefert diese — und zeigt Ihrem Team, was zu beheben ist.
Die Angriffsfläche
Jeder Input, dem Ihr Agent vertraut, jede Aktion, die er ausführen kann, und die Wege, die ein Angreifer dazwischen nehmen kann — erfasst für die Version, die Sie ausliefern.
Die Evaluierung
Ein standardisierter Satz von Bedrohungsszenarien, erweitert für die Umgebung Ihres Agenten. Jedes Szenario läuft wiederholt und wird mit einer Baseline ohne Angriff verglichen — so sehen Sie bei jedem Befund, wie oft er auftritt und wie belastbar das ist.
Die Umgebung
Ihr Agent, so wie Sie ihn ausliefern, läuft in unserer gehärteten Umgebung auf Kopien Ihrer Artefakte — nie auf Ihren laufenden Systemen.
Der Bericht, für Ihr Team
Jeder Befund mit den Belegen dahinter: was versagt hat, wo und warum — und was zu ändern ist, damit es nicht wieder passiert. Ein Nachtest bestätigt die Behebung.
Die Evaluierungsbestätigung, für Ihre Kunden
Die kurze Zusammenfassung für die Sicherheitsprüfung Ihrer Kunden, gebunden an die Version Ihres Agenten, das Datum und unsere Methodikversion — so wissen Ihre Kunden immer, was evaluiert wurde, und jedes neue Release lässt sich am vorherigen messen.
Aktuelle Forschung
Adversarial Assessment of Agentic Systems: A Deterministic-Ground-Truth Methodology, Demonstrated Across an Industrial Control Stack
Warum es bei deceived und bei deceiving unterschiedliche Kontrollen braucht — und wie eine Evaluierung beide erfasst.
Kontakt
Für Anfragen zu Evaluierungen, wissenschaftlichen Austausch oder Presse: schreiben Sie uns direkt.
Phaneia GmbH · Berlin