Evaluierung
Phaneia liefert Anbietern von KI-Agenten und von Schutzprodukten für KI-Agenten unabhängige Belege, die ihre Kunden nachvollziehen können.
Was wir evaluieren
KI-Agenten, die Sie verkaufen
Agenten, die Inhalte lesen, denen sie nicht trauen können — E-Mails, Dokumente, Webseiten, andere Agenten — und danach handeln: Daten in Geschäftssystemen ändern, Geld bewegen, personenbezogene oder medizinische Daten verarbeiten, Maschinen ansteuern.
Produkte, die Agenten schützen
Produkte, die zwischen einem Agenten und dem stehen, was er liest oder tut, und Angriffe auf ihn abwehren sollen — Guardrails, KI-Firewalls, Laufzeitschutz. Jedes Bedrohungsszenario läuft zweimal gegen denselben Agenten, mit und ohne Ihr Produkt — so wird messbar, was es abwehrt.
Agenten, wie Ihre Organisation sie einsetzt
Der Agent, wie Ihre Organisation ihn eingerichtet hat (seine Prompts, Tools, Berechtigungen und Datenanbindungen), evaluiert auf Kopien Ihres Setups, nie auf Ihren laufenden Systemen.
Wie wir evaluieren
Was Sie uns geben
Ihren Agenten — seine Prompts, Tools und Konfiguration — und Kopien der Systeme und Daten, mit denen er arbeitet, oder Ersatz dafür. Was nötig ist, vereinbaren wir mit Ihnen: nur das, wovon ein Befund abhängt, und nie Zugang zu Ihren laufenden Systemen. Wo diese Systeme noch nicht existieren, etwa bei einem Modell vor dem Release oder einem Agenten, der Maschinen steuern soll, die noch nicht installiert sind, bauen wir die Umgebung für Sie. Wie lange etwas aufbewahrt und wann es gelöscht wird, vereinbaren wir schriftlich, bevor Sie etwas übergeben.
Wo es läuft
In unserer eigenen isolierten Umgebung — vollständig lokal und ohne Netzwerkzugang nach außen, wo die Arbeit es verlangt. Unsere Werkzeuge sind gegen den Agenten gehärtet, den sie evaluieren, denn nur eine Evaluierung, die der Agent nicht beeinflussen kann, ist aussagekräftig.
Wie ein Befund entsteht
Ein Agent kann auf denselben Input jedes Mal anders reagieren; ein einzelner Durchlauf beweist daher wenig. Jedes Bedrohungsszenario — nach festem Standard aufgebaut und auf Ihren Agenten zugeschnitten — läuft viele Male gegen Ihren Agenten und ebenso oft ohne den Angriff, als saubere Baseline. Ein Befund ist, was mit dem Angriff auftritt und ohne ihn nicht, gemessen an einer deterministic ground truth, die der Agent nicht erreichen kann. So wissen Sie, ob ein Angriff gelegentlich oder jedes Mal gelingt, und wie belastbar dieses Ergebnis ist.
Was Sie erhalten
Die Angriffsfläche
Jeder Input, dem Ihr Agent vertraut, jede Aktion, die er ausführen kann, und die Wege, die ein Angreifer dazwischen nehmen kann — erfasst für die Version, die Sie ausliefern.
Der Bericht, für Ihr Team
Jeder Befund mit den Belegen dahinter: was versagt hat, wo, warum und wie oft — und was zu ändern ist, damit es nicht wieder passiert. Ein Nachtest bestätigt die Behebung. Die Befunde bleiben bei Ihnen.
Die Evaluierungsbestätigung, für Ihre Kunden
Die kurze Zusammenfassung für die Sicherheitsprüfung Ihrer Kunden: was evaluiert wurde, wann und unter welcher Methodikversion. Weil sie die Version nennt, lässt sich jedes neue Release am vorherigen messen.
Nächster Schritt
Sprechen Sie mit uns
Schreiben Sie uns kurz, was Ihr Agent tut und was Ihre Kunden fragen. Wir melden uns mit dem, was eine Evaluierung abdecken würde und was wir dafür von Ihnen bräuchten.