KI-Sicherheit · Prüfung
Anthropic lässt externe KI-Prüfer von METR ins Haus, aber nicht ohne Grenzen
Sechs Prüfer der Organisation METR arbeiten bei Anthropic mit ähnlichem Zugang wie die eigenen Teams und dürfen ohne Freigabe veröffentlichen. Was geschwärzt wird, entscheidet allerdings Anthropic, und Ergebnisse gibt es noch keine.
18. Oktober 2026 · 3 Minuten Lesezeit
Kurz gefasst
- Anthropic gibt seit Mitte Oktober 2026 sechs METR-Prüfern internen Zugang; deren Berichte erscheinen ohne Freigabe durch Anthropic.
- Was geschwärzt wird, entscheidet Anthropic. Prüfberichte liegen noch nicht vor, und das ganze Verfahren ist freiwillig.
- Fragen Sie Ihre KI-Anbieter, wer ihre Systeme von außen prüft und ob die Prüfer frei veröffentlichen dürfen.
Was Anthropic den Prüfern von METR erlaubt
Anthropic hat am 15. Oktober 2026 mitgeteilt, dass sechs Beschäftigte der gemeinnützigen Prüforganisation METR im Unternehmen arbeiten. Sie haben Firmenrechner, Büroplätze und Zugriff auf interne Werkzeuge, ungefähr so wie Anthropics eigene Teams für Risikobewertung. METR soll seine Einschätzungen zu Risiken, Vorfällen und Sicherheitspraxis veröffentlichen, und Anthropic kann diese Veröffentlichungen nicht verhindern.
Vom Austausch ausgenommen sind Kundendaten, anwaltlich geschützte Informationen und Angaben zur Modellarchitektur. Inhalte aus diesen Kategorien darf Anthropic aus den Berichten schwärzen lassen. Architekturdetails will das Unternehmen herausgeben, wenn sie für eine Bewertung wichtig sind, aber nur nach ausdrücklicher interner Genehmigung.
Anthropic beschreibt außerdem drei Stufen für externe Prüfer. Auf der ersten untersuchen sie eng umrissene Fragen, und jede Veröffentlichung braucht Anthropics Zustimmung. Auf der zweiten veröffentlichen sie ohne Zustimmung und dürfen sagen, ob sie Schwärzungen für berechtigt halten. Die dritte Stufe ist das Modell mit METR.
Die Organisation SecureBio arbeitet auf der ersten Stufe und prüft das Kapitel über chemische und biologische Waffen in Anthropics Risikobericht vom August. Mit Accenture und Faculty plant Anthropic eine breitere Zusammenarbeit, mit Hugging Face laufen erste Gespräche.
Wo die Unabhängigkeit der Prüfer an Grenzen stößt
Die wichtigste Grenze nennt Anthropic selbst: Ob eine Information unter die geschützten Kategorien fällt, entscheidet am Ende Anthropic. METR behält sich nur vor, öffentlich zu sagen, wie viel Zugang und Einblick es bekommen hat. Wie stark diese Einschränkung wiegt, wird sich erst an den ersten Berichten von METR ablesen lassen.
Ergebnisse gibt es bisher keine. Anthropic beschreibt Zugang und Rechte, aber keinen Prüfbefund, und schreibt selbst, man lerne noch und werde berichten. Die Bedingungen wurden nachträglich präzisiert, für SecureBio am 15. und für METR am 16. Oktober. Was sich dabei geändert hat, sagt die Seite nicht.
Für die Unabhängigkeit nennt Anthropic Maßstäbe: Prüfer sollen keine Anteile am geprüften Unternehmen halten und weder finanziell noch organisatorisch von ihm abhängen. Wie METR finanziert wird, legt die Ankündigung nicht dar. Wer das wissen will, muss bei METR selbst nachsehen.
Alles geschieht freiwillig. Anthropic stellt die Ankündigung in den Zusammenhang einer Selbstverpflichtung, die es gegenüber dem Weißen Haus unterzeichnet hat, und fordert andere Anbieter großer Modelle auf, ebenso zu verfahren. Eine gesetzliche Pflicht zu solchen Prüfungen nennt die Ankündigung nicht.
Was die Prüfungen für die KI-Nutzung in Ihrem Betrieb bedeuten
Für einen Betrieb, der Claude oder ein anderes Sprachmodell nutzt, ändert sich im Alltag vorerst nichts. Die Prüfer von METR und SecureBio befassen sich nach Anthropics Beschreibung mit Risikoniveaus, Vorfällen und Sicherheitspraxis bis hin zum Waffenmissbrauch. Ob ein Modell Ihre Angebotsdaten sauber verarbeitet, ist nach allem, was beschrieben wird, nicht ihr Thema.
Nützlich wird die Sache an anderer Stelle. Ein Zulieferer der Medizintechnik mit 110 Beschäftigten kennt Audits aus Sicht des Geprüften: Kunden kommen ins Haus, sehen Unterlagen ein und schreiben einen Bericht. Fragt ein solcher Kunde, wie der Betrieb seine KI-Werkzeuge ausgewählt hat, reicht ein Verweis auf die Produktseite des Anbieters nicht weit.
Veröffentlichte Berichte unabhängiger Prüfer sind ein Beleg, der in die eigene Lieferantenbewertung passt. Eine eigene Prüfung ersetzen sie nicht. Sie zeigen aber, ob ein Anbieter sich von außen in die Karten schauen lässt. Ein Prüfer, der vor jeder Veröffentlichung um Erlaubnis fragen muss, sagt über das geprüfte System weniger aus als einer, der frei berichten darf.
In Projekten erlebe ich häufig, dass die Wahl eines KI-Werkzeugs an einer einzigen Vorführung hängt. Die Frage, wer das Werkzeug außer dem Hersteller geprüft hat, stellt kaum jemand, obwohl sie nichts kostet.
Welche Frage Sie Ihrem KI-Anbieter jetzt stellen sollten
Gehen Sie die KI-Dienste durch, die in Ihrem Betrieb im Einsatz sind, und fragen Sie jeden Anbieter: Welche externen Stellen prüfen das System, und dürfen sie ihre Ergebnisse ohne Freigabe veröffentlichen? Die Antwort gehört in die Lieferantenakte, neben die Vereinbarung zur Auftragsverarbeitung und die Zertifikate.
Bei Anthropic lässt sich das an den Berichten von METR und SecureBio nachlesen, sobald sie erscheinen. Ob ein Anbieter ohne solche Prüfungen für Ihre Zwecke ausscheidet, hängt vom Einzelfall ab. Für Textentwürfe gelten andere Maßstäbe als für Software, die mit Prüfprotokollen oder Kundendaten arbeitet.
An update on independent evaluators. Anthropic, 15. Oktober 2026. Abgerufen am 18. Oktober 2026: https://www.anthropic.com/news/an-update-on-independent-evaluators
Diese Zusammenfassung und die Bilder sind mit KI-Unterstützung entstanden; gelesen, geprüft und freigegeben von Christian Zöllner. Zahlen stammen ausschließlich aus der oben genannten Quelle.