zoellner.ai

Start › News

Start-up · Robotersicherheit

Safeworld prüft KI-gesteuerte Roboter in Simulationen auf Gefahren für Menschen

Das US-Start-up Safeworld will in Simulationen prüfen, ob KI-gesteuerte Roboter Menschen gefährden, und hat dafür über zwölf Millionen Dollar eingesammelt. Belege für die Wirksamkeit fehlen noch, und im Betrieb bleibt die Verantwortung ohnehin beim Betreiber.

5. Oktober 2026 · 3 Minuten Lesezeit

Kurz gefasst

Das US-Start-up Safeworld hat am 5. Oktober 2026 seine Arbeit öffentlich gemacht und dafür eine Seed-Finanzierung von mehr als zwölf Millionen Dollar eingesammelt. Angeführt wird die Runde von Shine Capital und a16z Speedrun. Das Unternehmen aus Palo Alto prüft in Simulationen, ob Roboter mit KI-Steuerung Menschen in ihrer Umgebung gefährden. Gegründet haben es Ding Zhao, der das Safe AI Lab der Carnegie Mellon University leitet, Kyle Wong und Simo Rachidi.

Im Gang einer Lagerhalle stapeln sich links Kartons auf einer Holzpalette neben einem Regalpfosten mit gelb-schwarzem Anfahrschutz und Rundspiegel; auf dem Betonboden markieren gelbe Linien einen Fußgängerweg mit Piktogramm und einen Übergang, im Hintergrund steht ein Hallentor.
Wo ein Regalgang auf einen Quergang trifft, entscheidet sich, ob ein Roboter einen Menschen rechtzeitig erkennt. Mit KI erzeugt

Safeworld baut dazu den geplanten Einsatzort digital nach, setzt die Steuerung des Roboters hinein und bevölkert die Szene mit virtuellen Menschen. Laut TechCrunch geht es um Fälle wie eine schlecht einsehbare Ecke in einer bestimmten Fabrik, einen Arbeiter mit Kartons auf dem Arm oder jemanden, der stolpert und stürzt. Solche Situationen lassen sich in der Simulation beliebig oft wiederholen und abwandeln.

Hintergrund ist eine Verschiebung in der Robotik. Immer mehr Hersteller überlassen die Steuerung einem generativen KI-Modell, dessen Verhalten sich weniger genau vorhersagen lässt als ein klassisch programmierter Ablauf. Zhao beschreibt die Aufgabe als zweiteilig: das Risiko eines Systems beziffern, das mit Wahrscheinlichkeiten arbeitet, und Vertrauen bei denen schaffen, die es einsetzen sollen.

Was über die Wirksamkeit der Safeworld-Tests noch offen ist

Belastbare Zahlen dazu, wie viele Unfälle die Simulationen von Safeworld tatsächlich verhindern, nennt weder das Unternehmen auf seiner Website noch der Bericht von TechCrunch. Als Partner ist öffentlich nur Gritt Robotics bekannt, ein Anbieter von Robotern für die Montage von Solarmodulen. Ob diese Zusammenarbeit bezahlt ist oder schon im laufenden Betrieb stattfindet, geht aus den Angaben nicht hervor.

Auch das Geschäftsmodell steht noch nicht fest. Safeworld hat nach eigener Aussage nicht entschieden, ob Kunden die Plattform selbst bedienen oder ob das Unternehmen die Prüfungen als Dienstleistung übernimmt. Zu Preisen gibt es keine Angaben.

Die Forderung nach einem Sicherheitsstandard für die Branche kommt in der Berichterstattung von Jonathan Lai, Partner bei a16z Speedrun. Er ist zugleich Geldgeber von Safeworld. Das macht die Forderung nicht falsch, aber ein solcher Standard würde genau das Geschäft stützen, in das er investiert hat.

Eine wichtige Einschränkung macht Safeworld in einem eigenen Fachbeitrag: Ergebnisse aus der Simulation müssten mit echten Sensordaten abgeglichen werden, weil Belichtung, Rauschen und das Aussehen von Menschen das Ergebnis verändern können. Die Simulation grenzt den Test am realen Ort also ein. Ersetzen kann sie ihn nach Auskunft des Anbieters selbst nicht.

Wer in Ihrem Betrieb für die Sicherheit eines Roboters verantwortlich bleibt

Für einen Betrieb, der einen KI-gesteuerten Roboter anschaffen will, ändert ein Prüfdienst wie Safeworld nichts an der Verantwortung. Der Betreiber muss die Gefährdungen an seinen Arbeitsplätzen beurteilen, gleich wie gründlich der Hersteller getestet hat. Neu wäre, dass solche Tests auf den konkreten Einsatzort zugeschnitten und dokumentiert werden könnten, statt nur im Labor des Herstellers zu laufen.

Ein Beispiel: Eine Spedition mit 90 Beschäftigten überlegt, im eigenen Lager einen autonomen Transportroboter einzusetzen. Kritisch sind dort vor allem die Stellen, an denen ein Stapler um ein Regalende biegt oder jemand mit einem Karton vor der Brust aus dem Packbereich tritt. Diese Stellen muss die Lagerleitung benennen, im Datenblatt des Herstellers stehen sie nicht.

In meinen Projekten fallen solche Ecken oft erst nach dem ersten Beinahe-Unfall auf. Eine Liste dieser Orte ist deshalb auch ohne Simulation wertvoll. Jeder Prüfer, ob Hersteller oder unabhängiger Dienstleister, braucht sie als Ausgangspunkt.

Was Sie den Anbieter eines KI-Roboters vor dem Kauf fragen sollten

Wer einen Roboter mit KI-Steuerung in Betracht zieht, sollte den Anbieter fragen, wie die Steuerung mit Menschen in ungünstigen Lagen getestet wurde: verdeckt, gebückt, im Gegenlicht, beim Sturz. Die Antwort sollte schriftlich kommen und klären, ob die Tests im eigenen Haus oder durch Dritte liefen und ob sie Ihren Einsatzort berücksichtigen.

Ob ein externer Prüfer wie Safeworld den Aufwand wert ist, hängt vom Einzelfall ab und davon, welche Leistung das Unternehmen am Ende anbietet. Ob das Modell trägt, zeigt sich erst, wenn Ergebnisse aus dem realen Einsatz vorliegen.

Am Montag lässt sich etwas Einfacheres tun: ein Rundgang mit der Fachkraft für Arbeitssicherheit durch alle Bereiche, in denen ein Roboter fahren könnte. Jede schlecht einsehbare Stelle wird auf dem Hallenplan markiert. Die Liste bleibt nützlich, auch wenn die Anschaffung später verschoben wird.

Quelle

Can Safeworld convince people that gen AI robots won't hurt them?. TechCrunch, 5. Oktober 2026. Abgerufen am 5. Oktober 2026: https://techcrunch.com/2026/10/05/can-safeworld-convince-people-that-gen-ai-robots-wont-hurt-them/

Ebenfalls verwendet: How to find false negatives in robot human detection, Safeworld: https://safeworld.ai/blog/test-robot-human-detection-occlusion

Diese Zusammenfassung und die Bilder sind mit KI-Unterstützung entstanden; gelesen, geprüft und freigegeben von Christian Zöllner. Zahlen stammen ausschließlich aus den oben genannten Quellen.