Ein Roboter erledigt eine einzelne Aktion mit 99 Prozent Erfolgsquote. Das klingt fast produktionsreif. Bei längeren Arbeitsabläufen kann dieselbe Zahl jedoch ein völlig anderes Bild ergeben.
Besteht eine Aufgabe aus 100 aufeinanderfolgenden Schritten und gelingt jeder Schritt unabhängig mit einer Wahrscheinlichkeit von 99 Prozent, liegt die Wahrscheinlichkeit, dass der gesamte Ablauf beim ersten Versuch fehlerfrei abgeschlossen wird, nur noch bei 36,6 Prozent.
Auf dieses Problem weist Nicolas Sauvage, Gründer und Präsident von TDK Ventures, in einem Beitrag für The Robot Report hin. Für reale Robotereinsätze sei deshalb nicht entscheidend, ob ein einzelner Griff oder eine Bewegung funktioniert, sondern ob das komplette System über lange Arbeitsabläufe zuverlässig bleibt.
Aus 99 Prozent werden schnell 36,6 Prozent
Die Rechnung ist einfach: Bei 100 unabhängigen Schritten mit jeweils 99 Prozent Erfolgswahrscheinlichkeit ergibt sich 0,99 hoch 100. Das Ergebnis beträgt rund 36,6 Prozent.
Steigt die Erfolgsquote jedes einzelnen Schritts auf 99,9 Prozent, verbessert sich die Wahrscheinlichkeit für einen vollständig erfolgreichen 100-Schritte-Ablauf auf rund 90,5 Prozent. Bei 99,99 Prozent sind es etwa 99 Prozent.
Das Modell ist bewusst vereinfacht. Es setzt voraus, dass alle Schritte dieselbe Erfolgswahrscheinlichkeit haben und Fehler unabhängig voneinander auftreten. In realen Robotersystemen ist beides häufig nicht der Fall.
Gerade deshalb ist die Rechnung nützlich: Eine hohe Erfolgsquote für einzelne Aktionen lässt sich nicht automatisch auf eine komplette Arbeitsschicht oder einen komplexen Prozess übertragen.
Entscheidend ist, was nach einem Fehler passiert
Ein Fehler muss einen Arbeitsablauf allerdings nicht zwangsläufig beenden.
Ein Roboter kann beispielsweise erkennen, dass ein Objekt beim Greifen verrutscht ist, seine Position neu bestimmen und den Griff wiederholen. Je besser solche Recovery-Funktionen funktionieren, desto weniger aussagekräftig wird die reine Erfolgsquote des ersten Versuchs.
Genau hier verschiebt sich die Herausforderung von der einzelnen Bewegung auf das Gesamtsystem. Wahrnehmung, Manipulation, Fehlererkennung und Wiederaufnahme des Prozesses müssen zusammen funktionieren.
Auch neue Ansätze wie World Models für Robotik zielen teilweise darauf ab, die Folgen einer Handlung besser vorherzusagen und dadurch Fehlentscheidungen zu reduzieren.
Ein kommerziell nutzbarer Roboter muss deshalb nicht jede Aktion beim ersten Versuch perfekt ausführen. Er muss Fehler erkennen und möglichst selbstständig korrigieren können, ohne ständig einen Menschen zu benötigen.
Für Fabriken zählt der gesamte Workflow
Für Unternehmen sind deshalb andere Kennzahlen wichtiger als spektakuläre Demo-Erfolgsraten.
Dazu gehören der Anteil vollständig autonom abgeschlossener Arbeitszyklen, die Zahl menschlicher Eingriffe, die Zeit bis zur automatischen Wiederherstellung sowie die Verfügbarkeit des Systems über eine komplette Schicht.
Bei Agility Robotics‘ Digit 5 rückt beispielsweise nicht nur die Fähigkeit zum Materialtransport in den Mittelpunkt. Agility verweist inzwischen auf mehr als 65.000 Betriebsstunden früherer Digit-Systeme. Solche realen Laufzeiten liefern deutlich mehr Informationen über Zuverlässigkeit als eine einzelne erfolgreiche Demonstration.
Dasselbe gilt für spezialisierte Systeme. Die bei Zalando eingesetzten Physical-AI-Roboter von Sereact bearbeiten bereits reale Retouren. Für den wirtschaftlichen Erfolg werden dort langfristig nicht einzelne erfolgreiche Griffe entscheidend sein, sondern Durchsatz, Verfügbarkeit und die Zahl notwendiger manueller Eingriffe.
99 Prozent können zwei völlig unterschiedliche Dinge bedeuten
Auch bei der Interpretation von Herstellerangaben muss deshalb genau darauf geachtet werden, was eigentlich gemessen wird.
TDK Ventures nennt beispielsweise für ANYbotics‘ ANYmal-D nach eigenen Angaben eine Missions-Erfolgsquote von 99 Prozent. Das ist etwas anderes als eine 99-prozentige Erfolgsquote für einen einzelnen Griff. Eine Mission kann bereits viele Bewegungen, Navigationsschritte und Inspektionsvorgänge enthalten.
TDK Ventures beschreibt ANYmal deshalb als Beispiel für ein System, bei dem Zuverlässigkeit auf Ebene einer vollständigen industriellen Aufgabe gemessen wird. Der Roboter wird unter anderem für autonome Inspektionen in Industrieanlagen eingesetzt. TDK Ventures nennt für das System eine Missions-Erfolgsquote von 99 Prozent.
Für Humanoide wird diese Unterscheidung zunehmend wichtig. Ein Roboter kann bei einem Benchmark hohe Erfolgswerte erreichen und in einem kurzen Video zuverlässig wirken. Daraus folgt noch nicht, dass er hundert oder tausend aufeinanderfolgende Aktionen ohne relevante Unterbrechung ausführen kann.
Der Schritt von Demo zu Deployment ist deshalb auch ein Wechsel der Kennzahlen. Nicht die Frage „Kann der Roboter diese Aufgabe ausführen?“ wird entscheidend, sondern: Wie oft schafft er den gesamten Arbeitsablauf ohne menschliche Hilfe, wie gut erholt er sich von Fehlern und was kostet jede erfolgreich erledigte Aufgabe?