ShengShu Technology hat mit Motus2 ein neues General World Model für die robotische Manipulation vorgestellt. Das Besondere: Das Modell soll nicht nur entscheiden, welche Bewegung ein Roboter als Nächstes ausführt, sondern auch vorhersagen, welche Folgen diese Handlung haben könnte – und diese Vorhersage nutzen, um bessere Entscheidungen zu treffen.
Damit greift Motus2 eine der zentralen Herausforderungen moderner Robotik auf. Ein Roboter, der in einer Fabrik oder später im Haushalt zuverlässig arbeiten soll, muss nicht nur gelernte Bewegungen reproduzieren. Er muss auch mit Situationen umgehen können, die nicht exakt so in seinen Trainingsdaten vorkamen.
Drei Funktionen in einem Modell
Motus2 verbindet dafür drei bisher häufig getrennt betrachtete Funktionen in einem gemeinsamen Video-Action-Modell.
Die Policy erzeugt mögliche Roboteraktionen. Ein integrierter Simulator prognostiziert anschließend, wie sich die Umgebung durch diese Aktionen verändern könnte. Ein Evaluator bewertet schließlich, welches der vorhergesagten Ergebnisse den Roboter seinem Ziel am nächsten bringt.
Vereinfacht gesagt kann der Roboter damit mehrere Handlungsoptionen gedanklich durchspielen, bevor er sich für eine davon entscheidet.
Dieser Mechanismus wird nicht nur während der Ausführung genutzt. Die vorhergesagten Konsequenzen und ihre Bewertung fließen über Model-Based Reinforcement Learning auch zurück in das Training der Policy. Fehlgeschlagene oder suboptimale Versuche können dabei genutzt werden, um Dynamik und mögliche Ergebnisse besser zu verstehen, ohne dem Roboter die fehlerhafte Aktion selbst als Vorbild beizubringen.
130.000 Stunden menschliche Daten
Für das Training setzt das Team auf eine große Datenbasis aus menschlichen und robotischen Interaktionen.
Nach Angaben des Projekts umfasst die sogenannte „Human Data Pyramid“ rund 130.000 Stunden Ego-Perspektiv-Daten. Hinzu kommen mehr als 100 Stunden Robotertrajektorien sowie zusätzliche Daten, die menschliche Bewegungen mit Roboteraktionen verbinden.
Ziel ist es, menschliche Manipulationserfahrung auf unterschiedliche Robotersysteme zu übertragen. Motus2 wurde unter anderem mit mehreren Zweiarm-Konfigurationen sowie unterschiedlichen Roboterhänden getestet.
Neben visuellen Informationen untersucht das Modell auch den Einsatz von Arbeitsgedächtnis und taktilem Feedback. Letzteres soll vor allem bei Aufgaben helfen, bei denen ein Roboter nicht allein anhand von Kamerabildern erkennen kann, ob er ein Objekt richtig gegriffen oder ausreichend Kraft ausgeübt hat.
Von „Aktion erzeugen“ zu „Folgen verstehen“
In den veröffentlichten Demonstrationen zeigt Motus2 verschiedene reale Manipulationsaufgaben – etwa das Einschrauben einer Glühbirne, das Platzieren eines Smartphones, das Herausziehen einer Reißzwecke oder komplexere Multi-Finger-Manipulation.
Interessanter als einzelne Demo-Aufgaben ist jedoch die Richtung, in die sich solche Modelle entwickeln.
Viele aktuelle Robotikmodelle konzentrieren sich darauf, aus Kameraaufnahmen und Sprachbefehlen direkt eine passende Aktion abzuleiten. Weltmodelle versuchen einen Schritt weiterzugehen: Der Roboter soll ein internes Verständnis davon entwickeln, wie sich seine Umgebung wahrscheinlich verändert, wenn er handelt.
Für Humanoid Robotics könnte genau diese Fähigkeit langfristig entscheidend sein. Je stärker Roboter außerhalb streng kontrollierter Produktionslinien eingesetzt werden, desto weniger können Entwickler jede mögliche Situation im Voraus programmieren oder durch Demonstrationen abdecken.
Motus2 zeigt deshalb vor allem einen möglichen nächsten Entwicklungsschritt: Der Roboter lernt nicht mehr nur, was er tun soll, sondern zunehmend auch, was wahrscheinlich passieren wird, wenn er es tut. Ob sich dieser Ansatz unter realen Bedingungen zuverlässig skalieren lässt, muss sich noch zeigen. Für generalistische Roboter und Humanoide dürfte die Fähigkeit, mögliche Konsequenzen vor einer Handlung abzuschätzen, aber zu einem immer wichtigeren Bestandteil der „Roboterintelligenz“ werden.