RobotKraft, Imitationslernen auf einem SO-ARM101-Arm

Kontext

RobotKraft ist eine KI- und Robotik-Challenge, vom 2. bis 4. Oktober 2026 in Illkirch. Jedes Team hatte ein SO-ARM101-Kit (Leader- und Follower-Arm), das LeRobot-Framework, eine Handgelenkkamera und eine Tiefenkamera. In meinem Team, „les Bras cassés“ (die gebrochenen Arme), war ich für die Daten und das Modell zuständig.

Was ich gemacht habe

• Vollständige Kette mit offiziellen LeRobot-Befehlen, von der Teleoperation bis zur Auswertung, gesteuert über ein Makefile.
• Etwa 50 aufgezeichnete Zyklen pro Mission per Teleoperation, bei Missionen mit mehreren Aktionen.
• Automatische Prüfung jedes Datensatzes vor dem Upload auf den Hub.
• Fine-Tuning von SmolVLA, mit einem ACT-Modell als Rückfalllösung.

Was mir aufgefallen ist und was ich gelernt habe

• Rund fünfzig Demonstrationen reichen nicht, damit SmolVLA bei verketteten Aufgaben generalisiert.
• Die Inferenz zählt so viel wie das Training. Auf unserer CPU brauchte SmolVLA 5 s für 1,7 s Bewegung.

Meine Fehler

• Die trainierten SmolVLA-Modelle haben unter realen Bedingungen nicht funktioniert, mangels ausreichender Daten.
• Wie die anderen Teams sind wir auf Algorithmik und das Abspielen der Teleoperation ausgewichen.

Ergebnisse

• 3. Platz der Challenge.
• Ein öffentliches Repository, das die gesamte Kette dokumentiert, von der Installation bis zum Test am Roboter.
• Geplant ist, dasselbe Kit anzuschaffen, um zu Hause weiterzumachen.

Tech-Stack