RobotKraft, apprentissage par imitation sur bras SO-ARM101

Contexte

RobotKraft est un challenge IA et robotique, à Illkirch du 2 au 4 octobre 2026. Chaque équipe avait un kit SO-ARM101 (bras leader et follower), le framework LeRobot, une caméra poignet et une caméra de profondeur. Dans mon équipe, « les Bras cassés », je m'occupais des données et du modèle.

Ce que j'ai fait

• Chaîne complète en commandes LeRobot officielles, de la téléopération à l'évaluation, pilotée par un Makefile.
• Environ 50 cycles enregistrés par mission en téléopération, sur des missions à plusieurs actions.
• Contrôle automatique de chaque dataset avant l'envoi sur le Hub.
• Fine-tuning de SmolVLA, avec un modèle ACT en secours.

Ce que j'ai remarqué et appris

• Une cinquantaine de démonstrations ne suffit pas pour que SmolVLA généralise sur des tâches enchaînées.
• L'inférence compte autant que l'entraînement. Sur notre CPU, SmolVLA mettait 5 s pour produire 1,7 s de mouvement.

Mes erreurs

• Les modèles SmolVLA entraînés n'ont pas fonctionné en conditions réelles, faute de données suffisantes.
• Comme les autres équipes, nous nous sommes rabattus sur de l'algorithmique et du replay de téléopération.

Résultats

• 3e place du challenge.
• Un dépôt public qui documente toute la chaîne, de l'installation à l'essai sur le robot.
• Suite prévue, acquérir le même kit pour continuer chez moi.

Stack technique