Research Weekly · Embodied AI

Des caractéristiques d'autoencodeur parcimonieux extraites des activations d'OpenVLA prédisent l'échec de la tâche avant que le robot n'atteigne un état irrécupérable (2610.32208). Des sondes linéaires entraînées sur les activations de π_0.5 rivalisent avec les moniteurs qui appellent un modèle vision-langage externe, ou les dépassent, et battent aussi les méthodes qui exigent des données d'échec pour l'entraînement (2610.31613). Une tête de prédiction coûtant 0,48 à 0,88 % de paramètres supplémentaires réduit le taux d'échec de 19 à 48 % sur LIBERO-Long et augmente le taux de succès de jusqu'à 7,4 points (2610.32941). Ces trois travaux sont des préprints.

L'observation tactile complète augmente la rotation normalisée moyenne par épisode de 94,8 % sur une main anthropomorphe et de 66,9 % sur une main symétrique, par rapport à la proprioception seule, avec une charge totale moyenne au bout des doigts plus faible dans les deux cas (2610.26759). Ajouter l'observation tactile aux mêmes deux démonstrations fait passer le succès de 15,75 % à 24,00 % en simulation et de 0 % à 60 % sur un robot réel (2610.27613). Un pré-entraînement sur des interactions main-objet humaines, suivi d'un entraînement intermédiaire sur des données de jeu robotique non étiquetées, atteint 88,26 % de Macro-F1 en prédiction de saisie avec 25 % des étiquettes, contre 88,23 % pour un entraînement à partir de zéro sur la totalité (2610.27995).

Deux facteurs de perturbation produisent tous deux ΔSR = 0,188, alors que leurs taux d'échec au premier stade sont de 19,0 % et 36,4 % ; une condition de caméra produit ΔSR = 0 tandis que 8 épisodes appariés sur 80 changent de résultat. L'étude couvre 1 040 rollouts de GR00T N1.5 sur quatre tâches longues (2610.27861). En conduite, l'information de danger est présente dans la représentation visuelle et le générateur de trajectoire sait freiner, mais les plans longitudinaux suivent l'historique de vitesse propre ; injecter une énergie conditionnée par le danger dans l'échantillonneur à flot gelé réduit l'intrusion d'empreinte de 58,1 % à 14,5 % sans réentraînement (2610.28184).

Un modèle du monde entraîné sur 10 000 heures de vidéo humaine égocentrique et 3 000 heures de données robotiques s'améliore sur les évaluations humaines comme robotiques à mesure que le corpus de pré-entraînement humain grandit, sur cinq benchmarks inter-corps (2610.26855). Exécuter un solveur de cinématique inverse différentiable à l'intérieur de la boucle d'échantillonnage d'un générateur main-objet gelé réduit l'erreur de poignet après reciblage de 8,9 cm à 0,6 cm et fait passer le succès de 68 % à 79 % sur 50 tâches d'un humanoïde, et de 62 % à 76 % sur une suite de quatre tâches d'un autre ; un raffinement de poignet post hoc et une sélection best-of-N à budget de calcul égal atteignent une énergie de cinématique inverse plus faible mais entraînent de moins bonnes politiques (2610.27242).

Entraîner un modèle vision-langage-action en bf16 sans copie maîtresse fp32 efface au moins 79 % des mises à jour de poids dans une exécution LIBERO ; sur LIBERO-Object, la copie fait passer π_0.5 de 5,1 % à 80,9 % à un taux d'apprentissage dix fois plus faible et de 89,0 % à 97,7 % à son taux par défaut, et SmolVLA de 4,3 % à 49,3 % (2610.31859). Une intégration numérique grossière d'une politique à flot dégrade les résultats en replanification rapide mais les améliore sous engagement long en boucle ouverte — le signe s'inverse — sans entraînement ni modification d'architecture (2610.32102). Un délai de commande constant de 40 ms fait chuter la survie à 15 % en moyenne, plage 0 à 45 %, depuis au moins 26 épisodes sur 30 sous la randomisation d'entraînement ; randomiser le délai sur 0 à 50 ms restaure 95 % et déplace la marge de 20 à 30 ms vers 50 à 70 ms (2610.32277).

La revendication de calcul la plus lourde de la semaine remplace l'apprentissage par renforcement sans modèle par un modèle du monde différentiable ajusté sur les transitions journalisées d'un simulateur rigide : 3 heures sur un seul GPU dépassent une référence de suivi de mouvement entraînée 7 jours sur 128 GPU, avec 25 échecs sur 129 514 mouvements contre 179 pour cette référence (2610.28480). Un modèle du monde visuo-tactile sert de support d'évaluation et de post-entraînement plutôt que de générateur vidéo : avec supervision par récompense d'état, la corrélation entre succès dans le modèle et succès réel passe de 0,602 à 0,885, et π_0.5 post-entraîné à l'intérieur passe de 59,1 % en référence supervisée à 70,8 % sur tâches réelles (2610.28613). L'échelle arrive aussi du côté des données : 10 000 heures humaines plus 3 000 heures robotiques égocentriques, évaluées sur cinq benchmarks inter-corps incluant de la vidéo humaine tenue à l'écart (2610.26855).

Le matériel de collecte converge vers l'usage de la main de déploiement pour la collecte, si bien que l'écart de corps disparaît par construction et non par reciblage : plus de 2 500 démonstrations, et le succès passe de 11 % à 64 % lorsque les commandes robotiques enregistrées sont utilisées à la place des états, et de 36 % à 78 % lorsque des données prises en conditions réelles sont ajoutées (2610.32969). L'alternative consiste à intégrer le reciblage à la génération, ce que fait le résultat de cinématique inverse en boucle ; les deux voies rapportent désormais des taux de succès plutôt que des nombres de démonstrations.

Le coût du matériel baisse vite : un écosystème tactile ouvert de bout en bout conçoit et fabrique plus de 30 capteurs sur quatre corps réels, et une lecture partielle à 16 taxels par mise à jour est 19,2 fois plus rapide qu'un balayage complet du réseau sur une peau de 1 024 taxels (2610.31661) ; un réseau piézorésistif de 6 mm avec plots en silicone passifs fournit une mesure sur trois axes pour moins de 35 USD en 4×4, avec une erreur quadratique moyenne de 0,39 N et 0,16 N en force normale et en cisaillement, et un calibrage manuel de cinq minutes (2610.31472). Le mécanisme se sépare aussi de la géométrie : à capteurs identiques et cadre d'apprentissage par renforcement identique, un arrangement de doigts symétrique atteint un nombre moyen de rotations supérieur de 32,0 % et un taux de rotation agrégé supérieur de 25,8 % à un arrangement anthropomorphe, avec une charge totale moyenne au bout des doigts inférieure de 19,9 % (2610.26759). En bas de gamme, une main à tringlerie avec 3 degrés d'actionnement par doigt s'imprime sur une imprimante 3D d'entrée de gamme (2610.29030), et une revue retrace le passage d'une interprétation mécanique à une interprétation par les données des mêmes signaux (2610.30438).

Les benchmarks sont construits pour rendre l'échec visible plutôt que pour classer des modèles : un benchmark dextre inter-corps apparie 18 000 démonstrations humaines à 66 tâches vérifiées sur cinq bras et six mains, où la meilleure politique multitâche entraînée atteint 29,1 % et un modèle généraliste sollicité par invite 5,2 % sur 660 essais (2610.26765). La surveillance à l'exécution entre dans la politique, sur les activations et sur des caractéristiques d'autoencodeur parcimonieux, et les deux travaux rapportent une compétitivité avec des superviseurs vision-langage externes à coût bien plus faible (2610.31613, 2610.32208). Le fil restant est celui du couplage : perception et capacité d'agir se révèlent séparées, et fournir le couplage manquant à l'inférence change le comportement sans changer les poids (2610.28184, 2610.27861).

Les déploiements de la semaine sont surtout des récupérations et des corrections, non des architectures nouvelles. Une tête d'échec de moins de 1 % de paramètres supplémentaires met en pause une politique gelée, retrace le mouvement récemment accompli et rend le contrôle, sans démonstrations de récupération ni réentraînement (2610.32941). La profondeur du solveur numérique se révèle un régulateur de variance plutôt qu'un budget de précision, ce qui fait de la latence d'inférence un réglage couplé à l'horizon d'exécution (2610.32102). L'élément le plus lourd de conséquences est le moins spectaculaire : 9 des 12 bases de code VLA ouvertes s'entraînent sans copie maîtresse fp32, et 99 % des ajustements SmolVLA à poids complets échantillonnés sur Hugging Face Hub stockent l'expert d'action en bf16 (2610.31859).

Les affirmations de généralisation sont testées en changeant l'environnement plutôt que la tâche. Les politiques entraînées sur Terre conservent une survie de 0,64 à 0,75 à gravité lunaire sur sol rigide plat, les politiques entraînées ou ajustées sur la Lune ne tiennent pas debout à gravité terrestre, et un contrôleur généraliste publié survit au plus à 0,10 sur la Lune (2610.30080). Le délai est traité comme une perturbation de premier ordre : des marges de 20 à 30 ms sont courantes dans les traqueurs non randomisés et tombent dans la plage que l'entraînement locomoteur habituel couvre déjà (2610.32277). Le contrôle du corps entier est aussi amorti sur l'ensemble des mouvements au lieu de spécialistes par mouvement (2610.28480).

Problème. Les peaux tactiles sont généralement sur mesure : un laboratoire, une géométrie de main, une conception de capteur, sans portabilité du matériel ni du modèle appris entre elles. Le cisaillement est la grandeur qui compte pour corriger une saisie, et celle que la plupart des réseaux bon marché omettent.

Méthode. Une peau résistive à revêtement déformable structuré convertit une charge tangentielle en pression spatialement variable, si bien que les réponses différentielles entre taxels voisins décodent les vecteurs de cisaillement locaux tandis que la réponse en mode commun encode la force normale. Par-dessus le capteur, les auteurs construisent un outil de conception qui transforme contours 2D, surfaces 3D développables ou descriptions textuelles en fichiers de fabrication, ainsi qu'un simulateur, un transfert inter-capteurs et une acquisition adaptative qui lit un sous-ensemble de taxels à des cadences kilohertz.

Résultats. Plus de 30 capteurs conçus et fabriqués sur divers corps robotiques, caractérisés face à un capteur force/couple commercial, et démontrés sur quatre corps réels pour le contrôle en retour riche en contacts et l'apprentissage de politiques. L'acquisition adaptative à 16 taxels par mise à jour est 19,2 fois plus rapide qu'un balayage complet sur la même peau de 1 024 taxels.

Limites. Le résumé rapporte une caractérisation face à un capteur de référence mais aucune valeur de précision, aucune donnée de dérive ni d'hystérésis, et aucun chiffre de durabilité — précisément les grandeurs qui décident de la survie d'une peau en déploiement. Le transfert inter-capteurs est annoncé comme composant, sans quantification dans le résumé. Matériel, logiciel et vidéos sont publiés, donc les chiffres sont vérifiables.

Pourquoi le lire. Il déplace la question à poser à un fournisseur. L'ancienne question était de savoir si une main est livrée avec une perception tactile ; la nouvelle est de savoir si la peau peut être redessinée pour une autre géométrie et si ses données se transfèrent entre capteurs — car si le second point tient, un réseau bon marché n'est pas un déclassement. Il chiffre aussi le goulot de lecture : 19,2 fois à 16 taxels par mise à jour signifie que la bande passante, et non le nombre de canaux, est la contrainte à spécifier.

Problème. La rotation continue dans la main exige de maintenir et de renouveler les contacts au bon moment, ce qui rend la performance fonction conjointe de la géométrie de la main, du retour tactile et du contrôle. Les résultats publiés séparent rarement les trois, si bien que « cette main est meilleure » veut généralement dire « cette main plus ce capteur plus cette politique est meilleure ».

Méthode. Deux versions de la main LEAP à bas coût — l'une à arrangement de doigts anthropomorphe, l'autre symétrique — sont équipées de capteurs tactiles à vision TacTip et entraînées dans un cadre d'apprentissage par renforcement partagé. La simulation compare observation tactile complète, contact binaire et proprioception seule sur 12 objets non vus ; le matériel évalue les politiques tactiles complètes sur dix objets sous plusieurs orientations de main, avec enregistrements de forces.

Résultats. En simulation, l'observation tactile complète augmente la rotation normalisée moyenne par épisode de 94,8 % pour la main anthropomorphe et de 66,9 % pour la symétrique, avec des épisodes plus longs et des charges totales moyennes plus faibles au bout des doigts. Sur matériel, l'arrangement symétrique atteint un nombre moyen de rotations supérieur de 32,0 % et un taux de rotation agrégé supérieur de 25,8 %, avec une durée de manipulation plus longue ; les enregistrements de force montrent une charge totale moyenne au bout des doigts inférieure de 19,9 %. Les mesures de contact montrent une participation des doigts plus différenciée sur la main anthropomorphe et un partage de charge plus uniforme sur la symétrique.

Limites. Deux mains d'une même plateforme bon marché, un type de capteur, un cadre d'apprentissage, dix objets sur matériel et douze en simulation ; le résumé ne donne ni intervalles de confiance ni taxonomie des échecs. « Anthropomorphe » désigne ici un arrangement de doigts précis, non la classe des conceptions anthropomorphes : la comparaison ne tranche donc pas la question générale de la meilleure morphologie.

Pourquoi le lire. Il transforme un argument d'achat en mesure. L'arrangement des doigts est une variable de conception qui change l'organisation des contacts et le partage de charge, et il se caractérise par le nombre de rotations, le taux de rotation et la charge au bout des doigts plutôt que par intuition. La charge inférieure de 19,9 % à progrès supérieur redéfinit aussi ce que « meilleur » veut dire : un arrangement qui répartit la charge fait quelque chose qu'un arrangement qui la concentre ne fait pas, et cela s'inspecte au banc.

Problème. Les affirmations de généralité en manipulation dextre reposent sur des jeux de tâches qui diffèrent par le corps, la distribution d'objets et la disponibilité de démonstrations pour la tâche cible : un chiffre plus élevé ne signifie donc que rarement une méthode plus générale. L'évaluation inter-corps exige une plateforme où bras, main, objet et budget de démonstrations sont contrôlés.

Méthode. Une plateforme de simulation composable couvrant cinq bras, six mains dextres et environ 200 actifs rigides, articulés et déformables dans des scènes randomisées, appariée à 18 000 démonstrations humaines sélectionnées et 66 tâches vérifiées par des humains. Core-50 permet l'apprentissage par démonstration et les tests d'exécution ; Transfer-16 teste le transfert d'actifs et de relations, la composition de compétences et la manipulation déformable sans démonstration de la tâche cible.

Résultats. Sur les méthodes de diffusion, vision-langage-action, monde-action et vision-langage sollicitées par invite, la meilleure politique multitâche entraînée atteint 29,1 % sur Core-50. Un modèle généraliste sollicité, utilisant une primitive de déplacement du poignet pour le contrôle paume-doigts, atteint 5,2 % sur Core-50 et 1,9 % sur Transfer-16 en 660 essais. Les diagnostics par stade sur les politiques entraînées localisent les échecs dans l'établissement du contact, la coordination des actions et le maintien d'un but atteint, plus des erreurs de séquencement dans les tâches composées. Les rollouts sur robot réel sont montrés qualitativement.

Limites. Le plafond annoncé est un chiffre de simulation ; la preuve sur robot réel est qualitative, si bien que l'écart simulation-réel en taux de succès n'est pas mesuré. Actifs, mains et bras sont un sous-ensemble choisi, et les 29,1 % sont une propriété de la difficulté de ce benchmark, non des méthodes en général.

Pourquoi le lire. Il fournit le dénominateur manquant. Deux résultats comptent pour quiconque lit des affirmations de capacité : une politique multitâche bien entraînée obtient moins du tiers de Core-50, et un modèle généraliste sollicité sans ajustement au benchmark obtient 5,2 %. Les deux sont inférieurs à l'impression donnée par les vidéos de démonstration, et les diagnostics par stade disent pourquoi — les échecs se concentrent à l'établissement du contact et au maintien d'un but déjà atteint, non au niveau de la compréhension sémantique.

Problème. Suivre de grands corpus de mouvements humains est devenu la voie principale vers un contrôle expressif du corps entier humanoïde, et elle coûte cher : soit des spécialistes par mouvement sont fusionnés par distillation avec perte, soit une politique unique est entraînée avec un calcul à l'échelle d'un cluster. Dans les deux cas, le coût d'ajout de mouvements croît plus vite que le bénéfice.

Méthode. Un modèle du monde différentiable de la dynamique partagée est ajusté sur les transitions journalisées d'un simulateur de corps rigides standard, puis entraîné dans une boucle unique avec la politique de suivi. La rétropropagation dans le temps sur de courts rollouts imaginés fournit des gradients analytiques, si bien que l'apprentissage de la politique n'exige pas de rollouts sans modèle dans le simulateur.

Résultats. En 3 heures sur un seul GPU, la méthode dépasse le retour d'un traqueur de mouvement de référence entraîné 7 jours sur 128 GPU, réduisant les heures-GPU de plus de 1 000 fois, et échoue sur 25 des 129 514 mouvements du benchmark contre 179 pour la référence. Après 9,8 heures sur deux GPU, elle atteint zéro échec. L'erreur de prédiction du modèle du monde reste stable de 1 à 264 heures de mouvement, et les heures-GPU vers un retour cible croissent lentement, ce qui rend les lois d'échelle du suivi de mouvement mesurables. La politique se transfère sur un Unitree G1 physique sur des mouvements variés et acrobatiques.

Limites. Le modèle du monde est ajusté sur un simulateur de corps rigides : les interactions riches en contacts et déformables sortent de ce qu'il peut représenter, et l'affirmation de transfert porte sur une seule plateforme humanoïde. La comparaison étant en simulation, le facteur 1 000 est une affirmation de calcul, non de temps réel sur un système déployé.

Pourquoi le lire. Il attaque l'hypothèse selon laquelle le contrôle humanoïde généraliste doit se payer en calcul. Si un modèle différentiable de la dynamique partagée rend le mouvement marginal bon marché, la grandeur intéressante n'est plus « combien de mouvements pouvons-nous entraîner » mais « que dit la courbe d'erreur du nombre de mouvements suffisant » — question à laquelle un programme d'évaluation peut répondre, contrairement à un budget de calcul.

Problème. La robustesse d'une politique vision-langage-action est rapportée comme un taux de succès agrégé, ce qui masque deux choses distinctes : combien d'exécutions changent de résultat sous un décalage, et à quel endroit d'une tâche longue elles cessent d'être récupérables. Un même agrégat peut donc décrire des échecs qui exigent des corrections différentes.

Méthode. Un benchmark diagnostique sur RoboCasa365 combinant décalages contrôlés à facteur unique, paires de rollouts propre-perturbé appariées partageant tous les réglages sauf le décalage cible, et diagnostics par stade ancrés dans le simulateur. GR00T N1.5 est évalué sur quatre tâches longues franchissant un seuil de performance propre prédéfini, sous quatre facteurs de perturbation et trois niveaux de sévérité calibrés, y compris des conditions menant à l'échec complet.

Résultats. Sur 1 040 rollouts formels, les réponses de robustesse varient fortement selon les facteurs et les tâches, et l'augmentation de sévérité ne dégrade pas toujours de façon monotone. Une condition de caméra donne ΔSR = 0 malgré 8 épisodes appariés sur 80 qui changent de résultat. La caméra en sévérité L2 et le flou gaussien en L1 donnent tous deux ΔSR = 0,188, alors que leurs taux d'échec au premier stade sont de 19,0 % et 36,4 %. La conclusion est que la robustesse est une propriété multidimensionnelle de l'exécution plutôt qu'une mesure unique de bout en bout.

Limites. Une politique, une famille de simulateurs, quatre tâches, et des perturbations injectées plutôt que mesurées en déploiement réel. Les plans appariés coûtent cher, si bien que l'étude ne couvre pas toute la grille facteur × tâche. Aucune validation sur robot réel n'est rapportée dans le résumé.

Pourquoi le lire. Il démontre concrètement qu'un tableau de robustesse peut être cohérent en interne et rester peu informatif. Deux facteurs à ΔSR identique diffèrent de près du double quant à l'endroit où l'exécution échoue d'abord, ce qui signifie que le chiffre de robustesse d'un fournisseur et le risque d'un acheteur ne sont pas la même grandeur. Un profil d'échec par stade est la chose la moins coûteuse à demander.

Trois modèles bâtis sur la famille Qwen3.5 : un segmenteur temporel de 9 milliards de paramètres qui repère les intervalles d'action, un descripteur de 27 milliards qui décrit chaque intervalle à partir des images environnantes, et un évaluateur de 27 milliards qui note un épisode globalement, étiquette les étapes comme normales, sous-optimales ou échouées, et note selon une grille fournie. NVIDIA annonce la description à 0,72 USD par heure de vidéo contre 88,49 USD pour une référence de modèle de frontière, soit un rapport d'environ 122,5 arrondi à 125 fois, sur 50 épisodes totalisant 4 483 secondes issues de son DenseCaptionBench ; la qualité agrégée sur ces mêmes épisodes est de 57,1 % contre 53,7 %, la référence étant devant sur la description de vidéo robotique et la notation par grille. Le coût est une estimation GPU modélisée supposant huit GB300 à 10 USD l'heure-GPU, non une facture de production mesurée, et l'article indique que le dénominateur d'heures-GPU de production n'est pas vérifié. Le descripteur et l'évaluateur sont publiés sous licence non commerciale.

Un simulateur 3D à état avec un humain animé, plus 120 tâches multitours figées, destinés aux assistants qui voient par la vue à la première personne d'un porteur. L'assistant n'observe que les images de l'humain et le dialogue ; le succès est vérifié contre l'état final du monde plutôt que jugé sur le texte, et la boucle est observer, communiquer, agir, mettre à jour. Construit sur Isaac Sim 5.1 et OmniGibson 3.9.0, avec 44 domiciles et lieux BEHAVIOR-1K et 36 familles d'actions, piloté par de courtes commandes comme marcher, saisir, poser et s'asseoir. Publié sous CC BY-NC 4.0. Aucun score de modèle n'est publié avec le dépôt : le benchmark définit une mesure sans encore en rapporter.

Un benchmark de modèles du monde conditionnés par l'action, noté contre l'exécution réelle et non contre le réalisme vidéo : 335 trajectoires sur robot réel, dont environ 40 % d'échecs ou d'exécutions sous-optimales, couvrant corps rigides, déformables, fluides et articulés, avec un horizon de 120 secondes et des distributions d'actions téléopérées comme générées par politique. Sept modèles du monde conditionnés par l'action représentatifs sont comparés. Les constats rapportés incluent une reproduction fidèle du mouvement du bras avec des conséquences sur les objets erronées, une falaise de fidélité autour de 120 secondes, un alignement d'action plus serré coexistant avec des résultats physiques faux, une dégradation lorsque les actions viennent d'une politique plutôt que d'un téléopérateur, et une fidélité faible sur la vidéo de mains humaines. Ces chiffres proviennent de la description publique de la plateforme et de la presse, non d'un résumé évalué par les pairs.

À quel point tôt est assez tôt, et s'agit-il du même signal ? Trois articles lisent l'échec dans les internes d'une politique, et les trois évaluent la détection à la granularité de l'épisode sans rapporter de délai d'alerte en secondes : un moniteur qui se déclenche une seconde avant un état irrécupérable et un autre qui se déclenche trente secondes avant sont indistinguables dans les chiffres publiés. Que les sondes, les caractéristiques d'autoencodeur et une tête d'échec supervisée lisent un signal ou trois n'est pas testé. D'après 2610.32208, 2610.31613, 2610.32941.

Pourquoi un toucher plus riche abaisse-t-il la charge de contact tout en augmentant le progrès ? L'effet est cohérent sur les deux mains et en simulation comme sur matériel, mais le mécanisme n'est pas séparé : meilleur renouvellement du contact, évitement de la sur-saisie, ou politique qui explore simplement autrement sont tous compatibles avec les chiffres rapportés. Ni cet article ni l'étude tactile en contexte ne rapporte les traces de force ou de couple qui permettraient de les distinguer. D'après 2610.26759, 2610.27613.

Que signifie un plafond de simulation à 29,1 % pour un déploiement réel ? Le benchmark rapporte une meilleure politique multitâche entraînée à 29,1 % et un modèle généraliste sollicité à 5,2 %, mais la preuve sur robot réel est qualitative : la chute simulation-réel du taux de succès n'est donc pas mesurée. Tant qu'elle ne l'est pas, le chiffre classe des méthodes à l'intérieur du benchmark et ne dit rien de la performance sur le terrain. D'après 2610.26765.

Agir sur un diagnostic par stade améliore-t-il le score final ? L'étude par stade montre deux perturbations à dégradation de bout en bout identique échouant à des profondeurs différentes, et l'étude du couplage montre le comportement changer lorsque le couplage manquant est fourni à l'inférence. Aucune ne rapporte si un praticien qui intervient au premier stade défaillant obtient un meilleur résultat que celui qui relance la tâche — la seule forme de la question qu'une équipe de déploiement puisse utiliser. D'après 2610.27861, 2610.28184.

CoRL 2026, du 9 au 12 novembre, Austin : les listes d'articles acceptés et les programmes d'ateliers constituent la prochaine diffusion concentrée de résultats en IA incarnée ce trimestre.

Sparse-autoencoder features of OpenVLA activations predict task failure before the robot reaches an unrecoverable state (2610.32208). Linear probes trained on π_0.5 activations are competitive with, or better than, monitors that call an external vision-language model, and also beat methods that need failure data for training (2610.31613). A prediction head costing 0.48–0.88% additional parameters cuts failure rate by 19–48% on LIBERO-Long and lifts success by up to 7.4 percentage points (2610.32941). All three are preprints.

Full tactile observation raises mean normalised rotation per episode over proprioception alone by 94.8% on an anthropomorphic hand and 66.9% on a symmetric one, with lower mean total fingertip load in both (2610.26759). Adding tactile observation to the same two demonstrations moves success from 15.75% to 24.00% in simulation and from 0% to 60% on a real robot (2610.27613). Pre-training on human hand-object interaction, then mid-training on unlabeled robot play, reaches 88.26% Macro-F1 on grasp prediction with 25% of the labels, against 88.23% for training from scratch on all of them (2610.27995).

Two perturbation factors both produce ΔSR = 0.188, yet their first-stage failure rates are 19.0% and 36.4%; one camera condition produces ΔSR = 0 while 8 of 80 matched episodes change outcome. The study covers 1,040 rollouts of GR00T N1.5 on four long-horizon tasks (2610.27861). In driving, hazard information is present in the visual representation and the trajectory generator is capable of braking, but longitudinal plans track ego-speed history; injecting hazard-conditioned energy into the frozen flow-matching sampler cuts footprint intrusion from 58.1% to 14.5% without retraining (2610.28184).

A world model trained on 10,000 hours of egocentric human video and 3,000 hours of robot data improves on both human and robot evaluations as the human pre-training set grows, across five cross-embodiment benchmarks (2610.26855). Running a differentiable inverse-kinematics solver inside the sampling loop of a frozen hand-object generator cuts retargeted wrist error from 8.9 cm to 0.6 cm and raises success from 68% to 79% on 50 tasks on one humanoid, and from 62% to 76% on a four-task suite on another; post-hoc wrist refinement and compute-matched best-of-N selection both reach lower IK energy and train worse policies (2610.27242).

Training a VLA in bf16 without an fp32 master copy erases at least 79% of the weight updates in a LIBERO run; on LIBERO-Object the copy moves π_0.5 from 5.1% to 80.9% at a ten-times lower learning rate and from 89.0% to 97.7% at its default rate, and SmolVLA from 4.3% to 49.3% (2610.31859). Coarse numerical integration of a flow-matching policy hurts under rapid replanning but helps under long open-loop commitment — the sign reverses — with no training and no architecture change (2610.32102). A constant 40 ms command delay drops survival to 15% on average, range 0–45%, from at least 26 of 30 episodes under the training randomisation; randomising delay over 0–50 ms restores 95% and moves the delay margin from 20–30 ms to 50–70 ms (2610.32277).

The heaviest compute claim of the week replaces model-free reinforcement learning with a differentiable world model fit from logged simulator transitions: 3 hours on one GPU surpasses a motion-tracking baseline trained for 7 days on 128 GPUs, with 25 failures across 129,514 motions against 179 for that baseline (2610.28480). A visuo-tactile world model is used as the evaluation and post-training substrate rather than as a video generator: with state-reward supervision the correlation between world-model and real-world success rises from 0.602 to 0.885, and π_0.5 post-trained inside it moves from a 59.1% supervised baseline to 70.8% on real tasks (2610.28613). Scale also arrives on the data side: 10,000 hours of human plus 3,000 hours of robot egocentric video, evaluated on five cross-embodiment benchmarks including held-out human video (2610.26855).

Collection hardware converges on using the deployment hand for collection, so the embodiment gap disappears by construction rather than by retargeting: more than 2,500 demonstrations, and success improves from 11% to 64% when recorded robot commands are used instead of states, and from 36% to 78% when in-the-wild data is added (2610.32969). The alternative is to make retargeting part of generation, which is what the IK-in-the-loop result above does; both routes now report success rates rather than demonstration counts.

Hardware costs fall fast: a full-stack open tactile ecosystem designs and fabricates more than 30 sensors across four real embodiments, and partial readout at 16 taxels per update is 19.2 times faster than full-array raster scanning on a 1,024-taxel skin (2610.31661); a 6 mm piezoresistive array with passive silicone nubs gives three-axis sensing for under 35 USD for a 4×4 array, with 0.39 N and 0.16 N root-mean-square error on normal and shear force and a five-minute manual calibration (2610.31472). Mechanism is also being separated from layout: with identical sensing and an identical RL framework, a symmetric finger arrangement reaches a 32.0% higher mean rotation count and a 25.8% higher aggregate rotation rate than an anthropomorphic one, at 19.9% lower mean total fingertip load (2610.26759). At the low end, a linkage-driven hand with 3 degrees of actuation per digit prints on a budget 3D printer (2610.29030), and a review traces the field from mechanics-driven to data-driven interpretation of the same signals (2610.30438).

Benchmarks are being built to make failure visible rather than to rank models: a cross-embodiment dexterous benchmark pairs 18,000 human demonstrations with 66 verified tasks over five arms and six hands, where the best trained multi-task policy reaches 29.1% and a prompted frontier model 5.2% over 660 trials (2610.26765). Runtime monitoring moves inside the policy, on activations and on sparse-autoencoder features, and both report competition with external vision-language supervisors at far lower cost (2610.31613, 2610.32208). The remaining thread is binding: perception and the ability to act are shown to be separate, and supplying the missing coupling at inference time changes behaviour without changing weights (2610.28184, 2610.27861).

The week's deployments are mostly recoveries and corrections rather than new architectures. A failure head of under 1% extra parameters pauses a frozen policy, retraces recently achieved motion and hands control back, so no recovery demonstrations and no retraining are needed (2610.32941). Numerical solver depth turns out to be a variance regulator rather than a precision budget, which makes inference latency a tunable that interacts with the execution horizon (2610.32102). The most consequential item is unglamorous: 9 of 12 open VLA codebases train without an fp32 master copy, and 99% of sampled full-weight SmolVLA fine-tunes on the Hugging Face Hub store the action expert in bf16 (2610.31859).

Generalisation claims are being tested by changing the environment rather than the task. Earth-trained policies keep 0.64 to 0.75 survival at lunar gravity on flat rigid ground, Moon-trained and Moon-fine-tuned policies cannot stand at Earth gravity, and a released generalist controller survives at most 0.10 at the Moon (2610.30080). Delay is treated as a first-class disturbance: margins of 20–30 ms are common in unrandomised trackers and lie inside the range that random locomotion training already covers (2610.32277). Whole-body control is also being amortised across motions instead of per-motion specialists (2610.28480).

Problem. Tactile skins are usually bespoke: one lab, one hand geometry, one sensor design, and no portability of either the hardware or the learned model between them. Shear is the part that matters for grasp correction and the part most low-cost arrays leave out.

Method. A resistive skin with a structured deformable overlay converts tangential loading into spatially varying pressure, so differential responses across neighbouring taxels decode local shear vectors while the common-mode response encodes normal force. On top of the sensor the authors build a design tool that turns 2D outlines, developable 3D surfaces or text descriptions into fabrication files, plus a simulator, cross-sensor transfer and adaptive acquisition that reads a subset of taxels at kilohertz rates.

Results. More than 30 sensors designed and fabricated across a variety of robot embodiments, characterised against a commercial force/torque sensor, and demonstrated on four real embodiments for contact-rich feedback control and policy learning. Adaptive acquisition at 16 sampled taxels per update is 19.2 times faster than full-array raster scanning on the same 1,024-taxel skin.

Limitations. The abstract reports characterisation against a reference sensor but no accuracy figures, no drift or hysteresis data, and no durability numbers, which are the quantities that decide whether a skin survives a deployment. Cross-sensor transfer is claimed as a component, not quantified in the abstract. Hardware, software and videos are released, so the numbers can be checked.

Why read it. It changes which question is worth asking a supplier. The old question was whether a hand ships with tactile sensing; the new one is whether the skin can be redesigned for a different geometry and whether its data can be transferred across sensors — because if the second holds, a cheap array is not a downgrade. It also puts a hard number on the readout bottleneck: 19.2× at 16 taxels per update means bandwidth, not channel count, is the constraint worth specifying.

Problem. Continuous in-hand rotation requires contacts to be maintained and renewed at the right moments, which makes performance a joint function of hand geometry, tactile feedback and control. Published results rarely separate the three, so "this hand is better" usually means "this hand plus this sensor plus this policy is better".

Method. Two versions of the low-cost LEAP Hand — one with anthropomorphic finger arrangement, one symmetric — are each fitted with TacTip vision-based tactile sensors and trained with a shared reinforcement learning framework. Simulation compares full tactile, binary touch and proprioception-only observation on 12 unseen objects; hardware evaluates the full tactile policies on ten objects under several hand orientations, with force recordings.

Results. In simulation full tactile observation raises mean normalised rotation per episode over proprioception alone by 94.8% for the anthropomorphic hand and 66.9% for the symmetric one, with longer episodes and lower mean total fingertip loads. On hardware the symmetric layout reaches a 32.0% higher mean rotation count and a 25.8% higher aggregate rotation rate with longer manipulation duration, and force recordings show a 19.9% lower mean total fingertip load. Contact measurements show more differentiated finger participation in the anthropomorphic hand and more even load sharing in the symmetric one.

Limitations. Two hands from one low-cost platform, one sensor type, one RL framework, ten hardware objects and twelve simulated ones; the abstract gives no confidence intervals and no failure taxonomy. "Anthropomorphic" here means one specific finger arrangement, not the class of anthropomorphic designs, so the comparison does not settle the general question of which morphology is better.

Why read it. It converts a purchasing argument into a measurement. Finger arrangement is a design variable that changes contact organisation and load sharing, and it can be characterised by rotation count, rotation rate and fingertip load rather than by intuition. The 19.9% lower load at higher progress also reframes what "better" means: a layout that distributes load more evenly is doing something a layout that concentrates it is not, and that is inspectable at the bench.

Problem. Generality claims in dexterous manipulation are made on task sets that differ in embodiment, object distribution and whether target-task demonstrations are available, so a higher number rarely means a more general method. Cross-embodiment evaluation needs one platform where arm, hand, object and demonstration budget are all controlled.

Method. A composable simulation platform spanning five robotic arms, six dexterous hands and about 200 rigid, articulated and deformable assets in randomised scenes, paired with 18,000 curated human demonstrations and 66 human-verified tasks. Core-50 supports demonstration-based learning and execution tests; Transfer-16 tests asset and relation transfer, skill composition and deformable manipulation with no target-task demonstrations.

Results. Across diffusion, vision-language-action, world-action and prompted vision-language methods, the best trained multi-task policy reaches 29.1% on Core-50. A prompted frontier model using an end-effector move primitive for palm-and-finger control reaches 5.2% on Core-50 and 1.9% on Transfer-16 over 660 trials. Stage diagnostics on the trained policies locate failures in contact establishment, action coordination and maintaining an achieved goal, plus sequencing errors in composed tasks. Real-robot rollouts are shown qualitatively.

Limitations. The headline ceiling is a simulation number; the real-robot evidence is qualitative, so the sim-to-real gap in success rate is not measured. Assets, hands and arms are a chosen subset, and the 29.1% figure is a property of this benchmark's difficulty rather than of the methods in general.

Why read it. It supplies the missing denominator. Two results matter for anyone reading capability claims: a well-trained multi-task policy gets under a third of Core-50, and a general-purpose model prompted with no benchmark fine-tuning gets 5.2%. Both are lower than the impression given by demonstration videos, and the stage diagnostics say why — failures cluster at contact establishment and at holding a goal once reached, not at the level of semantic understanding.

Problem. Tracking large human-motion datasets has become the main route to expressive humanoid whole-body control, and it is expensive: either per-motion specialists are merged through lossy distillation, or a single policy is trained with cluster-scale compute. Both make the cost of adding motions grow faster than the benefit.

Method. One differentiable world model of the shared dynamics is fit from logged transitions of a standard rigid-body simulator, then trained in a single loop with the tracking policy. Backpropagation through time over short imagined rollouts supplies analytic gradients, so policy learning does not need model-free rollouts in the simulator.

Results. In 3 hours on a single GPU the method surpasses the return of a state-of-the-art motion tracker trained for 7 days on 128 GPUs, reducing GPU-hours by more than 1000 times, and fails on 25 of 129,514 benchmark motions against 179 for the baseline. After 9.8 hours on two GPUs it reaches zero failures. World-model prediction error stays stable from 1 to 264 hours of motion, and GPU-hours to a target return grow slowly, which makes motion-tracking scaling laws measurable. The policy transfers to a physical Unitree G1 across diverse and acrobatic motions.

Limitations. The world model is fit to a rigid-body simulator, so contact-rich and deformable interaction lies outside what it can represent, and the transfer claim is one humanoid platform. Simulation-based comparison also means the 1000× figure is a compute claim, not a wall-clock claim about a deployed system.

Why read it. It attacks the assumption that generalist humanoid control has to be paid for in compute. If a differentiable model of shared dynamics makes the marginal motion cheap, the interesting quantity shifts from "how many motions can we train" to "what does the error curve say about how many motions are enough" — and that is a question an evaluation programme can answer, unlike a compute budget.

Problem. Robustness of a vision-language-action policy is reported as an aggregate success rate, which hides two different things: how many executions changed outcome under a shift, and where in a long-horizon task they stopped being recoverable. The same aggregate can therefore describe failures that need different fixes.

Method. A diagnostic benchmark on RoboCasa365 with controlled single-factor shifts, matched clean-perturbed rollout pairs that share all settings except the target shift, and simulator-grounded stage-aware diagnostics. GR00T N1.5 is evaluated on four long-horizon tasks that pass a predefined clean-performance gate, under four perturbation factors and three calibrated severity levels, including conditions that drive complete task failure.

Results. In 1,040 formal rollouts, robustness responses vary substantially across factors and tasks, and increasing severity does not always degrade monotonically. One camera condition yields ΔSR = 0 despite 8 of 80 matched episodes changing outcome. Camera at severity L2 and Gaussian blur at L1 both yield ΔSR = 0.188, yet their first-stage failure rates are 19.0% and 36.4%. The conclusion is that robustness is a multi-dimensional property of execution rather than a single end-to-end measure.

Limitations. One policy, one simulator family, four tasks, and perturbations that are injected rather than measured from real deployment. Paired rollout designs are expensive, so the study cannot cover the full factor-by-task grid. No real-robot validation is reported in the abstract.

Why read it. It gives a concrete demonstration that a robustness table can be internally consistent and still uninformative. Two factors with identical ΔSR differ by a factor of nearly two in where execution first fails, which means a vendor's robustness number and a buyer's risk are not the same quantity. Stage-aware failure profiles are the cheaper thing to ask for.

Three models built on the Qwen3.5 family: a 9B temporal segmenter that finds action intervals, a 27B captioner that describes each interval using surrounding footage, and a 27B rewarder that scores an episode overall, labels steps as normal, suboptimal or failed, and scores against a supplied rubric. NVIDIA reports captioning at 0.72 USD per video hour against 88.49 USD for a frontier-model baseline, a ratio of about 122.5 which it rounds to roughly 125 times, on 50 episodes totalling 4,483 seconds from its DenseCaptionBench; aggregate quality on the same episodes is 57.1% against 53.7%, with the baseline ahead on robot-video captioning and rubric scoring. The cost figure is a modelled GPU estimate assuming eight GB300 GPUs at 10 USD per GPU-hour, not a measured production bill, and the paper states the production GPU-hour denominator is unverified. The captioner and rewarder are released under a noncommercial licence.

A stateful 3D simulator with an animated human, plus 120 frozen multi-turn tasks, aimed at assistants that see through a wearer's first-person view. The assistant observes only the human's frames and the dialogue; success is checked against the final world state rather than judged from text, and the loop is observe, communicate, act, update. Built on Isaac Sim 5.1 and OmniGibson 3.9.0, with 44 BEHAVIOR-1K homes and venues and 36 action families, driven by short commands such as walk, grab, put and sit. Released under CC BY-NC 4.0. No model scores are published with the repository, so the benchmark defines a measurement without yet reporting one.

An action-conditioned world-model benchmark scored against real execution rather than video realism: 335 real-robot trajectories, of which about 40% are failures or suboptimal executions, spanning rigid, deformable, fluid and articulated bodies, with a 120-second horizon and both teleoperated and policy-generated action distributions. Seven representative action-conditioned world models are compared. Reported findings include accurate reproduction of arm motion with incorrect object consequences, a fidelity cliff around 120 seconds, tighter action alignment coexisting with wrong physical outcomes, degradation when actions come from a policy rather than a teleoperator, and weak fidelity on human-hand video. These figures come from the platform's public description and press reporting rather than from a peer-reviewed abstract.

How early is early enough, and is it the same signal? Three papers read failure off a policy's internals, and all three evaluate detection at episode granularity with no lead time in seconds reported, so a monitor that fires one second before an unrecoverable state and one that fires thirty seconds before are indistinguishable in the reported numbers. Whether probes, sparse-autoencoder features and a supervised failure head are reading one signal or three is untested. From 2610.32208, 2610.31613, 2610.32941.

Why does richer touch lower contact load while raising progress? The effect is consistent in both hands and in both simulation and hardware, but the mechanism is not separated: better contact renewal, avoidance of over-grip, or a policy that simply explores differently are all consistent with the reported numbers. Neither this paper nor the tactile in-context study reports the force or torque traces that would distinguish them. From 2610.26759, 2610.27613.

What does a simulation ceiling of 29.1% mean for a real deployment? The benchmark reports a best trained multi-task policy at 29.1% and a prompted general model at 5.2%, but the real-robot evidence is qualitative, so the sim-to-real drop in success rate is unmeasured. Until it is, the number ranks methods within the benchmark and says nothing about field performance. From 2610.26765.

Does acting on a stage-level diagnostic improve the final score? The stage-aware study shows two perturbations with identical end-to-end degradation failing at different depths, and the binding-gap study shows behaviour changing when the missing coupling is supplied at inference. Neither reports whether a practitioner who intervenes at the first failing stage achieves a better outcome than one who reruns the task, which is the only form of the question a deployment team can use. From 2610.27861, 2610.28184.

CoRL 2026, 9–12 November, Austin: accepted-paper lists and workshop programmes are the next concentrated release of embodied-AI results this quarter.