Des chercheurs du MIT ont développé un capteur tactile basé sur une caméra, long, incurvé et en forme de doigt humain. Leur dispositif, qui offre une détection tactile haute résolution sur une vaste zone, pourrait permettre à une main robotique d’effectuer plusieurs types de saisies. Image : Avec l’aimable autorisation des chercheurs
Par Adam Zewe | Actualités du MIT
Imaginez-vous saisir un objet lourd, comme une clé à tube, d’une seule main. Vous saisiriez probablement la clé en utilisant tous vos doigts, pas seulement le bout de vos doigts. Les récepteurs sensoriels de votre peau, qui s’étendent sur toute la longueur de chaque doigt, enverraient des informations à votre cerveau sur l’outil que vous saisissez.
Dans une main robotique, les capteurs tactiles qui utilisent des caméras pour obtenir des informations sur les objets saisis sont petits et plats, ils sont donc souvent situés au bout des doigts. Ces robots, à leur tour, utilisent uniquement le bout de leurs doigts pour saisir les objets, généralement avec un mouvement de pincement. Cela limite les tâches de manipulation qu’ils peuvent effectuer.
Des chercheurs du MIT ont développé un capteur tactile basé sur une caméra, long, incurvé et en forme de doigt humain. Leur appareil offre une détection tactile haute résolution sur une vaste zone. Le capteur, appelé GelSight Svelte, utilise deux miroirs pour réfléchir et réfracter la lumière afin qu’une caméra, située à la base du capteur, puisse voir sur toute la longueur du doigt.
De plus, les chercheurs ont construit le capteur en forme de doigt avec une épine dorsale flexible. En mesurant la façon dont la colonne vertébrale se plie lorsque le doigt touche un objet, ils peuvent estimer la force exercée sur le capteur.
Ils ont utilisé les capteurs GelSight Svelte pour produire un main robotique qui était capable de saisir un objet lourd comme le ferait un humain, en utilisant toute la zone de détection de ses trois doigts. La main pourrait également effectuer les mêmes pincements communs aux pinces robotiques traditionnelles.
Ce gif montre une main robotique qui intègre trois capteurs GelSight Svelte en forme de doigt. Les capteurs, qui fournissent une détection tactile haute résolution sur une large zone, permettent à la main d’effectuer plusieurs saisies, y compris des saisies par pincement qui utilisent uniquement le bout des doigts et une saisie assistée qui utilise toute la zone de détection des trois doigts. Crédit : Avec l’aimable autorisation des chercheurs
« Comme notre nouveau capteur a la forme d’un doigt humain, nous pouvons l’utiliser pour effectuer différents types de saisies pour différentes tâches, au lieu d’utiliser des pinces pour tout. Les possibilités offertes par une pince à mâchoires parallèles sont limitées. Notre capteur ouvre vraiment de nouvelles possibilités sur différentes tâches de manipulation que nous pourrions effectuer avec des robots », déclare Alan (Jialiang) Zhao, étudiant diplômé en génie mécanique et auteur principal d’un ouvrage. papier sur GelSight Svelte.
Zhao a écrit l’article avec l’auteur principal Edward Adelson, professeur John et Dorothy Wilson de sciences de la vision au Département des sciences du cerveau et des sciences cognitives et membre du Laboratoire d’informatique et d’intelligence artificielle (CSAIL). La recherche sera présentée à la conférence IEEE sur les robots et systèmes intelligents.
Miroir Miroir
Les caméras utilisées dans les capteurs tactiles sont limitées par leur taille, la distance focale de leurs objectifs et leurs angles de vision. Par conséquent, ces capteurs tactiles ont tendance à être petits et plats, ce qui les confine au bout des doigts d’un robot.
Avec une zone de détection plus longue, qui ressemble davantage à un doigt humain, la caméra devrait être placée plus loin de la surface de détection pour voir toute la zone. Ceci est particulièrement difficile en raison des restrictions de taille et de forme d’une pince robotique.
Zhao et Adelson ont résolu ce problème en utilisant deux miroirs qui réfléchissent et réfractent la lumière vers une seule caméra située à la base du doigt.
GelSight Svelte intègre un miroir plat et incliné qui se trouve en face de la caméra et un long miroir incurvé qui se trouve à l’arrière du capteur. Ces miroirs redistribuent les rayons lumineux de la caméra de telle manière que celle-ci puisse voir sur toute la longueur du doigt.
Pour optimiser la forme, l’angle et la courbure des miroirs, les chercheurs ont conçu un logiciel pour simuler la réflexion et la réfraction de la lumière.
« Avec ce logiciel, nous pouvons facilement jouer avec l’emplacement des miroirs et la façon dont ils sont courbés pour avoir une idée de l’apparence de l’image une fois le capteur fabriqué », explique Zhao.
Les miroirs, la caméra et deux jeux de LED pour l’éclairage sont fixés sur un support en plastique et enveloppés dans une peau flexible en gel de silicone. La caméra voit l’arrière de la peau de l’intérieur ; en fonction de la déformation, il peut voir où se produit le contact et mesurer la géométrie de la surface de contact de l’objet.
Une ventilation des composants qui composent le capteur tactile en forme de doigt. Image : Avec l’aimable autorisation des chercheurs
De plus, les réseaux de LED rouges et vertes donnent une idée de la profondeur avec laquelle le gel est pressé lorsqu’un objet est saisi, en raison de la saturation des couleurs à différents endroits du capteur.
Les chercheurs peuvent utiliser ces informations sur la saturation des couleurs pour reconstruire une image 3D en profondeur de l’objet saisi.
Le squelette en plastique du capteur lui permet de déterminer des informations proprioceptives, telles que les couples de torsion appliqués au doigt. La colonne vertébrale se plie et fléchit lorsqu’un objet est saisi. Les chercheurs utilisent l’apprentissage automatique pour estimer la force appliquée au capteur, en fonction de ces déformations de la colonne vertébrale.
Cependant, combiner ces éléments dans un capteur fonctionnel n’a pas été une tâche facile, explique Zhao.
« S’assurer que la courbure du miroir corresponde à celle que nous avons en simulation est un véritable défi. De plus, j’ai réalisé qu’il existe certains types de superglue qui inhibent le durcissement du silicium. Il a fallu de nombreuses expériences pour créer un capteur qui fonctionne réellement », ajoute-t-il.
Préhension polyvalente
Une fois la conception perfectionnée, les chercheurs ont testé le GelSight Svelte en pressant des objets, comme une vis, à différents endroits du capteur pour vérifier la clarté de l’image et voir dans quelle mesure il pouvait déterminer la forme de l’objet.
Ils ont également utilisé trois capteurs pour construire une main GelSight Svelte capable d’effectuer plusieurs saisies, notamment une saisie par pincement, une saisie par pincement latéral et une prise électrique qui utilise toute la zone de détection des trois doigts. La plupart des mains robotiques, qui ont la forme de goutteurs à mâchoires parallèles, ne peuvent effectuer que des saisies par pincement.
Une prise électrique à trois doigts permet à une main robotique de tenir un objet plus lourd de manière plus stable. Cependant, les pinces sont toujours utiles lorsqu’un objet est très petit. Être capable d’effectuer les deux types de saisies d’une seule main donnerait au robot plus de polyvalence, dit-il.
À l’avenir, les chercheurs prévoient d’améliorer le GelSight Svelte afin que le capteur soit articulé et puisse se plier au niveau des articulations, davantage comme un doigt humain.
« Les capteurs optiques-tactiles permettent aux robots d’utiliser des caméras peu coûteuses pour collecter des images haute résolution du contact avec la surface, et en observant la déformation d’une surface flexible, le robot estime la forme du contact et les forces appliquées. Ce travail représente une avancée par rapport à la conception du doigt GelSight, avec des améliorations dans la couverture complète du doigt et la capacité d’approcher les couples de déflexion en flexion en utilisant les différences d’image et l’apprentissage automatique », déclare Monroe Kennedy III, professeur adjoint de génie mécanique à l’Université de Stanford, qui a été pas impliqué dans cette recherche. « Améliorer le sens du toucher d’un robot pour se rapprocher des capacités humaines est une nécessité et peut-être le problème catalyseur pour développer des robots capables de travailler sur des tâches complexes et adroites. »
Cette recherche est financée en partie par le Toyota Research Institute.
Actualités du MIT
