Reconnaissance gestuelle avec caméra intelligente
Je suis passionné par la technologie et la robotique. Ici, sur mon propre blog, j’accepte toujours de nouvelles tâches. Mais je n’ai presque jamais travaillé avec le traitement d’images. Cependant, le robot LEGO® MINDSTORMS® d’un collègue, qui peut reconnaître les gestes d’une main avec une pierre, du papier ou des ciseaux grâce à plusieurs capteurs différents, m’a donné une idée : « Le robot devrait être capable de « voir ». le geste devait être effectué à un endroit très précis devant le robot afin d’être reconnu de manière fiable. Pour cela, plusieurs capteurs étaient nécessaires, ce qui rendait le système rigide et atténuait le plaisir de jouer. Le traitement d’images peut-il résoudre cette tâche de manière plus « élégante » ?
De l’idée à la mise en œuvre
Dans ma recherche d’un appareil photo adapté, je suis tombé sur IDS NXT – un système complet pour l’utilisation du traitement intelligent de l’image. Il a répondu à toutes mes exigences et, grâce à l’intelligence artificielle, bien plus encore que la simple reconnaissance gestuelle. Mon intérêt a été éveillé. D’autant plus que l’évaluation des images et la communication des résultats s’effectuaient directement sur ou via la caméra – sans PC supplémentaire ! De plus, l’IDS NXT Experience Kit était livré avec tous les composants nécessaires pour commencer à utiliser l’application immédiatement – sans aucune connaissance préalable en IA.
J’ai poussé l’idée plus loin et j’ai commencé à développer un robot qui jouerait à l’avenir au jeu « Pierre, papier, ciseaux » – avec un processus similaire à celui au sens classique du terme : le joueur (humain) est invité à exécuter l’un des des gestes familiers (ciseaux, pierre, papier) devant la caméra. L’adversaire virtuel a déjà déterminé au hasard son geste à ce stade. Le coup est évalué en temps réel et le gagnant est affiché.
La première étape : la reconnaissance gestuelle par traitement d’image
Mais d’ici là, quelques étapes intermédiaires étaient nécessaires. J’ai commencé par mettre en œuvre la reconnaissance gestuelle grâce au traitement d’images – un nouveau territoire pour moi en tant que fan de robotique. Cependant, avec l’aide d’IDS Lighthouse – un studio de vision IA basé sur le cloud – cela a été plus facile à réaliser que prévu. Ici, les idées évoluent en applications complètes. À cette fin, les réseaux neuronaux sont entraînés par des images d’application avec la connaissance nécessaire du produit – comme dans ce cas les gestes individuels sous différentes perspectives – et intégrés dans un flux de travail d’application approprié.
Le processus de formation a été très simple et j’ai simplement utilisé l’assistant étape par étape d’IDS Lighthouse après avoir pris plusieurs centaines de photos de mes mains en utilisant des gestes de pierre, de ciseaux ou de papier sous différents angles et sur différents arrière-plans. La première IA entraînée était capable de reconnaître directement les gestes de manière fiable. Cela fonctionne aussi bien pour les gauchers que pour les droitiers avec un taux de reconnaissance d’env. 95%. Des probabilités sont renvoyées pour les étiquettes « Rock », « Paper », « Ciseaux » ou « Rien ». Un résultat satisfaisant. Mais que se passe-t-il maintenant avec les données obtenues ?
Traitement ultérieur
Le traitement ultérieur des gestes reconnus pourrait être effectué au moyen d’une application de vision spécialement créée. Pour cela, l’image capturée du geste respectif – après évaluation par l’IA – doit être transmise à l’application. Ce dernier « connaît » les règles du jeu et peut ainsi décider quel geste en bat un autre. Il détermine ensuite le gagnant. Dans la première étape de développement, l’application simulera également l’adversaire. Tout cela est actuellement en préparation et sera mis en œuvre dans la prochaine étape pour devenir un robot jouant à « Pierre, Papier, Ciseaux ».
Du jeu à l’usage quotidien
Au début, le projet est plutôt un gadget. Mais que pourrait-il en ressortir ? Une machine à sous ? Ou peut-être même un traducteur en langue des signes basé sur l’IA ?
À suivre…
Ähnliche Beiträge
