REALTIME SIGN LANGUAGE TRANSLATION

Notre projet repose sur deux manières différentes de comprendre la Langue des Signes Française (LSF).

La confrontation des résultats par ces deux méthodes fournit ainsi une compréhension précise des besoins de l'utilisateur.



CAPTEURS DE MOUVEMENTS

RECONNAISSANCE D'IMAGE

TEASER

CAPTEURS DE MOUVEMENTS

Gants EchoSign

Détermination des mouvements des mains

Capteurs de flexion EchoSign

Capteurs de flexion, un pour chaque doigt de la main

Arduino BLE 33 Sense & centrale inertielle (IMU) EchoSign

Arduino BLE 33 Sense & centrale inertielle (IMU), une par main

Transmission des données

Par un module Bluetooth Low Energy à un ordinateur via Python et l'IDE Arduino.

Bluetooth Logo Python Logo Arduino Logo

Traitement des données

Utilisation du module TensorFlow de Python pour créer une IA qui traduit en temps réel les mouvements.

RECONNAISSANCE D'IMAGE

Gants EchoSign

Détection de la main d'une personne

Pose des Landmarks via MediaPipe Holistic Tracking.

EchoSign Clean Hand

Traitement des Landmarks

Extraction des positions à partir des Landmarks dans une matrice 3 dimensions.


Utilisation de la matrice comme entrée pour l'intelligence artificielle.

EchoSign Clean Hand Prediction

Performances du réseau de neurones

Utilisation d'un réseau de neurones à couches denses.


Transition en cours pour utiliser un réseau de neurones récurrent (LSTM).

EchoSign Neural Network
About Us
Contact