Please use this identifier to cite or link to this item:
https://rinacional.tecnm.mx/jspui/handle/TecNM/11286| Title: | GESTURA: SOFTWARE INTERPRETE DEL LENGUAJE DE SEÑAS PARA PERSONAS CON DISCAPACIDAD AUDITIVA Y DEL HABLA EN CULIACÁN. |
| Authors: | ROSAS LEÓN, RAMÓN ALBERTO VERDUGO REYES, JESÚS JAVIER |
| metadata.dc.subject.other: | Lenguaje de Señas Mexicano Reconocimiento Gestual Visión por Computadoras Inteligencia Artificial Redes Neuronales BiLSTM MediaPipe Tiempo Real: Comunicación Inclusiva TensorFlow: PyQt6: |
| Issue Date: | 2025-09-23 |
| Publisher: | Tecnológico Nacional de México |
| metadata.dc.publisher.tecnm: | Instituto Tecnológico de Culiacán |
| Description: | La idea principal era facilitar la comunicación entre personas sordas y oyentes cuando van a hacer trámites de ventanilla en instituciones públicas y privadas de Culiacán, Sinaloa. Todo esto surgió porque hay barreras comunicativas que enfrentan aproximadamente 6,771 personas con discapacidad auditiva en la ciudad - gente que encuentra dificultades para acceder a servicios esenciales simplemente porque no existen herramientas tecnológicas inclusivas. Desarrollamos el sistema "Gestura" usando una metodología de desarrollo tecnológico experimental que duró 16 semanas. Para extraer keypoints corporales usamos MediaPipe, y para clasificar los gestos empleamos redes neuronales bidireccionales de memoria a largo y corto plazo (BiLSTM). La arquitectura incluye un algoritmo de segmentación automática que detecta cuándo empiezan y terminan las señas sin que alguien tenga que intervenir manualmente. También procesamiento multimodal de audio que convierte voz a texto y texto a voz, más una interfaz de usuario nativa que desarrollamos en PyQt6. Para el dataset personalizado recolectamos 1,400 muestras correspondientes a 28 señas específicas para trámites de ventanilla. Trabajamos con 3 usuarios para conseguir estas muestras. El modelo BiLSTM alcanzó una precisión del 92% con latencias inferiores a 150ms, cumpliendo así los requisitos para comunicación natural en tiempo real |
| metadata.dc.type: | info:eu-repo/semantics/bachelorThesis |
| Appears in Collections: | INGENIERIA EN SISTEMAS COMPUTACIONALES |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Gestura_Software interprete del lenguaje de señas para personas con discapacidad auditiva y del h.pdf | 6.65 MB | Adobe PDF | View/Open | |
| LICENCIA DE USO JESUS JAVIER VERDUGO REYES.pdf Until 9999-01-01 | 424.19 kB | Adobe PDF | View/Open Request a copy | |
| LICENCIA DE USO RAMON ALBERTO ROSAS LEON.pdf Until 9999-01-01 | 421.03 kB | Adobe PDF | View/Open Request a copy |
This item is protected by original copyright |
This item is licensed under a Creative Commons License
