Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana

RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unidades de procesamiento GRU y LSTM. Estas se optimizaron buscando los mejores hiperparámetros en plataformas como TensorFlow y Keras. Además, se propone el desarrollo de una plataforma colaborativa para unir a organizaciones interesadas en el proyecto. Esto permitirá crear un amplio corpus de LSC, esencial para el crecimiento del proyecto. Se utilizó FastAPI para mejorar la interfaz de usuario, complementada con React, y Kubernetes para sostener la infraestructura, asegurando su escalabilidad y eficiencia. El proyecto incluyó la creación de un corpus con 1500 videos de LSC. Esto no solo facilitó el entrenamiento de los modelos, sino que también generó una base de datos valiosa para futuras investigaciones. Los resultados preliminares indican un progreso notable en la interpretación automática de LSC, lo que podría tener un impacto significativo en la comunicación y la integración de la comunidad sorda en Colombia. Se desarrollaron experimentos comparando el desempeño de dos tipos de redes neuronales recurrentes con capas GRU y LSTM, obteniendo un desempeño promedio en la métrica en el F1 de 84.62% ± 11.04% con la red LSTM, mientras que con la red GRU se obtuvo un rendimiento promedio en el F1 del 91.17% ± 3.76%, lo que demostró una estabilidad mayor con las capas GRU.

• Autores: Quintero Bedoya, Andrés
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2024
• Institución: Universidad de Antioquia
• Repositorio: Repositorio UdeA
• Idioma: spa
• OAI Identifier: oai:bibliotecadigital.udea.edu.co:10495/38597
• Acceso en línea: https://hdl.handle.net/10495/38597
• Palabra clave: Inclusión Social; Social Inclusion; Lengua de Signos; Sign Language; Redes Neurales de la Computación; Neural Networks, Computer; Aprendizaje automático (inteligencia artificial); Machine learning; Discapacidad auditiva; https://id.nlm.nih.gov/mesh/D000083644; https://id.nlm.nih.gov/mesh/D012813; https://id.nlm.nih.gov/mesh/D016571
• Rights: openAccess
• License: https://creativecommons.org/licenses/by-nc-sa/4.0/