Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana
RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unida...
- Autores:
-
Quintero Bedoya, Andrés
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2024
- Institución:
- Universidad de Antioquia
- Repositorio:
- Repositorio UdeA
- Idioma:
- spa
- OAI Identifier:
- oai:bibliotecadigital.udea.edu.co:10495/38597
- Acceso en línea:
- https://hdl.handle.net/10495/38597
- Palabra clave:
- Inclusión Social
Social Inclusion
Lengua de Signos
Sign Language
Redes Neurales de la Computación
Neural Networks, Computer
Aprendizaje automático (inteligencia artificial)
Machine learning
Discapacidad auditiva
https://id.nlm.nih.gov/mesh/D000083644
https://id.nlm.nih.gov/mesh/D012813
https://id.nlm.nih.gov/mesh/D016571
- Rights
- openAccess
- License
- https://creativecommons.org/licenses/by-nc-sa/4.0/
| id |
UDEA2_9a9d9a8ca4e8c58129af007ad3620a6a |
|---|---|
| oai_identifier_str |
oai:bibliotecadigital.udea.edu.co:10495/38597 |
| network_acronym_str |
UDEA2 |
| network_name_str |
Repositorio UdeA |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| title |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| spellingShingle |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana Inclusión Social Social Inclusion Lengua de Signos Sign Language Redes Neurales de la Computación Neural Networks, Computer Aprendizaje automático (inteligencia artificial) Machine learning Discapacidad auditiva https://id.nlm.nih.gov/mesh/D000083644 https://id.nlm.nih.gov/mesh/D012813 https://id.nlm.nih.gov/mesh/D016571 |
| title_short |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| title_full |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| title_fullStr |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| title_full_unstemmed |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| title_sort |
Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
| dc.creator.fl_str_mv |
Quintero Bedoya, Andrés |
| dc.contributor.advisor.none.fl_str_mv |
Múnera Ramírez, Danny Alexandro Pérez Patiño, Ana Lucía |
| dc.contributor.author.none.fl_str_mv |
Quintero Bedoya, Andrés |
| dc.subject.decs.none.fl_str_mv |
Inclusión Social Social Inclusion Lengua de Signos Sign Language Redes Neurales de la Computación Neural Networks, Computer |
| topic |
Inclusión Social Social Inclusion Lengua de Signos Sign Language Redes Neurales de la Computación Neural Networks, Computer Aprendizaje automático (inteligencia artificial) Machine learning Discapacidad auditiva https://id.nlm.nih.gov/mesh/D000083644 https://id.nlm.nih.gov/mesh/D012813 https://id.nlm.nih.gov/mesh/D016571 |
| dc.subject.lemb.none.fl_str_mv |
Aprendizaje automático (inteligencia artificial) Machine learning |
| dc.subject.proposal.spa.fl_str_mv |
Discapacidad auditiva |
| dc.subject.meshuri.none.fl_str_mv |
https://id.nlm.nih.gov/mesh/D000083644 https://id.nlm.nih.gov/mesh/D012813 https://id.nlm.nih.gov/mesh/D016571 |
| description |
RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unidades de procesamiento GRU y LSTM. Estas se optimizaron buscando los mejores hiperparámetros en plataformas como TensorFlow y Keras. Además, se propone el desarrollo de una plataforma colaborativa para unir a organizaciones interesadas en el proyecto. Esto permitirá crear un amplio corpus de LSC, esencial para el crecimiento del proyecto. Se utilizó FastAPI para mejorar la interfaz de usuario, complementada con React, y Kubernetes para sostener la infraestructura, asegurando su escalabilidad y eficiencia. El proyecto incluyó la creación de un corpus con 1500 videos de LSC. Esto no solo facilitó el entrenamiento de los modelos, sino que también generó una base de datos valiosa para futuras investigaciones. Los resultados preliminares indican un progreso notable en la interpretación automática de LSC, lo que podría tener un impacto significativo en la comunicación y la integración de la comunidad sorda en Colombia. Se desarrollaron experimentos comparando el desempeño de dos tipos de redes neuronales recurrentes con capas GRU y LSTM, obteniendo un desempeño promedio en la métrica en el F1 de 84.62% ± 11.04% con la red LSTM, mientras que con la red GRU se obtuvo un rendimiento promedio en el F1 del 91.17% ± 3.76%, lo que demostró una estabilidad mayor con las capas GRU. |
| publishDate |
2024 |
| dc.date.accessioned.none.fl_str_mv |
2024-03-18T15:23:21Z |
| dc.date.available.none.fl_str_mv |
2024-03-18T15:23:21Z |
| dc.date.issued.none.fl_str_mv |
2024 |
| dc.type.spa.fl_str_mv |
Tesis/Trabajo de grado - Monografía - Pregrado |
| dc.type.coar.spa.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.redcol.spa.fl_str_mv |
https://purl.org/redcol/resource_type/TP |
| dc.type.coarversion.spa.fl_str_mv |
http://purl.org/coar/version/c_b1a7d7d4d402bcce |
| dc.type.driver.spa.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.version.spa.fl_str_mv |
info:eu-repo/semantics/draft |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| status_str |
draft |
| dc.identifier.uri.none.fl_str_mv |
https://hdl.handle.net/10495/38597 |
| url |
https://hdl.handle.net/10495/38597 |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.relation.issupplementedby.spa.fl_str_mv |
https://github.com/SignAIUdeA |
| dc.rights.uri.spa.fl_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ |
| dc.rights.uri.*.fl_str_mv |
http://creativecommons.org/licenses/by-nc-sa/2.5/co/ |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess |
| dc.rights.coar.spa.fl_str_mv |
http://purl.org/coar/access_right/c_abf2 |
| rights_invalid_str_mv |
https://creativecommons.org/licenses/by-nc-sa/4.0/ http://creativecommons.org/licenses/by-nc-sa/2.5/co/ http://purl.org/coar/access_right/c_abf2 |
| eu_rights_str_mv |
openAccess |
| dc.format.extent.spa.fl_str_mv |
74 páginas |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.publisher.spa.fl_str_mv |
Universidad de Antioquia |
| dc.publisher.place.spa.fl_str_mv |
Medellín, Colombia |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad de Ingeniería. Ingeniería de Sistemas |
| institution |
Universidad de Antioquia |
| bitstream.url.fl_str_mv |
https://bibliotecadigital.udea.edu.co/bitstreams/da0ca4b6-ad06-4764-b3b0-64f13d5f7242/download https://bibliotecadigital.udea.edu.co/bitstreams/5a6f3247-3bab-4e51-b1b6-965128520f36/download https://bibliotecadigital.udea.edu.co/bitstreams/686474d4-f266-4d8b-8594-9e7565c8a8c5/download https://bibliotecadigital.udea.edu.co/bitstreams/f380a8fe-2b75-4076-8cd5-e58fb0d961c7/download https://bibliotecadigital.udea.edu.co/bitstreams/2fa007c4-bfc0-4efc-9549-2e19980cf2e9/download |
| bitstream.checksum.fl_str_mv |
60536bc4fc541e3bcb7f65cdee754ba1 e2060682c9c70d4d30c83c51448f4eed 8a4605be74aa9ea9d79846c1fba20a33 84b1104dcce33d460053fd29bef9650c bc7ce8ca52b4b0d5659d021b441cb90f |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional de la Universidad de Antioquia |
| repository.mail.fl_str_mv |
aplicacionbibliotecadigitalbiblioteca@udea.edu.co |
| _version_ |
1851052324918657024 |
| spelling |
Múnera Ramírez, Danny AlexandroPérez Patiño, Ana LucíaQuintero Bedoya, Andrés2024-03-18T15:23:21Z2024-03-18T15:23:21Z2024https://hdl.handle.net/10495/38597RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unidades de procesamiento GRU y LSTM. Estas se optimizaron buscando los mejores hiperparámetros en plataformas como TensorFlow y Keras. Además, se propone el desarrollo de una plataforma colaborativa para unir a organizaciones interesadas en el proyecto. Esto permitirá crear un amplio corpus de LSC, esencial para el crecimiento del proyecto. Se utilizó FastAPI para mejorar la interfaz de usuario, complementada con React, y Kubernetes para sostener la infraestructura, asegurando su escalabilidad y eficiencia. El proyecto incluyó la creación de un corpus con 1500 videos de LSC. Esto no solo facilitó el entrenamiento de los modelos, sino que también generó una base de datos valiosa para futuras investigaciones. Los resultados preliminares indican un progreso notable en la interpretación automática de LSC, lo que podría tener un impacto significativo en la comunicación y la integración de la comunidad sorda en Colombia. Se desarrollaron experimentos comparando el desempeño de dos tipos de redes neuronales recurrentes con capas GRU y LSTM, obteniendo un desempeño promedio en la métrica en el F1 de 84.62% ± 11.04% con la red LSTM, mientras que con la red GRU se obtuvo un rendimiento promedio en el F1 del 91.17% ± 3.76%, lo que demostró una estabilidad mayor con las capas GRU.ABSTRACT : This study addresses the improvement of social inclusion by creating a translation system for Colombian Sign Language (LSC), leveraging advances in artificial intelligence. Neural network technology is used, specifically recurrent neural networks with GRU and LSTM processing units. These were optimized by seeking the best hyperparameters on platforms such as TensorFlow and Keras. In addition, the development of a collaborative platform is proposed to bring together organizations interested in the project. This will allow the creation of a broad LSC corpus, essential for the project’s growth. FastAPI was used to improve the user interface, complemented with React, and Kubernetes to sustain the infrastructure, ensuring its scalability and efficiency. The project included the creation of a corpus with 1500 LSC videos. This not only facilitated the training of the models but also generated a valuable database for future research. Preliminary results indicate significant progress in the automatic interpretation of LSC, which could have a significant impact on communication and the integration of the deaf community in Colombia. Experiments were conducted comparing the performance of two types of recurrent neural networks with GRU and LSTM layers, achieving an average performance on the F1 metric of 84,62%±11,04% with the LSTM network, while with the GRU network, an average performance on the F1 of 91,17%±3,76% was obtained, demonstrating greater stability with GRU layers.PregradoIngeniero de Sistemas74 páginasapplication/pdfspaUniversidad de AntioquiaMedellín, ColombiaFacultad de Ingeniería. Ingeniería de Sistemashttps://creativecommons.org/licenses/by-nc-sa/4.0/http://creativecommons.org/licenses/by-nc-sa/2.5/co/info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas ColombianaTesis/Trabajo de grado - Monografía - Pregradohttp://purl.org/coar/resource_type/c_7a1fhttps://purl.org/redcol/resource_type/TPhttp://purl.org/coar/version/c_b1a7d7d4d402bcceinfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/draftInclusión SocialSocial InclusionLengua de SignosSign LanguageRedes Neurales de la ComputaciónNeural Networks, ComputerAprendizaje automático (inteligencia artificial)Machine learningDiscapacidad auditivahttps://id.nlm.nih.gov/mesh/D000083644https://id.nlm.nih.gov/mesh/D012813https://id.nlm.nih.gov/mesh/D016571https://github.com/SignAIUdeAPublicationORIGINALQuinteroAndres_2024_HerramientasAprendizajeAutomatico.pdfQuinteroAndres_2024_HerramientasAprendizajeAutomatico.pdfTrabajo de grado de pregradoapplication/pdf6127414https://bibliotecadigital.udea.edu.co/bitstreams/da0ca4b6-ad06-4764-b3b0-64f13d5f7242/download60536bc4fc541e3bcb7f65cdee754ba1MD53trueAnonymousREADCC-LICENSElicense_rdflicense_rdfapplication/rdf+xml; charset=utf-81051https://bibliotecadigital.udea.edu.co/bitstreams/5a6f3247-3bab-4e51-b1b6-965128520f36/downloade2060682c9c70d4d30c83c51448f4eedMD54falseAnonymousREADLICENSElicense.txtlicense.txttext/plain; charset=utf-81748https://bibliotecadigital.udea.edu.co/bitstreams/686474d4-f266-4d8b-8594-9e7565c8a8c5/download8a4605be74aa9ea9d79846c1fba20a33MD55falseAnonymousREADTEXTQuinteroAndres_2024_HerramientasAprendizajeAutomatico.pdf.txtQuinteroAndres_2024_HerramientasAprendizajeAutomatico.pdf.txtExtracted texttext/plain102025https://bibliotecadigital.udea.edu.co/bitstreams/f380a8fe-2b75-4076-8cd5-e58fb0d961c7/download84b1104dcce33d460053fd29bef9650cMD56falseAnonymousREADTHUMBNAILQuinteroAndres_2024_HerramientasAprendizajeAutomatico.pdf.jpgQuinteroAndres_2024_HerramientasAprendizajeAutomatico.pdf.jpgGenerated Thumbnailimage/jpeg6069https://bibliotecadigital.udea.edu.co/bitstreams/2fa007c4-bfc0-4efc-9549-2e19980cf2e9/downloadbc7ce8ca52b4b0d5659d021b441cb90fMD57falseAnonymousREAD10495/38597oai:bibliotecadigital.udea.edu.co:10495/385972025-03-26 20:36:57.544https://creativecommons.org/licenses/by-nc-sa/4.0/open.accesshttps://bibliotecadigital.udea.edu.coRepositorio Institucional de la Universidad de Antioquiaaplicacionbibliotecadigitalbiblioteca@udea.edu.coTk9URTogUExBQ0UgWU9VUiBPV04gTElDRU5TRSBIRVJFClRoaXMgc2FtcGxlIGxpY2Vuc2UgaXMgcHJvdmlkZWQgZm9yIGluZm9ybWF0aW9uYWwgcHVycG9zZXMgb25seS4KCk5PTi1FWENMVVNJVkUgRElTVFJJQlVUSU9OIExJQ0VOU0UKCkJ5IHNpZ25pbmcgYW5kIHN1Ym1pdHRpbmcgdGhpcyBsaWNlbnNlLCB5b3UgKHRoZSBhdXRob3Iocykgb3IgY29weXJpZ2h0Cm93bmVyKSBncmFudHMgdG8gRFNwYWNlIFVuaXZlcnNpdHkgKERTVSkgdGhlIG5vbi1leGNsdXNpdmUgcmlnaHQgdG8gcmVwcm9kdWNlLAp0cmFuc2xhdGUgKGFzIGRlZmluZWQgYmVsb3cpLCBhbmQvb3IgZGlzdHJpYnV0ZSB5b3VyIHN1Ym1pc3Npb24gKGluY2x1ZGluZwp0aGUgYWJzdHJhY3QpIHdvcmxkd2lkZSBpbiBwcmludCBhbmQgZWxlY3Ryb25pYyBmb3JtYXQgYW5kIGluIGFueSBtZWRpdW0sCmluY2x1ZGluZyBidXQgbm90IGxpbWl0ZWQgdG8gYXVkaW8gb3IgdmlkZW8uCgpZb3UgYWdyZWUgdGhhdCBEU1UgbWF5LCB3aXRob3V0IGNoYW5naW5nIHRoZSBjb250ZW50LCB0cmFuc2xhdGUgdGhlCnN1Ym1pc3Npb24gdG8gYW55IG1lZGl1bSBvciBmb3JtYXQgZm9yIHRoZSBwdXJwb3NlIG9mIHByZXNlcnZhdGlvbi4KCllvdSBhbHNvIGFncmVlIHRoYXQgRFNVIG1heSBrZWVwIG1vcmUgdGhhbiBvbmUgY29weSBvZiB0aGlzIHN1Ym1pc3Npb24gZm9yCnB1cnBvc2VzIG9mIHNlY3VyaXR5LCBiYWNrLXVwIGFuZCBwcmVzZXJ2YXRpb24uCgpZb3UgcmVwcmVzZW50IHRoYXQgdGhlIHN1Ym1pc3Npb24gaXMgeW91ciBvcmlnaW5hbCB3b3JrLCBhbmQgdGhhdCB5b3UgaGF2ZQp0aGUgcmlnaHQgdG8gZ3JhbnQgdGhlIHJpZ2h0cyBjb250YWluZWQgaW4gdGhpcyBsaWNlbnNlLiBZb3UgYWxzbyByZXByZXNlbnQKdGhhdCB5b3VyIHN1Ym1pc3Npb24gZG9lcyBub3QsIHRvIHRoZSBiZXN0IG9mIHlvdXIga25vd2xlZGdlLCBpbmZyaW5nZSB1cG9uCmFueW9uZSdzIGNvcHlyaWdodC4KCklmIHRoZSBzdWJtaXNzaW9uIGNvbnRhaW5zIG1hdGVyaWFsIGZvciB3aGljaCB5b3UgZG8gbm90IGhvbGQgY29weXJpZ2h0LAp5b3UgcmVwcmVzZW50IHRoYXQgeW91IGhhdmUgb2J0YWluZWQgdGhlIHVucmVzdHJpY3RlZCBwZXJtaXNzaW9uIG9mIHRoZQpjb3B5cmlnaHQgb3duZXIgdG8gZ3JhbnQgRFNVIHRoZSByaWdodHMgcmVxdWlyZWQgYnkgdGhpcyBsaWNlbnNlLCBhbmQgdGhhdApzdWNoIHRoaXJkLXBhcnR5IG93bmVkIG1hdGVyaWFsIGlzIGNsZWFybHkgaWRlbnRpZmllZCBhbmQgYWNrbm93bGVkZ2VkCndpdGhpbiB0aGUgdGV4dCBvciBjb250ZW50IG9mIHRoZSBzdWJtaXNzaW9uLgoKSUYgVEhFIFNVQk1JU1NJT04gSVMgQkFTRUQgVVBPTiBXT1JLIFRIQVQgSEFTIEJFRU4gU1BPTlNPUkVEIE9SIFNVUFBPUlRFRApCWSBBTiBBR0VOQ1kgT1IgT1JHQU5JWkFUSU9OIE9USEVSIFRIQU4gRFNVLCBZT1UgUkVQUkVTRU5UIFRIQVQgWU9VIEhBVkUKRlVMRklMTEVEIEFOWSBSSUdIVCBPRiBSRVZJRVcgT1IgT1RIRVIgT0JMSUdBVElPTlMgUkVRVUlSRUQgQlkgU1VDSApDT05UUkFDVCBPUiBBR1JFRU1FTlQuCgpEU1Ugd2lsbCBjbGVhcmx5IGlkZW50aWZ5IHlvdXIgbmFtZShzKSBhcyB0aGUgYXV0aG9yKHMpIG9yIG93bmVyKHMpIG9mIHRoZQpzdWJtaXNzaW9uLCBhbmQgd2lsbCBub3QgbWFrZSBhbnkgYWx0ZXJhdGlvbiwgb3RoZXIgdGhhbiBhcyBhbGxvd2VkIGJ5IHRoaXMKbGljZW5zZSwgdG8geW91ciBzdWJtaXNzaW9uLgo= |