Sistema basado en reconocimiento gestual para determinar la sintomatología de pacientes sordomudos en el proceso de anamnesis

Para el desarrollo del proyecto de un sistema basado en reconocimiento gestual para determinar la sintomatología de pacientes sordomudos en el proceso de anamnesis, primeramente, se realizó una fase de análisis que consistió en investigar sobre el proceso de anamnesis con pacientes sordomudo, más específicamente en que cosiste dicho proceso, cuáles son las preguntas más relevantes durante el proceso y cuáles son las respuestas más comunes de un paciente sordomudo a las preguntas que realiza el médico en el proceso de anamnesis. La segunda fase de desarrollo consistió en saber cuáles son los requisitos funcionales que debe integrar la aplicación de reconocimiento gestual sintomatológico, luego diseñar la arquitectura del sistema, que muestra los elementos que estarán presentes en el sistema, después de analizar cuáles fueron las respuestas más comunes que da un paciente sordomudo en la primera fase de análisis, se procede a crear los clips de cada síntoma usan Kinect Studio V2 y luego crear la base de datos utilizando la herramienta Visual Gesture Builder(VGB), para la creación de cada una de las bases de datos ¿Qué Sientes?, ¿Sientes algo más?, ¿Dónde te Duele? y ¿Te duele algo más?, las cuales contienen dos síntomas por cada base de dato. Después se inició el desarrollo de la ampliación, primeramente con el diseño de las vistas (inicio, datos paciente y doctor, módulo doctor y módulo paciente) usando como IDE Visual Studio y para la creación de cada ventana Windows Forms, segundo se procedió con la codificación de cada ventana para darle funciones a los botones, etiquetas, paneles entre otras más, tercero se asoció la librería Microsoft Kinect al proyecto para poder realizar la conexión entre el aplicativo y el dispositivo Kinect V2, cuarto se integraron las bases de datos anteriormente creadas al proyecto y para poder crear la conexión con ellas se asoció la librería Microsoft Kinect Visual Gesture Builder, la cual permite comunicar el aplicativo con cada una de las bases de datos. Quinto se integró al proyecto la librería AdaBoostTech, la cual tiene como función buscar patrones y relacionar lo que el Kinect capta y los síntoma almacenados en las bases de datos en busca de coincidencias, y por último se integraron las ayudas para la interacción con el proceso que son el video introductorio, que muestra una serie de recomendación para realizar el proceso de anamnesis y las ayudas para saber cómo interactuar con cada pregunta que realice el doctor, estas son respuesta pregunta uno, respuesta pregunta dos, respuesta pregunta tres y respuesta pregunta cuatro. La última fase de prueba de reconocimiento gestual consistió en realizar pruebas de distancia del Kinect al paciente y de altura del paciente, es decir, si dependiendo de la distancia del Kinect al paciente y la altura del paciente mejora o empeora el reconocimiento gesto, para estas pruebas se tomó una población de 4 personas que tenían las siguientes alturas 1.2m, 1.46m, 1.5m y 1.63 y se ubicó cada persona a las siguientes distancias del Kinect 1.5m, 2.3m y 3m, después de realizar las pruebas se llegó a la conclusión que el paciente debe ubicarse a 2.3m del Kinect para lograr un buen reconocimiento ya sea con una persona de 1.2m o 1.63m o más.

• Autores: Marino Hoyos, Jean Paul; Castaño Sinning, Juan David
• Tipo de recurso: Trabajo de grado de pregrado
• Fecha de publicación: 2020
• Institución: Universidad de Córdoba
• Repositorio: Repositorio Institucional Unicórdoba
• Idioma: spa
• OAI Identifier: oai:repositorio.unicordoba.edu.co:ucordoba/3722
• Acceso en línea: https://repositorio.unicordoba.edu.co/handle/ucordoba/3722
• Palabra clave: Sordomudo; Gesto; Anamnesis; Kinect; Reconocimiento gestual; Gestual; Inclusión Social; Paciente; Médico; Deaf-Mute; Gesture; Anamnesis; Kinect; Gesture recognition; AdaBoostTech; Gestural; Social inclusion; Patient; Doctor
• Rights: openAccess
• License: Copyright Universidad de Córdoba, 2020