Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments

En el caso de personas con limitación motriz de miembros superiores, los gestos faciales son la principal forma de comunicarse con el mundo. Sin embargo, las interfaces actuales basadas en gestos no tienen en cuenta la reducción de movilidad que la mayoría de las personas con limitación motriz exper...

Full description

Autores:
Ferrín-Bolaños, Carlos
Mosquera-DeLaCruz, José
Pino-Murcia, John
Moctezuma-Ruiz, Luis
Burgos-Martínez, Jonathan
Aragón-Valencia, Luis
Loaiza-Correa, Humberto
Tipo de recurso:
Article of journal
Fecha de publicación:
2021
Institución:
Instituto Tecnológico Metropolitano
Repositorio:
Repositorio ITM
Idioma:
spa
OAI Identifier:
oai:repositorio.itm.edu.co:20.500.12622/4653
Acceso en línea:
https://revistas.itm.edu.co/index.php/tecnologicas/article/view/1722
http://hdl.handle.net/20.500.12622/4653
Palabra clave:
Interfaz humano-computador
detección de rostros
visión por computador
tecnología de asistencia
Human-computer interface
face detection
computer vision
assistive technology
Rights
License
Copyright (c) 2020 TecnoLógicas
id RepoITM2_7efd9fd79e280efb4dedd443b471af44
oai_identifier_str oai:repositorio.itm.edu.co:20.500.12622/4653
network_acronym_str RepoITM2
network_name_str Repositorio ITM
repository_id_str
dc.title.spa.fl_str_mv Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
dc.title.alternative.eng.fl_str_mv Interfaz humano-computador basada en gestos faciales y orientada a la aplicación WhatsApp para personas con limitación motriz de miembros superiores
title Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
spellingShingle Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
Interfaz humano-computador
detección de rostros
visión por computador
tecnología de asistencia
Human-computer interface
face detection
computer vision
assistive technology
title_short Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
title_full Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
title_fullStr Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
title_full_unstemmed Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
title_sort Human-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor Impairments
dc.creator.fl_str_mv Ferrín-Bolaños, Carlos
Mosquera-DeLaCruz, José
Pino-Murcia, John
Moctezuma-Ruiz, Luis
Burgos-Martínez, Jonathan
Aragón-Valencia, Luis
Loaiza-Correa, Humberto
dc.contributor.author.none.fl_str_mv Ferrín-Bolaños, Carlos
Mosquera-DeLaCruz, José
Pino-Murcia, John
Moctezuma-Ruiz, Luis
Burgos-Martínez, Jonathan
Aragón-Valencia, Luis
Loaiza-Correa, Humberto
dc.subject.spa.fl_str_mv Interfaz humano-computador
detección de rostros
visión por computador
tecnología de asistencia
topic Interfaz humano-computador
detección de rostros
visión por computador
tecnología de asistencia
Human-computer interface
face detection
computer vision
assistive technology
dc.subject.keywords.eng.fl_str_mv Human-computer interface
face detection
computer vision
assistive technology
description En el caso de personas con limitación motriz de miembros superiores, los gestos faciales son la principal forma de comunicarse con el mundo. Sin embargo, las interfaces actuales basadas en gestos no tienen en cuenta la reducción de movilidad que la mayoría de las personas con limitación motriz experimentan durante sus periodos de recuperación. Como alternativa para superar esta limitación, se presenta una interfaz humana-computador basada en técnicas de visión por computador sobre dos tipos de imagen: la imagen del rostro capturada mediante webcam y la captura de pantalla de una aplicación de escritorio en primer plano. La primera imagen es utilizada para detectar, seguir y estimar la pose del rostro con el fin de desplazar y ejecutar comandos con el cursor; la segunda imagen es utilizada para lograr que los desplazamientos del cursor sean realizados a zonas específicas de interacción de la aplicación de escritorio. La interfaz es programada totalmente en Python 3.6 utilizando bibliotecas de código abierto y se ejecuta en segundo plano dentro del sistema operativo Windows. El desempeño de la interfaz se evalúa con videos de personas utilizando cuatro comandos de interacción con la aplicación WhatsApp versión de escritorio. Se encontró que la interfaz puede operar con varios tipos de iluminación, fondos, distancias a la cámara, posturas y velocidades de movimiento; la ubicación y el tamaño de la ventana de WhatsApp no afecta la efectividad de la interfaz. La interfaz opera a una velocidad de 1 Hz y utiliza el 35 % de la capacidad de un procesador Intel Core i5 y 1,5 GB de RAM para su ejecución lo que permite concebir esta solución en equipos de cómputo personales.
publishDate 2021
dc.date.accessioned.none.fl_str_mv 2021-04-21T16:55:20Z
dc.date.available.none.fl_str_mv 2021-04-21T16:55:20Z
dc.date.issued.none.fl_str_mv 2021-01-30
dc.type.none.fl_str_mv info:eu-repo/semantics/article
dc.type.eng.fl_str_mv Articles
dc.type.coar.fl_str_mv http://purl.org/coar/resource_type/c_2df8fbb1
dc.type.coarversion.fl_str_mv http://purl.org/coar/version/c_970fb48d4fbd8a85
dc.type.spa.spa.fl_str_mv Artículos
dc.type.coar.none.fl_str_mv http://purl.org/coar/resource_type/c_6501
format http://purl.org/coar/resource_type/c_6501
dc.identifier.none.fl_str_mv https://revistas.itm.edu.co/index.php/tecnologicas/article/view/1722
10.22430/22565337.1722
dc.identifier.uri.none.fl_str_mv http://hdl.handle.net/20.500.12622/4653
url https://revistas.itm.edu.co/index.php/tecnologicas/article/view/1722
http://hdl.handle.net/20.500.12622/4653
identifier_str_mv 10.22430/22565337.1722
dc.language.iso.none.fl_str_mv spa
language spa
dc.relation.none.fl_str_mv https://revistas.itm.edu.co/index.php/tecnologicas/article/view/1722
10.22430/22565337.1722
dc.relation.ispartofjournal.none.fl_str_mv TecnoLógicas
dc.rights.spa.fl_str_mv Copyright (c) 2020 TecnoLógicas
http://creativecommons.org/licenses/by-nc-sa/4.0
dc.rights.coar.fl_str_mv http://purl.org/coar/access_right/c_abf2
rights_invalid_str_mv Copyright (c) 2020 TecnoLógicas
http://creativecommons.org/licenses/by-nc-sa/4.0
http://purl.org/coar/access_right/c_abf2
dc.format.mimetype.none.fl_str_mv application/pdf
dc.publisher.spa.fl_str_mv Instituto Tecnológico Metropolitano - ITM
dc.source.none.fl_str_mv 2256-5337
0123-7799
dc.source.eng.fl_str_mv TecnoLógicas; Vol. 24 No. 50 (2021); e1722
dc.source.spa.fl_str_mv TecnoLógicas; Vol. 24 Núm. 50 (2021); e1722
institution Instituto Tecnológico Metropolitano
repository.name.fl_str_mv Repositorio Instituto Tecnológico Metropolitano de Medellín
repository.mail.fl_str_mv bdigital@metabiblioteca.com
_version_ 1837096894096998400
spelling Ferrín-Bolaños, CarlosMosquera-DeLaCruz, JoséPino-Murcia, JohnMoctezuma-Ruiz, LuisBurgos-Martínez, JonathanAragón-Valencia, LuisLoaiza-Correa, Humberto2021-04-21T16:55:20Z2021-04-21T16:55:20Z2021-01-30https://revistas.itm.edu.co/index.php/tecnologicas/article/view/172210.22430/22565337.1722http://hdl.handle.net/20.500.12622/4653En el caso de personas con limitación motriz de miembros superiores, los gestos faciales son la principal forma de comunicarse con el mundo. Sin embargo, las interfaces actuales basadas en gestos no tienen en cuenta la reducción de movilidad que la mayoría de las personas con limitación motriz experimentan durante sus periodos de recuperación. Como alternativa para superar esta limitación, se presenta una interfaz humana-computador basada en técnicas de visión por computador sobre dos tipos de imagen: la imagen del rostro capturada mediante webcam y la captura de pantalla de una aplicación de escritorio en primer plano. La primera imagen es utilizada para detectar, seguir y estimar la pose del rostro con el fin de desplazar y ejecutar comandos con el cursor; la segunda imagen es utilizada para lograr que los desplazamientos del cursor sean realizados a zonas específicas de interacción de la aplicación de escritorio. La interfaz es programada totalmente en Python 3.6 utilizando bibliotecas de código abierto y se ejecuta en segundo plano dentro del sistema operativo Windows. El desempeño de la interfaz se evalúa con videos de personas utilizando cuatro comandos de interacción con la aplicación WhatsApp versión de escritorio. Se encontró que la interfaz puede operar con varios tipos de iluminación, fondos, distancias a la cámara, posturas y velocidades de movimiento; la ubicación y el tamaño de la ventana de WhatsApp no afecta la efectividad de la interfaz. La interfaz opera a una velocidad de 1 Hz y utiliza el 35 % de la capacidad de un procesador Intel Core i5 y 1,5 GB de RAM para su ejecución lo que permite concebir esta solución en equipos de cómputo personales.People with reduced upper-limb mobility depend mainly on facial gestures to communicate with the world; nonetheless, current facial gesture-based interfaces do not take into account the reduction in mobility that most people with motor limitations experience during recovery periods. This study presents an alternative to overcome this limitation, a human-computer interface based on computer vision techniques over two types of images: images of the user’s face captured by a webcam and screenshots of a desktop application running on the foreground. The first type is used to detect, track, and estimate gestures, facial patterns in order to move and execute commands with the cursor, while the second one is used to ensure that the cursor moves to specific interaction areas of the desktop application. The interface was fully programmed in Python 3.6 using open source libraries and runs in the background in Windows operating systems. The performance of the interface was evaluated with videos of people using four interaction commands in WhatsApp Desktop. We conclude that the interface can operate with various types of lighting, backgrounds, camera distances, body postures, and movement speeds; and the location and size of the WhatsApp window does not affect its effectiveness. The interface operates at a speed of 1 Hz and uses 35 % of the capacity a desktop computer with an Intel Core i5 processor and 1.5 GB of RAM for its execution; therefore, this solution can be implemented in ordinary, low-end personal computers.application/pdfspaInstituto Tecnológico Metropolitano - ITMhttps://revistas.itm.edu.co/index.php/tecnologicas/article/view/172210.22430/22565337.1722TecnoLógicasCopyright (c) 2020 TecnoLógicashttp://creativecommons.org/licenses/by-nc-sa/4.0http://purl.org/coar/access_right/c_abf22256-53370123-7799TecnoLógicas; Vol. 24 No. 50 (2021); e1722TecnoLógicas; Vol. 24 Núm. 50 (2021); e1722Interfaz humano-computadordetección de rostrosvisión por computadortecnología de asistenciaHuman-computer interfaceface detectioncomputer visionassistive technologyHuman-Computer Interface Based on Facial Gestures Oriented to WhatsApp for Persons with Upper-Limb Motor ImpairmentsInterfaz humano-computador basada en gestos faciales y orientada a la aplicación WhatsApp para personas con limitación motriz de miembros superioresArtículosinfo:eu-repo/semantics/articleArticleshttp://purl.org/coar/resource_type/c_6501http://purl.org/coar/resource_type/c_2df8fbb1http://purl.org/coar/version/c_970fb48d4fbd8a85Publication20.500.12622/4653oai:dspace-itm.metabuscador.org:20.500.12622/46532025-06-20 16:14:21.411metadata.onlyhttps://dspace-itm.metabuscador.orgRepositorio Instituto Tecnológico Metropolitano de Medellínbdigital@metabiblioteca.com

Publicaciones similares