Modelo de interpretación de lengua de señas colombiano usando inteligencia artificial
Resumen
En este trabajo se presentan dos modelos de interpretación de Lengua de Señas Colombiana (LSC), usando métodos estáticos y dinámicos que emplean inteligencia artificial. Se utilizó como referente la metodología CRISP-DM, creando una base de datos con videos de setenta participantes no expertos, siendo preprocesados y posteriormente divididos en proporciones de 70% - 30% para entrenamiento y prueba, respectivamente. El repositorio se nombró como LSC-W70 y se empleó sobre un modelo preentrenado de redes neuronales convolucionales y otro en combinación con redes LSTM. Los resultados alcanzaron un 67% y 76% accuracy para los modelos estático y dinámico, respectivamente, donde el modelo dinámico presenta mejoras en señas similares identificando la dirección del movimiento para definir el tipo de seña. En este sentido, se desarrolló una herramienta de interpretación dinámica de lengua de señas colombiano que ayuda a cerrar brechas de comunicación generando igualdad entre las personas.
Palabras clave
lengua de señas colombiano;, CNN;, LSTM;, CRISP-DM
Biografía del autor/a
Jader Alejandro Muñoz-Galindez
Ingeniero Físico
Rubiel Vargas-Cañas
Ingeniero de Sistemas, PhD. in Biomedical Engineering
Citas
- Boháček, M., & Hrúz, M. (2022). Sign Pose-based Transformer for Word-level Sign Language Recognition. 2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW), 182-191. https://doi.org/10.1109/WACVW54805.2022.00024 DOI: https://doi.org/10.1109/WACVW54805.2022.00024
- Díaz, C., Goycoolea, M., & Cardemil, F. (2016). HIPOACUSIA: TRASCENDENCIA, INCIDENCIA Y PREVALENCIA. Revista Médica Clínica Las Condes, 27 (6), 731-739. https://doi.org/10.1016/j.rmclc.2016.11.003 DOI: https://doi.org/10.1016/j.rmclc.2016.11.003
- Galvis-Serrano, E. H., Sánchez-Galvis, I., Flórez, N., & Zabala-Vargas, S. (2019). Clasificación de Gestos de la Lengua de Señas Colombiana a partir del Análisis de Señales Electromiográficas utilizando Redes Neuronales Artificiales. Información Tecnológica, 30 (2), 171-180. https://doi.org/10.4067/S0718-07642019000200171 DOI: https://doi.org/10.4067/S0718-07642019000200171
- IBM. (febrero 27, 2021). Documentation. https://www.ibm.com/docs/en/cloud-paks/cp-data/3.0.1?topic=overview-accuracy
- INSOR, (2021). Informe técnico Estado Goce en Derechos de la Población sorda 2019.
- INSOR. (2011). Diccionario básico de la lengua de señas colombiana. Imprenta nacional de Colombia. http://www.insor.gov.co/descargar/diccionario_basico_completo.pdf
- Jimenez, G., Moreno, E., Guzman, R., & Barrero, J. (2019). Automatic method for Recognition of Colombian Sign Language for vowels and numbers from zero to five by using SVM and KNN. 2019 Congreso Internacional de Innovación y Tendencias En Ingeniería (CONIITI). https://doi.org/10.1109/coniiti48476.2019.8960695 DOI: https://doi.org/10.1109/CONIITI48476.2019.8960695
- Konstantinidis, D., Dimitropoulos, K., & Daras, P. (2018). A deep learning approach for analyzing video and skeletal features in sign language recognition. 2018 IEEE International Conference on Imaging Systems and Techniques (IST). https://doi.org/10.1109/ist.2018.8577085 DOI: https://doi.org/10.1109/IST.2018.8577085
- Martínez, F., Robayo-Betancourt, F., & Arbulú, M. (2020). A gesture recognition system for the Colombian sign language based on convolutional neural networks. Bulletin of Electrical Engineering and Informatics, 9 (5), 2082–2089. https://doi.org/10.11591/eei.v9i5.2440 DOI: https://doi.org/10.11591/eei.v9i5.2440
- Mindlin, I. (2021). Reconocimiento de Lengua de Señas con redes neuronales recurrentes. Universidad Nacional de La Plata. http://sedici.unlp.edu.ar/handle/10915/129853
- Monsalve-Pineda, K. V., & Polo-Álvarez, J. E. (2016). Traductor de símbolos de alfabeto del lenguaje de signos colombiano al lenguaje escrito. Universidad del Valle. https://bibliotecadigital.univalle.edu.co/handle/10893/17348
- Ortiz-Farfán, N., & Camargo-Mendoza, J. E. (2020). Modelo computacional para reconocimiento de lenguaje de señas en un contexto colombiano. TecnoLógicas, 23 (48), 197–232. https://doi.org/10.22430/22565337.1585 DOI: https://doi.org/10.22430/22565337.1585
- Suat-Rojas, N. E., Montoya-Serna, B. S., Pinzón-Velásquez, E. M., & Rodríguez-Galeano, O. S. (2021). Reconocimiento del abecedario de la lengua de señas colombiana con Redes Neuronales Convolucionales. Orinoquia, 25 (1), 25-30. https://doi.org/10.22579/20112629.680 DOI: https://doi.org/10.22579/20112629.680
- Vaghasiya, D. (2021). Dynamic gesture classification of American Sign Language using deep learning. Laurentian University of Sudbury. https://zone.biblio.laurentian.ca/jspui/handle/10219/3843
- Vasilev, I., Slater, D., Spacagna, G., Roelants, P., & Zocca, V. (2019). Python Deep Learning: Exploring Deep Learning Techniques and Neural Network Architectures with PyTorch, Keras, and TensorFlow. Packt Publishing.