Ir al menú de navegación principal Ir al contenido principal Ir al pie de página del sitio

Vol. 33 Núm. 69 (2024)
Julio-Septiembre 2024: Ciencia abierta al servicio de la Ingeniería

Articulos

Cerrando la brecha comunicativa mediante el aprendizaje automático con una herramienta lingüística para personas sordas

https://doi.org/10.19053/uptc.01211129.v33.n69.2024.17473

Publicado 2024-07-30

  • Manuel-Francisco Silva-Joaqui
    • ,
  • Katerine Marceles-Villalba
    • ,
  • Siler Amador-Donado

Manuel-Francisco Silva-Joaqui
Institución Universitaria Colegio Mayor del Cauca image/svg+xml

Katerine Marceles-Villalba
Universidad del Cauca image/svg+xml

Siler Amador-Donado
Universidad del Cauca image/svg+xml

Resumen

En la actualidad, existe una gran variedad de recursos y herramientas en internet para la integración de inteligencia artificial en proyectos relacionados con el lenguaje. Este artículo propone el uso de aprendizaje automático para abordar y reducir la brecha comunicacional entre personas oyentes y personas sordas que utilizan la lengua de señas como forma de comunicación. Con este objetivo, se empleó la herramienta Edge Impulse, la cual facilita la implementación de modelos de aprendizaje automático en dispositivos móviles. El proyecto SinSeñas2.0 surgió como una respuesta a esta necesidad y se basa en la metodología de Programación Extrema (XP) para entender las necesidades del usuario y ofrecer una solución efectiva. Se recopiló un dataset (conjunto de datos) de 3102 imágenes de señas colombianas, que fue dividido en 80% para entrenamiento y 20% para pruebas. Se utilizaron redes neuronales convolucionales (CNN) y técnicas de aprendizaje profundo para entrenar el modelo, lo cual permitió mejorar la precisión en el reconocimiento de las señas. Los resultados mostraron que la configuración 1 del modelo, con una precisión del 99% y una pérdida del 0.03%, era la más efectiva. Esta configuración utilizó un tamaño de entrada de 96x96 y empleó transfer learning con la red neuronal MobileNet V2. La herramienta también incluyó técnicas de aumento de datos para crear un dataset balanceado y diversificado, mejorando así la robustez del modelo frente a diferentes condiciones de captura. La investigación demuestra que SinSeñas2.0 mejora significativamente la precisión y eficiencia del reconocimiento de la lengua de señas en comparación con enfoques anteriores que no utilizaban aprendizaje automático. Este avance no solo facilita la comunicación entre personas oyentes y sordas, sino que también representa un aporte significativo en la tecnología de traducción de la lengua de señas, promoviendo la inclusión social de las personas sordas.

Palabras clave

aprendizaje automático, brecha comunicacional, Edge Impulse, Aplicaciones de inteligencia artificial, personas sordas, traducción de lengua de señas colombiana

PDF

Citas

  1. C. Kwakye-Ndlovu, “The Impact of Technological Innovation On Deaf and Hard of Hearing Communities,” Honors College Theses, no. 987, Georgia Southern University, 2024. [Online]. https://digitalcommons.georgiasouthern.edu/honors-theses/987
  2. L. A. Tovar, and L. López, “La clasificación en la lengua de señas colombiana (LSC),” Lenguaje, vol. 46, no. 1, e6194, 2018. https://doi.org/10.25100/lenguaje.v46i1.6194
  3. World Federation of the Deaf, “Deaf People and Employment in the Developing World,” Global Report. Together, We have Achieved Much, 2019-2023. [Online]. https://wfdeaf.org/wp-content/uploads/2023/09/2019-2023-WFD-Report.pdf
  4. P. A. Rodríguez-Correa, A. Valencia-Arias, O. N. Patiño-Toro, Y. Oblitas Díaz, R. Teodori De la Puente, “Benefits and development of assistive technologies for Deaf people’s communication: A systematic review”, Frontiers Education, vol. 8, e1121597, 2023.
  5. https://doi.org/10.3389/feduc.2023.1121597
  6. C. F. Bravo Mosquera, M. F. Silva Joaqui, K. Márceles Villalba, S. Amador Donado, “SINSEÑAS: Mobile application for learning and translation of colombian sign language”, Ingenieria y Competitividad, vol. 26, no. 1, e12815, 2024. https://doi.org/10.25100/iyc.v26i1.12815
  7. J. A. Meriño Guzmán, “Diseño de un guante electrónico para la interpretación y traducción del lenguaje de señas en personas con discapacidad auditiva mediante tecnología Arduino e interfaz de visualización por medio de una aplicación Android,” Thesis, Unidades Tecnológicas de Santander, Bucaramanga, Colombia, 2022. http://repositorio.uts.edu.co:8080/xmlui/handle/123456789/3302
  8. I. Papastratis, C. Chatzikonstantinou, D. Konstantinidis, K. Dimitropoulos, P. Daras, “Artificial Intelligence Technologies for Sign Language”, Sensors, vol. 21, no. 17, e5843, 2021. https://doi.org/10.3390/s21175843
  9. R. Sreemathy, M. Turuk, I. Kulkarni y S. Khurana, “Sign language recognition using artificial intelligence”, Educ. Inf. Technol., 2022. https://doi.org/10.1007/s10639-022-11391-z
  10. T. Ananthanarayana et al., “Deep Learning Methods for Sign Language Translation”, ACM Trans. Accessible Comput., vol. 14, no. 4, pp. 1–30, 2021. https://doi.org/10.1145/3477498
  11. J. Bora, S. Dehingia, A. Boruah, A. A. Chetia, D. Gogoi, “Real-time Assamese Sign Language Recognition using MediaPipe and Deep Learning”, Procedia Comput. Sci., vol. 218, pp. 1384–1393, 2023. https://doi.org/10.1016/j.procs.2023.01.117
  12. A. L. Cavalcante Carneiro, L. Brito Silva, D. H. Pinheiro Salvadeo, “Efficient sign language recognition system and dataset creation method based on deep learning and image processing,” in Proc. SPIE 11878, Thirteenth International Conference on Digital Image Processing (ICDIP 2021), e1187803, 2021. https://doi.org/10.1117/12.2601018
  13. S. Gan, Y. Yin, Z. Jiang, L. Xie, S. Lu, “Towards Real-Time Sign Language Recognition and Translation on Edge Devices,” in Proceedings of the 31st ACM International Conference on Multimedia (MM ‘23), october 2023, pp. 4502-4512. https://doi.org/10.1145/3581783.3611820
  14. A. Kanavos, O. Papadimitriou, P. Mylonas, M. Maragoudakis, “Enhancing Sign Language Recognition Using Deep Convolutional Neural Networks,” in 2023 14th International Conference on Information, Intelligence, Systems & Applications (IISA), 2023, pp. 1-4. https://doi.org/10.1109/IISA59645.2023.10345865
  15. R. Astya, A. Agrawal, A. Chauhan, A. K. Sony, K. R. Thakur, P. Nand, “Enhancing Sign Language Detection using Tensor Flow,” in 2023 5th International Conference on Advances in Computing, Communication Control and Networking (ICAC3N), Greater Noida, India, 2023, pp. 1-6. https://doi.org/10.1109/ICAC3N60023.2023.10541807.
  16. M. D. Dere, R. O. Dere, A. Adesina, A. R. Yauri, “Un marco integral para la traducción del lenguaje de señas americano a idiomas de bajos recursos en Nigeria,” Científico Africano, vol. 21, e01809, 2023. https://doi.org/10.1016/j.sciaf.2023.e01809.
  17. I. A. Adeyanju, O. O. Bello, M. A. Adegboye, “Machine learning methods for sign language recognition: A critical review and analysis,” Intelligent Systems with Applications, vol. 12, e200056, 2021. https://doi.org/10.1016/j.iswa.2021.200056.
  18. S. Ambler, Agile Modeling: Effective Practices for eXtreme Programming and the Unified Process. Editorial Theresa Hudson, 2002. https://msoo.pbworks.com/f/Scott+W.+Ambler+-+Agile+Modeling.pdf
  19. Ministerio de Salud y Protección Social, Boletines poblacionales: Personas con Discapacidad - PCD. Bogotá: Oficina de Promoción Social del Ministerio de Salud y Protección Social, 2020. https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/PS/boletinespoblacionales-
  20. personas-discapacidadI-2020.pdf
  21. J.J. Caiza, K. Márceles Villalba, “Estrategia inclusiva mediada por TIC para el mejoramiento de la comunicación de personas en condición de discapacidad auditiva y vocal,” Iberian Journal of information Systems and Technologies, vol. 23, pp. 184-193, 2019.

Descargas

Los datos de descargas todavía no están disponibles.