Educational technology to teach lip reading: a systematic review of the literature
Abstract
The objective of this study is to identify the production of educational resources from scientific publications, web pages and mobile application store for the teaching of lip reading to the deaf, emphasizing the applied educational methodologies and the use of technology. The results refer to technological solutions supported by audiovisual elements and texts, leaving sign language in the background. The methodological approach applied is passive, combines synchronous and asynchronous media, uses low levels of gamification and extended reality, demands prior knowledge of reading and writing to interact with the tools that are oriented to the practice of vocabulary or phrases. The presence of mobile applications is minimal in relation to the number of web pages and projects derived from scientific productions to teach lip reading, in general they scarcely mention technical documentation of the projects unless they are the product of formal postgraduate studies.
Downloads
References
Caiza, Juan José; Villalba, Katerine Márceles; Chanchí, G. E. (2020). Herramienta tecnológica disruptiva para la inclusión social en personas sordas. Revista Ibérica de Sistemas e Tecnologias de Informação. https://www.proquest.com/docview/2385759327?pq-origsite=gsc
holar&fromopenview=true
Comisión Económica para América Latina y el Caribe -CEPAL. (2011). Aprender y enseñar con las tecnologías de la información y las comunicaciones en América Latina: potenciales beneficios. In Publicaciones CEPAL. https://www.cepal.org/es/publicaciones/6177-aprender-ensenar-tecnologias-la-informacion-comunicaciones-america-latina
Maas, M. J., & Hughes, J. M. (2020). Virtual, augmented and mixed reality in K–12 education: a review of the literature. Taylor & Francis Online, 29(2), 231–249. https://doi.org/10.1080/1475939X.2020.1737210
Mann, S., Furness, T., Yuan, Y., Iorio, J., & Wang, Z. (2018). All Reality: Virtual, Augmented, Mixed (X), Mediated (X,Y), and Multimediated Reality. ArXivLabs. https://arxiv.org/abs/1804.08386v1
Sánchez-García, J. M., & Toledo-Morales, P. (2017). Tecnologías convergentes para la enseñanza: Realidad Aumentada, BYOD, Flipped Classroom. Revista de Educación a Distancia (RED), 55(55), 22–34. https://revistas.um.es/red/article/view/315351
Rosell Puig, W., & Paneque Ramos, E. R. (2009). Consideraciones generales de los metodos de enseñanza y su aplicacion en cada etapa del aprendizaje. Revista Habanera de Ciencias Médicas, 8(2). http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1729-519X2009000200016
Tecnologías de Inclusión CEDETi UC. (n.d.). Sueñaletras. CEDETi UC - Software Educativo. http://www.cedeti.cl/tecnologias- inclusivas/software-educativo/suenaletras/
Tello, O., Varela, J., & Palos Toscano, Ú. (2018). Revisión teórica sobre los factores que influyen en el desarrollo de la competencia lectora de personas sordas. UARICHA, 14, 30–46. https://acortar.link/NW4B2R
Cruz Marte, C. E. (2017). ¿Qué opinan las personas sordas sobre el aprendizaje de la lengua escrita? Ciencia y Sociedad, 42(4), 73–82. https://doi.org/10.22206/cys.2017.v42i4.pp73-82
Diario El Telégrafo. (2018). Con la lengua de señas, todos están incluidos. https://www.eltelegrafo.com.ec/noticias/sociedad/6/lengua- senas-inclusion
Consejo Nacional de Igualdad de Discapacidades - (CONADIS). (2014). Diccionario Gabriel Roman. http://www.plataformaconadis.gob.ec/~platafor/diccionario/
Bibish Kumar, K. T., John, S., Muraleedharan, K. M., & Sunil Kumar, R. K. (2021). Linguistically involved data-driven approach for Malayalam phoneme-to-viseme mapping. Applied Speech Processing, 117–145. https://doi.org/10.1016/B978-0-12-823898-1.00003-5
Fonoaudiólogos. (2012). Aprendizaje de lectura labiofacial (LLF). https://fonoaudiologos.wordpress.com/tag/visema/
Microsoft Docs - Azure Cognitive Services. (2021). Cómo obtener eventos de postura facial para la sincronización de labios - Azure Cognitive Services | Microsoft Docs. https://docs.microsoft.com/es- es/azure/cognitive-services/speech-service/how-to-speech-synthesis-viseme?pivots=programming-language-csharp
García Vallejo Septién, M. (2020). Guía práctica de comunicación y entendimiento para personas con problemas de audición. Técnica Septién. YouTube Lectura Labiofacial - Técnica Septién; YouTube. https://www.youtube.com/watch?v=2qcdDLjn6F8
Mireia. (2020). Lectura Labial Técnica Septién. Blog Como Me Oyes. https://comomeoyes.com/blog/lectura-labial-tecnica-septien/
Velasco, C., & Pérez, I. (2009). Sistemas y recursos de apoyo a la comunicación y al lenguaje de los alumnos sordos. Revista Latinoamericana de Educación Inclusiva. https://sid.usal.es/idocs/f8/art11923/sistemas_y_recursos_de_apoyo.pdf
Garrison, K. (2019). Theorizing lip reading as interface design. Communication Design Quarterly Review, 6(4), 24–34. https://doi.org/10.1145/3309589.3309592
Velasco, C., & Pérez, I. (2009). Sistemas y recursos de apoyo a la comunicación y al lenguaje de los alumnos sordos. Revista Latinoamericana de Educación Inclusiva.
Peluso, L. (2018). Los Sordos, sus lenguas y su textualidad diferida. Traslaciones: Revista Latinoamericana de Lectura y Escritura, 5(9), 40–61. https://dialnet.unirioja.es/servlet/articulo?codigo=6895487
Del Pezo Izaguirre, E., Abásolo, M. J., & Collazos, C. A. (2019). Educational methodologies for deaf children supported by mobile technology and extended reality: a systematic analysis of literature. IEEE - RITA
Del Pezo Izaguirre, E., Abásolo, M. J., & Collazos, C. A. (2020). Uso de tecnologías móviles y realidad extendida para personas sordas: Una revisión sistemática de la literatura de acceso abierto. XV Conferencia Latinoamericana de Tecnologías de Aprendizaje.
Kitchenham, B. (2004). Procedures for Performing Systematic Reviews. https://doi.org/10.5144/0256-4947.2017.79
Mena Roa, M. (2021). Android y iOS dominan el mercado de los smartphones. Statista. https://es.statista.com/grafico/18920/cuota-de-mercado-mundial-de-smartphones-porsistema-operativo/
Gamze, S., Dalkilic, G., Kut, A., Cebi, Y., & Serbetcioglu, B. (2007). Computer Aided Lip Reading Training Tool. Online Submission, 2–5
Nittaya, W., Wetchasit, K., & Silanon, K. (2018). Thai Lip-Reading CAI for Hearing Impairment Student. 2018 Seventh ICT International Student Project Conference (ICT-ISPC), 1–4. https://doi.org/10.1109/ICT-ISPC.2018.8523956
Gorman, B. M., & Flatla, D. R. (2018). MirrorMirror: A mobile application to improve speechreading acquisition. Conference on Human Factors in Computing Systems - Proceedings, 2018-April. https://doi.org/10.1145/3173574.3173600
Gebert, H., & Bothe, H. H. (2010). LIPPS - a virtual teacher for speechreading based on a dialog-controlled talking-head. ICCHP’10: Proceedings of the 12th International Conference on Computers Helping People with Special Needs: Part I, 621–629. https://dl.acm.org/doi/abs/10.5555/1886667.1886781
Czap, L. (2018). Online subjective assessment of the speech of deaf and hard of hearing children. Periodica Polytechnica Electrical Engineering and Computer Science, 62(4), 126–133. https://doi.org/10.3311/PPee.9215
Muljono, M., Saraswati, G., Winarsih, N., Rokhman, N., Supriyanto, C., & Pujiono, P. (2019). Developing BacaBicara: An Indonesian Lipreading System as an Independent... International Journal of Emerging Technologies in Learning (IJET), 14(4), 44–57
Gorman, B. M., & Flatla, D. R. (2017). A framework for speechreading acquisition tools. Conference on Human Factors in Computing Systems - Proceedings, 2017-May, 519–530. https://doi.org/10.1145/3025453.3025560
Gil González, S. (2013). Cómo hacer Apps accesibles. Recuperado en mayo 14, 2022, de http://riberdis.cedid.es/handle/11181/4171
UNESCO. (n.d.). Aprendizaje móvil. Las TIC En La Educación. Recuperado en mayo 14, 2022, de https://es.unesco.org/themes/tic- educacion/aprendizaje-movil
González Fernández, A. (2017). El papel del diseño pedagógico en los entornos virtuales de educación digital. In Actas I Encuentro de doctorados e investigadores noveles. https://dialnet.unirioja.es/servlet/articulo?codigo=7718599
Gonzalez, Marcela P. Benchoff, Delia Esther Huapaya, Constanza Raquel Remón, C. A., Lazurri, G., Guccione, L., & Lizarralde, F. Á. J. (2018). Avances en la personalización y adaptación de pruebas en un ambiente virtual de aprendizaje. http://sedici.unlp.edu.ar/handle/10915/73088
Ministerio de Educación y Formación Profesional - Gobierno de España. (n.d.). Red Intergubernamental Iberoamericana de Cooperación para la Educación de Personas con Necesidades Educativas Especiales (RIINEE) - Ministerio de Educación y Formación Profesional. http://www.educacionyfp.gob.es/contenidos/ba/actividad- internacional/cooperacioneducativa/riinee.html#ancla0-6
Herrera F, V. (2005). Habilidad linguistica y fracaso lector en estudiantes sordos. Estudios Pedagógicos (Valdivia), 31(2), 121–135. https://doi.org/10.4067/S0718-07052005000200008
Holmer, E., Heimann, M., & Rudner, M. (2017). Computerized Sign Language-Based Literacy Training for Deaf and Hard-of-Hearing Children. The Journal of Deaf Studies and Deaf Education, 22(4), 404–421. https://doi.org/10.1093/deafed/enx023
Sarmasik, G., Dalkilic, G., Kut, A., Cebi, Y., & Serbetcioglu, B. (2007). Computer Aided Lip Reading Training Tool. In Online Submission
Sierra-Martínez, L. M., Golondrino, P. G. E. C., & Álvarez, P. M. C. G. (2022). Directrices para el diseño y la construcción de videojuegos serios educativos. Revista Colombiana de Educación, 1(84). https://doi.org/10.17227/rce.num84-12759
Cruz-Lara, S., Fernández Manjón, B., & Vaz de Carvalho, C. (2013). Enfoques Innovadores en Juegos Serios. Enfoques Innovadores En Juegos Serios. IEEE VAEP RITA, 1(1), 19–21. http://seriousgamesnet.eu/community
Taipe, M. A., Taipe, M. S. A., Pesántez, D. Á., Rivera, L., & Vizueta, D. O. (2017). Juegos Serios en el Proceso de Aprendizaje. UTCiencia “Ciencia y Tecnología Al Servicio Del Pueblo,” 4(2), 111–122. http://investigacion.utc.edu.ec/revistasutc/index.php/utciencia/article/view/70
This article is published by LAJC under a Creative Commons Attribution-Non-Commercial-Share-Alike 4.0 International License. This means that non-exclusive copyright is transferred to the National Polytechnic School. The Author (s) give their consent to the Editorial Committee to publish the article in the issue that best suits the interests of this Journal. Find out more in our Copyright Notice.
Disclaimer
LAJC in no event shall be liable for any direct, indirect, incidental, punitive, or consequential copyright infringement claims related to articles that have been submitted for evaluation, or published in any issue of this journal. Find out more in our Disclaimer Notice.
