Educational technology to teach lip reading: a systematic review of the literature

  • Evelyn Jazmín Del Pezo Izaguirre Universidad de Guayaquil
  • María Abásolo Universidad Nacional de La Plata CICPBA
  • César Collazos Universidad del Cauca
Keywords: Lip Reading, Cued Speech, Deaf, Mobile Technologies, Extended Reality, Educational Methology, Educational Techniques

Abstract

The objective of this study is to identify the production of educational resources from scientific publications, web pages and mobile application store for the teaching of lip reading to the deaf, emphasizing the applied educational methodologies and the use of technology. The results refer to technological solutions supported by audiovisual elements and texts, leaving sign language in the background. The methodological approach applied is passive, combines synchronous and asynchronous media, uses low levels of gamification and extended reality, demands prior knowledge of reading and writing to interact with the tools that are oriented to the practice of vocabulary or phrases. The presence of mobile applications is minimal in relation to the number of web pages and projects derived from scientific productions to teach lip reading, in general they scarcely mention technical documentation of the projects unless they are the product of formal postgraduate studies.

DOI

Downloads

Download data is not yet available.

References

Caiza, Juan José; Villalba, Katerine Márceles; Chanchí, G. E. (2020). Herramienta tecnológica disruptiva para la inclusión social en personas sordas. Revista Ibérica de Sistemas e Tecnologias de Informação. https://www.proquest.com/docview/2385759327?pq-origsite=gsc

holar&fromopenview=true

Comisión Económica para América Latina y el Caribe -CEPAL. (2011). Aprender y enseñar con las tecnologías de la información y las comunicaciones en América Latina: potenciales beneficios. In Publicaciones CEPAL. https://www.cepal.org/es/publicaciones/6177-aprender-ensenar-tecnologias-la-informacion-comunicaciones-america-latina

Maas, M. J., & Hughes, J. M. (2020). Virtual, augmented and mixed reality in K–12 education: a review of the literature. Taylor & Francis Online, 29(2), 231–249. https://doi.org/10.1080/1475939X.2020.1737210

Mann, S., Furness, T., Yuan, Y., Iorio, J., & Wang, Z. (2018). All Reality: Virtual, Augmented, Mixed (X), Mediated (X,Y), and Multimediated Reality. ArXivLabs. https://arxiv.org/abs/1804.08386v1

Sánchez-García, J. M., & Toledo-Morales, P. (2017). Tecnologías convergentes para la enseñanza: Realidad Aumentada, BYOD, Flipped Classroom. Revista de Educación a Distancia (RED), 55(55), 22–34. https://revistas.um.es/red/article/view/315351

Rosell Puig, W., & Paneque Ramos, E. R. (2009). Consideraciones generales de los metodos de enseñanza y su aplicacion en cada etapa del aprendizaje. Revista Habanera de Ciencias Médicas, 8(2). http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1729-519X2009000200016

Tecnologías de Inclusión CEDETi UC. (n.d.). Sueñaletras. CEDETi UC - Software Educativo. http://www.cedeti.cl/tecnologias- inclusivas/software-educativo/suenaletras/

Tello, O., Varela, J., & Palos Toscano, Ú. (2018). Revisión teórica sobre los factores que influyen en el desarrollo de la competencia lectora de personas sordas. UARICHA, 14, 30–46. https://acortar.link/NW4B2R

Cruz Marte, C. E. (2017). ¿Qué opinan las personas sordas sobre el aprendizaje de la lengua escrita? Ciencia y Sociedad, 42(4), 73–82. https://doi.org/10.22206/cys.2017.v42i4.pp73-82

Diario El Telégrafo. (2018). Con la lengua de señas, todos están incluidos. https://www.eltelegrafo.com.ec/noticias/sociedad/6/lengua- senas-inclusion

Consejo Nacional de Igualdad de Discapacidades - (CONADIS). (2014). Diccionario Gabriel Roman. http://www.plataformaconadis.gob.ec/~platafor/diccionario/

Bibish Kumar, K. T., John, S., Muraleedharan, K. M., & Sunil Kumar, R. K. (2021). Linguistically involved data-driven approach for Malayalam phoneme-to-viseme mapping. Applied Speech Processing, 117–145. https://doi.org/10.1016/B978-0-12-823898-1.00003-5

Fonoaudiólogos. (2012). Aprendizaje de lectura labiofacial (LLF). https://fonoaudiologos.wordpress.com/tag/visema/

Microsoft Docs - Azure Cognitive Services. (2021). Cómo obtener eventos de postura facial para la sincronización de labios - Azure Cognitive Services | Microsoft Docs. https://docs.microsoft.com/es- es/azure/cognitive-services/speech-service/how-to-speech-synthesis-viseme?pivots=programming-language-csharp

García Vallejo Septién, M. (2020). Guía práctica de comunicación y entendimiento para personas con problemas de audición. Técnica Septién. YouTube Lectura Labiofacial - Técnica Septién; YouTube. https://www.youtube.com/watch?v=2qcdDLjn6F8

Mireia. (2020). Lectura Labial Técnica Septién. Blog Como Me Oyes. https://comomeoyes.com/blog/lectura-labial-tecnica-septien/

Velasco, C., & Pérez, I. (2009). Sistemas y recursos de apoyo a la comunicación y al lenguaje de los alumnos sordos. Revista Latinoamericana de Educación Inclusiva. https://sid.usal.es/idocs/f8/art11923/sistemas_y_recursos_de_apoyo.pdf

Garrison, K. (2019). Theorizing lip reading as interface design. Communication Design Quarterly Review, 6(4), 24–34. https://doi.org/10.1145/3309589.3309592

Velasco, C., & Pérez, I. (2009). Sistemas y recursos de apoyo a la comunicación y al lenguaje de los alumnos sordos. Revista Latinoamericana de Educación Inclusiva.

Peluso, L. (2018). Los Sordos, sus lenguas y su textualidad diferida. Traslaciones: Revista Latinoamericana de Lectura y Escritura, 5(9), 40–61. https://dialnet.unirioja.es/servlet/articulo?codigo=6895487

Del Pezo Izaguirre, E., Abásolo, M. J., & Collazos, C. A. (2019). Educational methodologies for deaf children supported by mobile technology and extended reality: a systematic analysis of literature. IEEE - RITA

Del Pezo Izaguirre, E., Abásolo, M. J., & Collazos, C. A. (2020). Uso de tecnologías móviles y realidad extendida para personas sordas: Una revisión sistemática de la literatura de acceso abierto. XV Conferencia Latinoamericana de Tecnologías de Aprendizaje.

Kitchenham, B. (2004). Procedures for Performing Systematic Reviews. https://doi.org/10.5144/0256-4947.2017.79

Mena Roa, M. (2021). Android y iOS dominan el mercado de los smartphones. Statista. https://es.statista.com/grafico/18920/cuota-de-mercado-mundial-de-smartphones-porsistema-operativo/

Gamze, S., Dalkilic, G., Kut, A., Cebi, Y., & Serbetcioglu, B. (2007). Computer Aided Lip Reading Training Tool. Online Submission, 2–5

Nittaya, W., Wetchasit, K., & Silanon, K. (2018). Thai Lip-Reading CAI for Hearing Impairment Student. 2018 Seventh ICT International Student Project Conference (ICT-ISPC), 1–4. https://doi.org/10.1109/ICT-ISPC.2018.8523956

Gorman, B. M., & Flatla, D. R. (2018). MirrorMirror: A mobile application to improve speechreading acquisition. Conference on Human Factors in Computing Systems - Proceedings, 2018-April. https://doi.org/10.1145/3173574.3173600

Gebert, H., & Bothe, H. H. (2010). LIPPS - a virtual teacher for speechreading based on a dialog-controlled talking-head. ICCHP’10: Proceedings of the 12th International Conference on Computers Helping People with Special Needs: Part I, 621–629. https://dl.acm.org/doi/abs/10.5555/1886667.1886781

Czap, L. (2018). Online subjective assessment of the speech of deaf and hard of hearing children. Periodica Polytechnica Electrical Engineering and Computer Science, 62(4), 126–133. https://doi.org/10.3311/PPee.9215

Muljono, M., Saraswati, G., Winarsih, N., Rokhman, N., Supriyanto, C., & Pujiono, P. (2019). Developing BacaBicara: An Indonesian Lipreading System as an Independent... International Journal of Emerging Technologies in Learning (IJET), 14(4), 44–57

Gorman, B. M., & Flatla, D. R. (2017). A framework for speechreading acquisition tools. Conference on Human Factors in Computing Systems - Proceedings, 2017-May, 519–530. https://doi.org/10.1145/3025453.3025560

Gil González, S. (2013). Cómo hacer Apps accesibles. Recuperado en mayo 14, 2022, de http://riberdis.cedid.es/handle/11181/4171

UNESCO. (n.d.). Aprendizaje móvil. Las TIC En La Educación. Recuperado en mayo 14, 2022, de https://es.unesco.org/themes/tic- educacion/aprendizaje-movil

González Fernández, A. (2017). El papel del diseño pedagógico en los entornos virtuales de educación digital. In Actas I Encuentro de doctorados e investigadores noveles. https://dialnet.unirioja.es/servlet/articulo?codigo=7718599

Gonzalez, Marcela P. Benchoff, Delia Esther Huapaya, Constanza Raquel Remón, C. A., Lazurri, G., Guccione, L., & Lizarralde, F. Á. J. (2018). Avances en la personalización y adaptación de pruebas en un ambiente virtual de aprendizaje. http://sedici.unlp.edu.ar/handle/10915/73088

Ministerio de Educación y Formación Profesional - Gobierno de España. (n.d.). Red Intergubernamental Iberoamericana de Cooperación para la Educación de Personas con Necesidades Educativas Especiales (RIINEE) - Ministerio de Educación y Formación Profesional. http://www.educacionyfp.gob.es/contenidos/ba/actividad- internacional/cooperacioneducativa/riinee.html#ancla0-6

Herrera F, V. (2005). Habilidad linguistica y fracaso lector en estudiantes sordos. Estudios Pedagógicos (Valdivia), 31(2), 121–135. https://doi.org/10.4067/S0718-07052005000200008

Holmer, E., Heimann, M., & Rudner, M. (2017). Computerized Sign Language-Based Literacy Training for Deaf and Hard-of-Hearing Children. The Journal of Deaf Studies and Deaf Education, 22(4), 404–421. https://doi.org/10.1093/deafed/enx023

Sarmasik, G., Dalkilic, G., Kut, A., Cebi, Y., & Serbetcioglu, B. (2007). Computer Aided Lip Reading Training Tool. In Online Submission

Sierra-Martínez, L. M., Golondrino, P. G. E. C., & Álvarez, P. M. C. G. (2022). Directrices para el diseño y la construcción de videojuegos serios educativos. Revista Colombiana de Educación, 1(84). https://doi.org/10.17227/rce.num84-12759

Cruz-Lara, S., Fernández Manjón, B., & Vaz de Carvalho, C. (2013). Enfoques Innovadores en Juegos Serios. Enfoques Innovadores En Juegos Serios. IEEE VAEP RITA, 1(1), 19–21. http://seriousgamesnet.eu/community

Taipe, M. A., Taipe, M. S. A., Pesántez, D. Á., Rivera, L., & Vizueta, D. O. (2017). Juegos Serios en el Proceso de Aprendizaje. UTCiencia “Ciencia y Tecnología Al Servicio Del Pueblo,” 4(2), 111–122. http://investigacion.utc.edu.ec/revistasutc/index.php/utciencia/article/view/70

Published
2022-07-01
How to Cite
[1]
E. Del Pezo Izaguirre, M. Abásolo, and C. Collazos, “Educational technology to teach lip reading: a systematic review of the literature”, LAJC, vol. 9, no. 2, pp. 80-99, Jul. 2022.
Section
Research Articles for the Regular Issue