Development of a System for Strategic Surveillance of Social Networks and Digital Press Media using Web Scraping

Keywords: Strategic Surveillance, Information Gathering, Social Networks, Digital Media

Abstract

The “Tyche” research program has the objective of creating a tool environment to carry out activities that facilitate the tasks of Strategic Surveillance. At present, the ADA laboratory of the Systems Engineering Faculty (FIS) of the EPN is executing several integrating projects distributed in different phases. The present integrative project is within the third phase called "Information Collection". The objective of the project is to develop an automated information collection system, optimizing search times and reducing information overload. This search will be done on digital media and social networks (Twitter, Facebook, Instagram, and LinkedIn). In addition, the purpose is also to obtain information that is easy to interpret, generates knowledge, and contributes to the organizations that use Strategic Surveillance.

The degree work is developed under the agile Scrum methodology that will allow partial deliveries of the product incrementally and iteratively, which will help developers to perform the division of tasks and allocation of work time. The system is based on the MVC pattern (Model - View - Controller). The Model part corresponds to Prisma which, is a GraphQL database connection. On the other hand, the Controller has been developed in Python together with the implementation of libraries, frameworks, and APIs, while the View which, is the interaction with the user was developed in the Angular framework and written in TypeScript. programming language.

The developed system was evaluated by the Technology Acceptance Model (TAM). The evaluation showed that more than 80% of the participants considered the system to be easy to use, and 100% perceived it to be useful for the collection of information from social networks and digital media. It is concluded that although there are improvements that can be made to the system, it fulfills its objective.

DOI

Downloads

Download data is not yet available.

Author Biographies

Lorena Recalde, Escuela Politécnica Nacional

Lorena Recalde obtuvo su Ph.D. en la Universidad Pompeu Fabra, Barcelona, España, 2018, donde colaboró en el grupo de investigación Web Science and Social Computing. Realizó su maestría en Suiza, en la Universidad de Fribourgo y obtuvo el Master en Ciencias de Computación con mención en Procesamiento Avanzado de la Información, 2014. Sus principales temas de investigación son los Sistemas de Recomendación, con un enfoque especial en el modelado de interés del usuario de redes sociales, minería Web, ML y NLP. Además de las publicaciones en conferencias y en dos revistas Q1, Lorena ha presentado su trabajo en tres sesiones de posters, un simposio de doctorado, dos tutoriales académicos y fue invitada como keynote en GEITEC2019, Lima, Perú. Actualmente es investigadora y docente a tiempo completo de pregrado y maestría en el Departamento de Informática y Ciencias de la Computación de la Escuela Politécnica Nacional, Quito, Ecuador.

Edison Loza-Aguirre, Escuela Politécnica Nacional

Edison Loza-Aguirre trabaja como profesor agregado de la Escuela Politécnica Nacional del Ecuador (EPN) y es un investigador asociado al Laboratorio CERAG CNRS FRE 3748 de la Universidad Grenoble Alpes (UGA). Actualmente es el Coordinador del Laboratorio en Analítica de Datos y Sistemas de Información de la EPN. Obtuvo su título de PhD en Gestión de Sistemas de Información en la UGA. Tiene un Máster en Investigación de la Universidad Pierre Mendès France y una Maestría en Gestión de TICs de la EPN.

Realizó sus investigaciones posdoctorales en el Instituto de Administración de Empresas de Grenoble, en Francia. Sus investigaciones se centran en vigilancia estratégica, analítica de datos y sistemas de soporte para toma de decisiones. Ha presentado sus trabajos en diversas conferencias y ha publicado artículos en revistas como Communications of the Association Information Systems, IET Software y el French Journal of Management Information Systems. A nivel profesional, trabaja como consultor en Sistemas de Soporte para la Toma de Decisiones, Analítica de Datos, Estrategia de Datos, y Gobernanza de Datos.

Carol Oña, Escuela Politécnica Nacional

Ingeniera en Sistemas Informáticos y de Computación de la Escuela Politécnica Nacional. Con conocimientos en desarrollo Web; backend (PHP, Javascrtip, JAVA, Python) y frontend (HTML5, CSS3 y Javascript).
Participó en varios proyectos de desarrollo, uno de ellos fue el desarrollo de la primera fase del Sistema Integrado de Centros de Formación Artesanal (SICFA) para la Junta Nacional de Defensa del Artesano. Actualmente se encuentra en el campo de diseño web enfocada en la planificación, diseño, implementación y mantenimiento de sitios web, con el objetivo de crecer, aprender y mejorar cada día.

Nicole Pirca, Escuela Politécnica Nacional

Ingeniera en Sistemas Informáticos y de Computación, graduada en la Escuela Politécnica Nacional apasionada en el campo de ciencia de datos (Data Science). Recibió diploma de Bachillerato de Servicios Aplicaciones Informáticos en 2015. Actualmente trabaja en análisis de datos y procesamiento de información aplicado en el área comercial y participa activamente en la creación de sistemas de software con la tecnología de Blockchain y Big Data.

References

F. J. Aguilar. Scanning the business environment. New York, USA: Macmillan, 1967.

H. Lesca, and N. Lesca. Weak signals for strategic intelligence: anticipation tool for managers, London, UK: ISTE-Wiley, 2011.

E. Loza-Aguirre, and A. Buitrago, “Qualitative assessment of user acceptance within Action Design Research and Action Research: two case studies,” Latin American Journal of Computing, vol. 1, no. 1, pp. 12-12 , 2014.

A. Carbonell Martínez, “Vigilancia tecnológica e inteligencia competitiva al servicio de la innovación,” Universitat Politècnica de València, España, 2019.

CMI Gestión, “Vigilancia Estratégica como ventaja competitiva,” [Online]. Available: https://cmigestion.es/2017/03/07/vigilancia-estrategica-como-ventaja-competitiva/. [Accessed: Mar.16, 2021].

CIDEI, “Vigilancia Estratégica,” [Online].Available: http://cidei.net/vigilancia-estrategica/ [Accessed: Mar.07, 2021].

A. Carbonell Martínez, “Vigilancia tecnológica e inteligencia competitiva al servicio de la innovación. 3C Tecnología.,”Glosas de innovación aplicadas a la pyme, vol. 8(4), pp. 61-69, 2019.

Antevenio, “Qué es el web scraping, para qué sirve y como suele utilizarse,” . (2021). [Online]. Available: https://www.antevenio.com/blog/2019/03/que-es-el-web-scraping-y-para-que-sirve/ [Accessed: Mar.20 , 2021].

IONOS Digitalguide, “¿Qué es el web scraping?,” [Online]. Available: https://www.ionos.es/digitalguide/paginas-web/desarrollo-web/que-es-el-web-scraping/ [Accessed: Jul.26, 2021].

MINTIC, “¿Qué es web scraping? Curso de Python,” [Online]. Available: https://mintic.platzi.com/clases/1698-mintic-python/7118-que-es-web-scrapi-6/ [Accessed: Abr.04 , 2021].

A. Visus,“¿Para qué sirve Python? Razones para utilizar este lenguajede programación,” Esic Business & Marketing School. [Online]. Available: https://www.esic.edu/rethink/tecnologia/para-que-sirve-python [Accessed: Abr.10, 2021].

A. Lafuente, “Qué es el web scraping,” Aukera. [Online]. Available: https://aukera.es/blog/web-scraping/ [Accessed: Abr.18, 2021].

D. Leyton, “Extensión al Modelo de Aceptación de Tecnología TAM,”Repositorio uchile.cl, 2013.

V. Del Campo, and F. Scholborgh, “Modelo de Aceptación Tecnológica (TAM),” Revista Espacios, vol. 41, no. 37, pp. 159-171, 2020.

J. Yong, J. Rivas and J. Chaparro, “Modelo de aceptación tecnológica (TAM): un estudio de la influencia de la cultura nacional y del perfil del usuario en el uso de las TIC,” Sistema de Información Científica Redalyc, Red de Revistas Científicas, Colombia, 2009.

J. J. Diaz Ortiz, and M. A. Romero Suarez, “Desarrollo e implementación de un aplicativo web, utilizando la metodología Scrum, para mejorar el proceso de atención al cliente en la empresa Z Aditivos SA,” 2017.

M. Trigás Gallego, “Metodología Scrum,” 2012

G. Mancuzo,“Fases de la Metodología Scrum”. ComparaSoftware Blog, 2020.

Softeng, “Proceso y Roles de Scrum,” [Online]. Available: https://www.softeng.es/es-es/empresa/metodologias-de-trabajo/metodologia-scrum/proceso-roles-de-scrum.html [Accessed: May.05, 2020].

Published
2022-01-03
How to Cite
[1]
L. Recalde, E. Loza-Aguirre, C. Oña, and N. Pirca, “Development of a System for Strategic Surveillance of Social Networks and Digital Press Media using Web Scraping”, LAJC, vol. 9, no. 1, pp. 34-45, Jan. 2022.
Section
Research Articles for the Regular Issue