Desarrollo de aplicación móvil con reconocimiento facial y gestual para la enseñanza inclusiva de matemática en apoyo a alumnos con necesidades educativas especiales

Agustín Álvarez Ferrando
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Leopoldo Nahuel
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Cintia M. Valero
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Franco E. Borsella
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Matías O. Batista
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Juan I. Etcheverry
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Manuel Robles Robles
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina
Ezequiel Martín
GIDAS: Grupo de I&D Aplicado a Sistemas informáticos y computacionales – UTN FRLP, Argentina

Ingenio Tecnológico

Universidad Tecnológica Nacional, Argentina

ISSN-e: 2618-4931

Periodicidad: Frecuencia continua

vol. 8, e079, 2026

ingenio@frlp.utn.edu.ar

Recepción: 07 noviembre 2025

Aprobación: 10 noviembre 2025



Resumen: Este trabajo presenta el desarrollo de CAPNEE, una aplicación accesible diseñada para la enseñanza de matemática en estudiantes de nivel primario con Necesidades Educativas Especiales, de ahora en adelante NEE. La herramienta incorpora tecnologías de reconocimiento facial y gestual, permitiendo una interacción sin contacto físico que facilita la navegación y resolución de actividades. De esta manera, CAPNEE promueve una experiencia de aprendizaje más autónoma e inclusiva, alineada con los principios de accesibilidad e inclusión educativa.

El proceso de diseño y desarrollo de CAPNEE se basó en un enfoque centrado en el usuario, combinando ingeniería de software e inteligencia artificial para responder a las necesidades específicas de los usuarios. La experiencia demuestra el potencial de las tecnologías emergentes para transformar los entornos educativos tradicionales, eliminando barreras y ampliando las posibilidades de participación activa de estudiantes con discapacidad.

Palabras clave: inclusión educativa, necesidades educativas especiales, discapacidad neuromotora, inteligencia artificial, aprendizaje móvil, accesibilidad, reconocimiento gestual, educación primaria, matemática.

Introducción

La inclusión educativa de estudiantes con NEE, especialmente aquellos con discapacidad neuromotora, representa un desafío para los docentes de primer ciclo en las escuelas primarias de la Provincia de Buenos Aires [2]. Estas dificultades son frecuentes en el aprendizaje de contenidos como la Matemática, dado que el estudiante requiere dominar la motricidad fina para la escritura de los cálculos aritméticos [1]. La Provincia de Buenos Aires, prioriza el desarrollo psicomotor temprano en los primeros ciclos de primaria. La evidencia sugiere que incluir ejercicios de motricidad fina en el currículo (como enhebrar cuentas, recortar, modelar plastilina o trazar números) puede potenciar significativamente el aprendizaje aritmético. Ante esta problemática, las tecnologías emergentes —como las que combinan el aprendizaje móvil (m-learning) y la inteligencia artificial (IA)—ofrecen nuevas oportunidades para crear herramientas que favorezcan el acceso equitativo al conocimiento [3].

Objetivos de la experiencia/investigación

El objetivo principal del proyecto fue diseñar, desarrollar e implementar una aplicación accesible, que permita:

Desarrollo

El proyecto se abordó siguiendo un proceso iterativo de investigación y desarrollo. A continuación, se resume las etapas del proyecto:

Estudio preliminar

Se llevó a cabo un relevamiento inicial para identificar las principales dificultades motrices en el aula y las necesidades de los docentes en cuanto a recursos accesibles. Se observó una escasa oferta de aplicaciones educativas adaptadas a discapacidades motrices. Además, se analizaron los lineamientos curriculares de matemática de la Provincia de Buenos Aires para garantizar coherencia pedagógica. Todo ello permitió delimitar el contexto y las demandas reales del entorno escolar.

Elicitación de requerimientos

Se identificaron los perfiles de usuarios (docentes y alumnos) y se definieron historias de usuario y requerimientos funcionales tanto para la aplicación web (docentes) como para la aplicación móvil (alumnos).

Diseño de interfaces

El diseño se centró en la accesibilidad según los estándares WCAG (W3C) [4]:

Las interfaces fueron diseñadas en Figma, considerando la edad y capacidades de los estudiantes. Figma es una herramienta de diseño de interfases y prototipado, utilizada principalmente para crear diseños de interfaz de usuario (UI)

Pantalla de gestión de alumnos dentro de un curso
Figura 1.
Pantalla de gestión de alumnos dentro de un curso

Pantalla Pop-Up de revisión de un ejercicio
Figura 2.
Pantalla Pop-Up de revisión de un ejercicio

Interfaces de la aplicación móvil
Figura 3.
Interfaces de la aplicación móvil

Interfaz para administrar las actividades
Figura 4.
Interfaz para administrar las actividades

Módulo móvil para alumnos

Para ampliarl a accesibilidad, se incorporó un modo de navegación mediante gestos faciales, detectados por la cámara frontal del dispositivo. Los gestos utilizados son el guiño de ojo izquierdo para retroceder, el derecho para avanzar y la sonrisa para seleccionar. Esta funcionalidad permite interactuar sin necesidad de tocar la pantalla. La aplicación requiere permisos de cámara para habilitar esta modalidad.

Módulo Web para docentes

La aplicación web desarrollada permite a los docentes gestionar las actividades. Algunas de las funcionalidades que esta aplicación les proporciona a los docentes son: gestión de cursos, alumnos y ejercicios.

Desarrollo tecnológico

Se adoptó una arquitectura de microservicios con separación de capas. La comunicación entre el front-end y el back-end de la aplicación se realiza a través de una API REST, la cual se basa en peticiones HTTP (GET: Para obtener recursos, POST: Para crear nuevos recursos, PUT: Para actualizar recursos, DELETE: Para eliminar recursos).

Las capas implementadas son:

Testing

llevaron a cabo pruebas funcionales en entornos controlados, donde se verificó el correcto registro facial, el reconocimiento efectivo de gestos faciales básicos y una navegación fluida dentro de la aplicación sin necesidad de teclado ni interacción táctil.

Resultados obtenidos

Los resultados obtenidos fueron alentadores: se logró desarrollar un prototipo funcional con una navegación completamente accesible para alumnos con limitaciones motrices. El reconocimiento facial se confirmó como una alternativa viable para la autenticación de usuarios, y además se validaron correctamente los modelos de clases y el flujo general de la aplicación.

Discusión y líneas futuras

El proyecto CAPNEE representa un aporte innovador en el campo del m-learning accesible, integrando IA y microservicios en un entorno educativo inclusivo. Las próximas etapas previstas incluyen:

Conclusiones

El desarrollo de CAPNEE evidencia cómo la integración de tecnologías emergentes, como la inteligencia artificial y el aprendizaje móvil, puede ser implementada en el aula para reducir las barreras de acceso al conocimiento en contextos de inclusión educativa. La implementación de reconocimiento facial y gestual demostró ser técnicamente viable y funcional para facilitar la navegación autónoma de estudiantes con discapacidad neuromotora, abriendo nuevas posibilidades de interacción que no dependen de la motricidad fina.

CAPNEE no solo representa un avance en términos tecnológicos, sino también un paso hacia una educación más equitativa, en la que la accesibilidad sea una condición inherente al diseño de soluciones. Este proyecto plantea un modelo replicable para futuras iniciativas orientadas a la inclusión, marcando un camino claro para la incorporación significativa de la ingeniería de sistemas en el ámbito educativo.



Referencias

[1] Haapala, E. A., Tomporowski, P. D., & Tammelin, T. H. (2023). Fine motor skills in grade 1 predict academic outcomes in grade 3: Evidence from a longitudinal study. Medicine & Science in Sports & Exercise, 55(4), 678–685. https://doi.org/10.1249/MSS.0000000000003001

[2] Mazzini, A. (2024). Inclusión educativa en escuelas de educación primaria: Una revisión bibliográfica sobre la experiencia docente (Tesis de maestría, Universidad Católica del Uruguay). https://doi.org/10.5281/zenodo.14849535

[3] UNESCO. (2021). Inteligencia artificial y educación: Guía para los responsables de formular políticas. https://unesdoc.unesco.org/ark:/48223/pf0000376709

[4] World Wide Web Consortium (W3C). (2018). Pautas de accesibilidad para el contenido web (WCAG) 2.1. https://www.w3.org/TR/WCAG21/

Modelo de publicación sin fines de lucro para conservar la naturaleza académica y abierta de la comunicación científica
HTML generado a partir de XML-JATS4R