Communication of EasyGR: Un Herramienta que Facilita el Reconocimiento de Gestos con Kinect

IBAÑEZ, RODRIGO; TEYSEYRE, ALFREDO; SORIA, ALVARO; CAMPO, MARCELO R.

Rosario

Simposio; Proceedings ASSE (Argentine Symposium on Software Engineering); 2015

Sociedad Argentina de Informática

Los recientes avances en sistemas de entretenimiento y videojuegos han impulsado el desarrollo de interfaces más naturales e intuitivas. Tecnologías innovadoras, como Xbox Kinect, han posibilitado el reconocimiento de gestos corporales, los cuales son una forma directa y expresiva de comunicación humana. A pesar del actual desarrollo de herramientas que soportan la identificación de las partes del cuerpo y seguimiento de su rastro, todavía carecen de un mecanismo flexible y robusto para proveer reconocimiento de gestos corporales. En consecuencia, los desarrolladores de aplicaciones controladas por gestos se ven forzados a la tediosa tarea de crear su propio mecanismo de reconocimiento de gestos, mediante la definición de un conjunto de reglas y condiciones sobre las posiciones y movimientos de las partes del cuerpo. En este contexto, presentamos a EasyGR (Easy Gesture Recognition), una herramienta que utiliza técnicas de machine learning para reducir el esfuerzo que demanda implementar reconocedores de gestos. EasyGR permite crear datasets de entrenamiento, entrenar técnicas de reconocimiento, e incluir reconocimiento de gestos dentro de aplicaciones de terceros. Particularmente, EasyGR soporta dos técnicas: Dynamic Time Warping (DTW) y Hidden Markov Models (HMM). Estas técnicas son entrenadas utilizando el dataset y luego integradas a la aplicación por medio de métodos provistos por el framework de EasyGR. De esta manera, el desarrollador no sólo se independiza del mecanismo de reconocimiento de gestos sino que también disminuye el esfuerzo requerido para implementar su aplicación.Para determinar la efectividad de EasyGR, se realizaron experimentos donde se evaluó la precisión en el reconocimiento de gestos y la reducción de esfuerzo en el desarrollo de aplicaciones basadas en gestos. Por un lado, la precisión se evaluó sobre un dataset de 7 gestos diferentes realizados 20 veces por 4 personas. Como resultado, EasyGR alcanzó una precisión de 0.99 en el reconocimiento de gestos. Por otro lado, el esfuerzo se evaluó solicitando a 10 desarrolladores que implementen una aplicación que reconozca los mismos 7 gestos mencionados utilizando un enfoque basado en reglas sobre las partes del cuerpo y luego implementar la misma aplicación utilizando el soporte de EasyGR. Finalmente, el resultado de la comparación de ambas soluciones permitió observar que los desarrolladores utilizando EasyGR consiguieron no sólo una reducción de 690 a 60 minutos en el tiempo de implementación, sino que además una reducción de 49 a 4 en la cantidad de líneas de código necesarias para dar soporte a los 7 gestos.