- Investigadores del IRD crean una base de datos para reconocer sus emociones a partir de patrones de señales fisiológicas
Laia Valls sonríe. Sonríe durante todo el tiempo que duran las entrevistas para este reportaje. Pero no es posible dilucidar si está contenta, nerviosa, o quizá estresada; su discapacidad intelectual le impide expresar su estado de ánimo y dificulta reconocerlo. Aunque, para ser exactos, habría que decir que no es posible identificar cómo se siente a simple vista, pero sí si se conecta a la plataforma de actividades Armoni provista de una diadema y de una pulsera llenas de sensores.
Porque gracias a una combinación de dispositivos wearables y del software y algoritmos desarrollados por los investigadores del Instituto de Robótica para la Dependencia (IRD), ya es posible objetivar el estado anímico de las personas con discapacidad intelectual grave.
Se ha logrado en el marco del proyecto AutonoMe que impulsa laFundación Ave María de Sitges –que ofrece atención especializada a adultos con discapacidad intelectual– a través del IRD, galardonado con un premio a la innovación social de Obra Social “La Caixa”.
“El proyecto nace de la voluntad de querer saber de manera objetiva el estado anímico de personas que no pueden expresarlo por sí mismas o que ni siquiera tienen conciencia de él, porque se trata de una información valiosa para mejorar su bienestar y su calidad de vida, para mejorar sus terapias y personalizarlas para que les gusten más y sean más efectivas”, explica el director de investigación del IRD, Joan Oliver.
“El problema es que estas personas no sólo no pueden expresar sus emociones sino que para ellas no sirven las herramientas de ayuda que se usan con otras, como el software de reconocimiento facial, así que pensamos que la solución era mirar en su mente y en su cuerpo las señales fisiológicas que emite su estado de ánimo, porque sabemos por la bibliografía que cada emoción va asociada a unos patrones fisiológicos”, detalla Jainendra Shukla, investigador en robótica que participa en el proyecto.
El hándicap era que no existían esos patrones en personas con discapacidad intelectual, de modo que la primera tarea de los investigadores del IRD fue elaborarlos combinando información externa –expresión facial, seguimiento de la mirada, información subjetiva de los terapeutas que conocen a la persona– con información interna –ritmo cardíaco, actividad electrodermal y cerebral– de algunos de los residentes de la Fundación Ave Maria mientras se les provocaba diferentes emociones intensas, positivas y negativas.
“Durante el experimento les daban un dulce para comer y se grababan las señales que emitía su cerebro, su respiración, la temperatura de su piel, su expresión facial y corporal. para estudiar el patrón de esa emoción positiva; y también se les quitaba algún objeto que apreciaran mucho para grabar el patrón correspondiente a una emoción negativa”, ejemplifica Shukla.
Con toda esa información y la obtenida en otros experimentos mediados con terapeutas que interpretaban su estado de ánimo, los investigadores han elaborado MuDERI, una base de datos multimodal para el reconocimiento de las emociones entre personas con discapacidad intelectual, en la que se ha sistematizado y etiquetado cada estado anímico a partir de los patrones de señales fisiológicas constatados en los experimentos.
“Una vez elaborados estos patrones, el segundo reto ha sido tomar en tiempo real las señales del estado de ánimo de los usuarios de la plataforma de actividades Armoni para cruzarlas con MuDERI, identificar cómo se siente, y adaptar automáticamente la actividad propuesta”, apunta Oliver. Y enfatiza que lo más difícil ha sido recoger en tiempo real la actividad electrodermal, para lo que han desarrollado un algoritmo mil veces más rápido que el que había hasta ahora, el del Instituto Tecnológico de Massachusetts (MIT).
Nació con la voluntad de saber de manera objetiva el estado anímico de las personas que no pueden expresarlo o que ni siquiera tienen conciencia de él
La actividad electrodermal –que ahora recogen con una pulsera y unos sensores en los dedos pero pronto se recogerán mediante un reloj más cómodo de llevar– permite determinar la intensidad de la emoción, pero no si ésta es positiva o negativa. Esto se determina a partir de la actividad cerebral que registra la diadema con 16 polos que se acopla en la cabeza del usuario, analizando las áreas del cerebro más excitadas. Y toda esta información se complementa con los datos del dispositivo que sigue la mirada para evaluar la capacidad de atención y con las expresiones que registra una cámara.
“En función de todos estos parámetros el software reconoce el estado de ánimo del usuario y a partir de ello podemos desarrollar algoritmos que modifiquen las actividades que se le están ofreciendo o que lancen mensajes para llamar su atención si por la mirada vemos que está distraído”, comenta Oliver.
La actividad electrodermal permite identificar la intensidad de la emoción, pero no si ésta es positiva o negativa; esto se determina a partir de la actividad cerebral que registra la diadema
En una primera fase, el IRD ha vinculado el proyecto AutonoMe a la plataforma digital Armoni, que dispone de una batería de actividades, de imágenes y sonidos para la estimulación cognitiva y tiene la ventaja de registrar todo lo que hace cada persona para ver su evolución cognitiva y emocional en el tiempo, además de permitir personalizar y adaptar las tareas a las posibilidades de cada usuario. Incluye unos test para evaluar a la persona en once dominios cognitivos, como atención, fluencia verbal, coordinación visomotora, memoria verbal a corto y largo plazo...
Pero la intención es implementar el sistema de reconocimiento de emociones también en otros dispositivos con los que trabajan la estimulación de los residentes en la Fundación Ave Maria, como los robots Nao o Pepper. Al mismo tiempo, y en colaboración con el Instituto de Investigación Biomédica de Bellvitge (Idibell) están inmersos en un proceso de validación clínica de la eficacia de Armoni como herramienta terapéutica a nivel cognitivo.
