Según los últimos censos, nuestro planeta tiene cerca de 7.000 millones de habitantes principalmente concentrados en zonas urbanas. Consecuencia de esto las multitudes de personas se congregan en estos sitios, complicando la tarea de supervisión y vigilancia para mantener la seguridad pública en calles, plazas, avenidas y demás. Esto motiva el estudio y mejora de métodos de análisis automático del comportamiento humano. A esta área de investigación se le denomina Análisis del Comportamiento Humano, o Reconocimiento de Actividades Humanas. Gran parte de los trabajos dedicados a este problema se basan en técnicas de visión por computador junto con algoritmos de Machine Learning y, más recientemente, en Deep Learning. En este proyecto de tesis, se ha hecho inicialmente una revisión del estado del arte respecto al tema del análisis y reconocimiento de actividades y comportamientos humanos. En este estudio se han analizado los principales trabajos de machine learning tradicional y deep learning para el tema de la tesis, así como los principales datasets. Se ha visto que no existe un estándar o arquitectura que proponga solución genérica. Por otro lado, la mayoría de trabajos se centran en un determinado rango de individuos, habiendo propuestas para personas individuales, para pequeños grupos, grandes grupos o multitudes. Además, no existe un consenso en la nomenclatura respecto a los grados de complejidad, niveles de comportamiento o, como aquí se denomina, nivel de semántica de las acciones que se realizan. Tras este estudio, se ha propuesto una taxonomía bidimensional que permite clasificar las propuestas en el espacio "número de personas/nivel de semántica", siendo más descriptivo respecto al actual estado del arte y permitiendo ver donde se concentran mayormente los trabajos y cuales los retos aun no resueltos. Tras el estudio del estado del arte, en este trabajo se ha propuesto una arquitectura de visión y aprendizaje para reconocer actividades de grupos usando descriptores de movimiento. Se compone de dos bloques principales, el descriptor de movimiento y el clasificador de actividad. Las arquitecturas de red profunda que se estudian actualmente tienen la bondad de, dados unos datos en crudo (imágenes, secuencias, etc.) tratarlos internamente de forma que devuelvan un resultado, sin necesidad de pre-procesarlos primero. Sin embargo, esto los hace dependientes de los datos de entrenamiento y necesitan grandes datasets para que el entrenamiento sea suficiente. El hecho de introducir un descriptor hace que el espacio de búsqueda se reduzca, y por lo tanto se pueda entrenar con menor número de datos, y además, se pueda independizar la escena (número de individuos, localización de la actividad en el espacio, etc.) del comportamiento en sí. Para el descriptor de la arquitectura se propone en esta tesis como una variante del descriptor Activity Descriptor Vector (ADV), que se denomina D-ADV, y que obtiene dos imágenes del movimiento local acumulado, una UDF (de los movimientos arriba, Up, abajo, Down, y Frecuencia) y otra LRF (de los movimientos Left, izquierda, Right, derecha y Frecuencia). Por otro lado, como instancias de la arquitectura haciendo uso del D-ADV, se proponen el D-ADV-MultiClass para clasificación de múltiples clases. Esta propuesta se basa en utilizar los dos streams UDF y LRF, junto con una red profunda y transfer learning, para reconocer la actividad del grupo. Además, se ha propuesto otra instancia, llamada D-ADV-OneClass, que añade a los dos streams anteriores, otro con información de contexto. Esta última instancia da solución a problemas en los que solo se conoce una clase durante el entrenamiento, y por lo tanto se utilizan técnicas de one-class classification. En la experimentación se ha validado la arquitectura con las dos instancias D-ADV-MultiClass y D-ADV-OneClass utilizando los datasets públicos ampliamente conocidos, como son BEHAVE, INRIA y CAVIAR para multi-class, y para one-class los datasets Ped 1, Ped 2 y Avenue. Los resultados experimentales muestran la capacidad de la arquitectura para clasificar las actividades de los grupos presentados en los datasets. Además, se demuestra que la arquitectura es capaz de tener buenos resultados utilizando datasets con poca cantidad de datos. En este caso, no a partir de la imagen sino de la representación del movimiento. Por último se plantean como trabajos futuros experimentar con otros datasets de mayor tamaño o con otro tipo de datos (peleas callejeras y en rings de boxeo para ver como afecta el contexto en estas situaciones). A medio o largo plazo se realizarán mejoras aumentando y comprobando otras instancias de la arquitectura utilizando múltiples streams de entrada que puedan permitir detectar otros comportamientos.

[ES] Esta tesis describe la investigación para obtener información sobre soluciones de middleware y soluciones sensibles al contexto que amplían la perspectiva de entornos estáticos a entornos dinámicos generalizados. La motivación detrás de esta investigación surgió de la necesidad de reconsiderar y reemplazar las soluciones sensibles al contexto actuales con soluciones más inteligentes para dar cuenta de los entornos dinámicos y los cambios de preferencias de los usuarios en el tiempo de ejecución. En este sentido, el objetivo final es centrarse en ofrecer soluciones inteligentes sensibles al contexto que puedan abordar la evolución automática del modelo de contexto y la generación de nuevas decisiones de acuerdo con los cambios de contexto en tiempo de ejecución. Con este fin, en la tesis actual ilustramos un enfoque híbrido denominado IConAS, que combina las ventajas prácticas de la evolución del contexto con la adaptación en la toma de decisiones. Esta combinación conduce a soluciones inteligentes sensibles al contexto que podrían reflejar los cambios que ocurren en sus entornos dinámicos en tiempo de ejecución. La tesis se concentra en las tres contribuciones importantes de la siguiente manera: ¿ Definición del enfoque IConAS que combina dos enfoques principales. Este enfoque híbrido tiene como objetivo ofrecer soluciones inteligentes sensibles al contexto mediante la extensión de una solución middleware existente. El propósito de esta extensión consiste en dar soporte en tiempo de ejecución a la evolución automática del contexto y la adaptación de la toma de decisiones para reflejar los cambios en entornos dinámicos; ¿ Introducción de la primera parte de nuestro enfoque híbrido: el enfoque CoE. Este enfoque tiene como objetivo establecer una evolución de modelo de contexto a partir de una ontología basada en un enfoque de aprendizaje no supervisado. Por lo tanto, desarrolla automáticamente un modelo de contexto basado en dicha ontología de acuerdo con los cambios de contexto que ocurren en los entornos dinámicos en tiempo de ejecución; ¿ Introducción de la segunda parte de nuestro enfoque híbrido: el enfoque DMA. Este enfoque tiene como objetivo aprender y generar automáticamente reglas de decisión y, posteriormente, enriquecer una base de conocimientos de reglas en tiempo de ejecución para hacer frente a los cambios y modelos de contexto basados en modelos de ontología evolucionados. Se basa en el uso de técnicas de Machine Learning y el uso de un Algoritmo Genético. Estas contribuciones se validan desde diferentes perspectivas: Primero, la evaluación del enfoque CoE se realiza utilizando enfoques de evaluación basados en características, criterios, expertos y preguntas de competencia; ¿ En segundo lugar, la evaluación del enfoque DMA se establece evaluando su eficacia en términos de número de reglas, rendimiento y tiempo computacional; ¿ Finalmente, la evaluación del enfoque IConAS se lleva a cabo a través de un estudio de caso de atención médica para personas mayores junto con enfoques de reconocimiento de actividad y evaluación de la satisfacción del usuario. / [CA] Aquesta tesi descriu la recerca per obtenir informació sobre solucions middleware i solucions sensibles al context que amplien la perspectiva d'entorns estàtics a entorns dinàmics generalitzats. La motivació darrere aquesta investigació va sorgir de la necessitat de reconsiderar i reemplaçar les solucions sensibles al context actuals amb solucions més intelligents per donar compte dels entorns dinàmics i els canvis de preferències dels usuaris en el temps d'execució. En aquest sentit, l'objectiu final es centrar en oferir solucions intelligents sensibles al context que puguin abordar l'evolució automàtica del model de context i la generació de noves decisions d'acord amb els canvis de context en temps d'execució. Amb aquesta finalitat, a la tesi actual illustrem un enfocament híbrid anomenat IConAS, que combina els avantatges pràctics de l'evolució del context amb l'adaptació a la presa de decisions. Aquesta combinació condueix a solucions intelligents sensibles al context que podrien reflectir els canvis que tenen lloc als seus entorns dinàmics en temps d'execució. La tesi es concentra en les tres contribucions importants de la manera següent: Definició de l'enfocament IConAS que combina dos aspectes principals. Aquest enfocament híbrid té com a objectiu oferir solucions intel¿ligents sensibles al context mitjançant l'extensió d'una solució middleware existent. El propòsit d'aquesta extensió consisteix a donar suport en temps d'execució a l'evolució automàtica del context l'adaptació de la presa de decisions per reflectir els canvis en entorns dinàmics; Introducció de la primera part del nostre enfocament híbrid: enfocament CoE. Aquest enfocament té com a objectiu establir una evolució de model de context a partir duna ontologia basada en un enfocament d'aprenentatge no supervisat. Per tant, desenvolupa automàticament un model de context basat en aquesta ontologia d'acord amb els canvis de context que ocorren en els entorns dinàmics en temps d'execució; Introducció de la segona part del nostre enfocament híbrid: enfocament DMA. Aquest enfocament té com a objectiu aprendre i generar automàticament regles de decisió i, posteriorment, enriquir una base de coneixements de regles en temps d'execució per fer front als canvis i models de context basats en models d'ontologia evolucionats. Es basa en l'ús de tècniques de Machine Learning i l'ús d'un algoritme genètic. Aquestes contribucions es validen des de diferents perspectives: Primer, l'avaluació de l'enfocament CoE es realitza utilitzant tècniques d'avaluació basades en característiques, criteris, experts i preguntes de competència; En segon lloc, l'avaluació de l'enfocament DMA s'estableix avaluant la seva eficacia en termes de nombre de regles, rendiment i temps computacional; inalment, l'avaluació de l'enfocament IConAS es duu a terme a través d'un estudi de cas d'atenció mèdica per a gent gran juntament amb enfocaments de reconeixement d'activitat i avaluació de la satisfacció de l'usuari. / [EN] This thesis describes research to gain insight into pervasive middleware solutions and context-aware solutions that expand their perspective from static to dynamic pervasive environments. The motivation behind this research arose from a need to reconsider and replace today's context-aware solutions with more intelligent solutions to account for dynamic environments and users' preferences changes at runtime. In this context, the end goal is to focus on offering intelligent context-aware solutions that could deal with the automatic context model evolution and new decisions generation according to context changes at runtime. To do so, in the current thesis, we illustrate a hybrid approach termed IConAS - a means of combining the practical advantages of context evolution with the decision-making adaptation. This combination leads to intelligent context-aware solutions that could reflect changes occurring in their surrounding dynamic environments at runtime. The thesis concentrates on the three important contributions as follows: Definition of the IConAS approach that combines two main approaches. This hybrid approach aims to offer intelligent context-aware solutions through augmenting an existing middleware. The purpose of this augmentation is to support runtime and automatic context evolution and decision-making adaptation in order to reflect changes in dynamic environments; Introduction of the first part of our hybrid approach: the CoE approach. This approach aims to establish an ontology-based context model evolution based on an unsupervised ontology learning approach. Therefore, it automatically evolves an ontology-based context model according to context changes occurring in surrounding dynamic environments at runtime; Introduction of the second part of our hybrid approach: the DMA approach. This approach aims to automatically learn and generate decision rules and subsequently, enrich a rules knowledge base at runtime to cope with changes and evolved ontologybased context models. It is relying on the use of Machine Learning and a Genetic Algorithm. These contributions are validated through different perspectives: First, the evaluation of the CoE approach is performed using feature-based, criteriabased, expert-based and competency question-based evaluation approaches; Second, the evaluation of the DMA approach is established through assessing its effectiveness in terms of number of rules, performance and computational time; Finally, the evaluation of the IConAS approach is conducted through an elderly healthcare case study together with activity recognition and user satisfaction evaluation approaches. / Jabla, R. (2023). Towards an Approach for Intelligent Adaptation Decision-Making of Pervasive Middleware [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/191878