[ES] La sociedad moderna se ha visto afectada por los acelerados avances de la tecnología. La aplicación de la inteligencia artificial se puede encontrar en todas partes, desde la televisión inteligente hasta los coches autónomos. Una tarea esencial del aprendizaje automático es la clasificación. A pesar de la cantidad de técnicas y algoritmos de clasificación que existen, es un campo que sigue siendo relevante por todas sus aplicaciones. Así, frente a la clasificación tradicional multiclase en la que a cada instancia se le asigna una única etiqueta de clase, se han propuesto otros métodos como la clasificación jerárquica y la clasificación multietiqueta. Esta tesis tiene como objetivo resolver la clasificación multiclase mediante una descomposición jerárquica. Asimismo, se exploran diferentes métodos de extender la aproximación definida para su aplicación en contextos cambiantes. La clasificación jerárquica es una tarea de aprendizaje automático en la que el problema de clasificación original se divide en pequeños subproblemas. Esta división se realiza teniendo en cuenta una estructura jerárquica que representa las relaciones entre las clases objetivo. Como resultado el clasificador jerárquico es a su vez una estructura (un árbol o un grafo) compuesta por clasificadores de base. Hasta ahora, en la literatura, la clasificación jerárquica se ha aplicado a dominios jerárquicos, independientemente que la estructura jerárquica sea proporcionada explícitamente o se asume implícita (en cuyo caso se hace necesario inferir primero dicha estructura jerárquica). La clasificación jerárquica ha demostrado un mejor rendimiento en dominios jerárquicos en comparación con la clasificación plana (que no tiene en cuenta la estructura jerárquica del dominio). En esta tesis, proponemos resolver los problemas de clasificación multiclase descomponiéndolo jerárquicamente de acuerdo a una jerarquía de clases inferida por un clasificador plano. Planteamos dos escenarios dependiendo del tipo de clasificador usado en la jerarquía de clasificadores: clasificadores duros (crisp) y clasificadores suaves (soft). Por otra parte, un problema de clasificación puede sufrir cambios una vez los modelos han sido entrenados. Un cambio frecuente es la aparición de una nueva clase objetivo. Dado que los clasificadores no han sido entrenados con datos pertenecientes a la nueva clase, no podrán encontrar predicciones correctas para las nuevas instancias, lo que afectará negativamente en el rendimiento de los clasificadores. Este problema se puede resolver mediante dos alternativas: el reentrenamiento de todo el modelo o la adaptación del modelo para responder a esta nueva situación. Como parte del estudio de los algoritmos de clasificación jerárquica se presentan varios métodos para adaptar el modelo a los cambios en las clases objetivo. Los métodos y aproximaciones definidas en la tesis se han evaluado experimentalmente con una amplia colección de conjuntos de datos que presentan diferentes características, usando diferentes técnicas de aprendizaje para generar los clasificadores de base. En general, los resultados muestran que los métodos propuestos pueden ser una alternativa a métodos tradicionales y otras técnicas presentadas en la literatura para abordar las situaciones específicas planteadas. / [CA] La societat moderna s'ha vist afectada pels accelerats avenços de la tecnologia. L'aplicació de la intel·ligència artificial es pot trobar a tot arreu, des de la televisió intel·ligent fins als cotxes autònoms. Una tasca essencial de l'aprenentatge automàtic és la classificació. Tot i la quantitat de tècniques i algoritmes de classificació que existeixen, és un camp que segueix sent rellevant per totes les seves aplicacions. Així, enfront de la classificació tradicional multiclase en la qual a cada instància se li assigna una única etiqueta de classe, s'han proposat altres mètodes com la classificació jeràrquica i la classificació multietiqueta. Aquesta tesi té com a objectiu resoldre la classificació multiclase mitjançant una descomposició jeràrquica. Així mateix, s'exploren diferents mètodes d'estendre l'aproximació definida per a la seva aplicació en contextos canviants. La classificació jeràrquica és una tasca d'aprenentatge automàtic en la qual el problema de classificació original es divideix en petits subproblemes. Aquesta divisió es realitza tenint en compte una estructura jeràrquica que representa les relacions entre les classes objectiu. Com a resultat el classificador jeràrquic és al seu torn una estructura (un arbre o un graf) composta per classificadors de base. Fins ara, en la literatura, la classificació jeràrquica s'ha aplicat a dominis jeràrquics, independentment que l'estructura jeràrquica sigui proporcionada explícitament o s'assumeix implícita (en aquest cas es fa necessari inferir primer aquesta estructura jeràrquica). La classificació jeràrquica ha demostrat un millor rendiment en dominis jeràrquics en comparació amb la classificació plana (que no té en compte l'estructura jeràrquica de l'domini). En aquesta tesi, proposem resoldre els problemes de classificació multiclasse descomponent jeràrquicament d'acord a una jerarquia de classes inferida per un classificador pla. Plantegem dos escenaris depenent de el tipus de classificador usat en la jerarquia de classificadors: classificadors durs (crisp) i classificadors suaus (soft). D'altra banda, un problema de classificació pot patir canvis una vegada els models han estat entrenats. Un canvi freqüent és l'aparició d'una nova classe objectiu. Atès que els classificadors no han estat entrenats amb dades pertanyents a la nova classe, no podran trobar prediccions correctes per a les noves instàncies, el que afectarà negativament en el rendiment dels classificadors. Aquest problema es pot resoldre mitjançant dues alternatives: el reentrenament de tot el model o l'adaptació de el model per respondre a aquesta nova situació. Com a part de l'estudi dels algoritmes de classificació jeràrquica es presenten diversos mètodes per adaptar el model als canvis en les classes objectiu. Els mètodes i aproximacions definides en la tesi s'han avaluat experimentalment amb una àmplia col·lecció de conjunts de dades que presenten diferents característiques, usant diferents tècniques d'aprenentatge per generar els classificadors de base. En general, els resultats mostren que els mètodes proposats poden ser una alternativa a mètodes tradicionals i altres tècniques presentades en la literatura per abordar les situacions específiques plantejades. / [EN] The modern society has been affected by rapid advances in technology. The application of artificial intelligence can be found everywhere, from intelligent television to autonomous cars. An essential task of machine learning is classification. Despite the number of classification techniques and algorithms that exist, it is a field that remains relevant for all its applications. Thus, as opposed to the traditional multiclass classification in which each instance is assigned a single class label, other methods such as hierarchical classification and multi-label classification have been proposed. This thesis aims to solve multiclass classification by means of a hierarchical decomposition. Also, different methods of extending the defined approach are explored for application in changing contexts. Hierarchical classification is an automatic learning task in which the original classification problem is divided into small sub-problems. This division is made taking into account a hierarchical structure that represents the relationships between the target classes. As a result the hierarchical classifier is itself a structure (a tree or a graph) composed of base classifiers. Up to now, in the literature, hierarchical classification has been applied to hierarchical domains, regardless of whether the hierarchical structure is explicitly provided or assumed to be implicit (in which case it becomes necessary to first infer the hierarchical structure). Hierarchical classification has demonstrated better performance in hierarchical domains compared to flat classification (which does not take into account the hierarchical structure of the domain). In this thesis, we propose to solve the problems of multiclass classification by breaking it down hierarchically according to a class hierarchy inferred by a plane classifier. We propose two scenarios depending on the type of classifier used in the classifier hierarchy: hard classifiers (crisp) and soft classifiers (soft). On the other hand, a classification problem may change once the models have been trained. A frequent change is the appearance of a new target class. Since the existing classifiers have not been trained with data belonging to the new class, they will not be able to find correct predictions for the new instances, which will negatively affect the performance of the classifiers. This problem can be solved by two alternatives: retraining the entire model or adapting the model to respond to this new situation. As part of the study of hierarchical classification algorithms, several methods are presented to adapt the model to changes in target classes. The methods and approaches defined in the thesis have been evaluated experimentally with a large collection of data sets that have different characteristics, using different learning techniques to generate the base classifiers. In general, the results show that the proposed methods can be an alternative to traditional methods and other techniques presented in the literature to address the specific situations raised. / Silva Palacios, DA. (2021). Clasificación Jerárquica Multiclase [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/167015 / TESIS

El progreso de la Inteligencia Artificial (IA) ha sido notable en los últimos años. Los impresionantes avances en imitar las capacidades humanas por parte de las máquinas se deben especialmente al campo del Deep Learning (DL). Este paradigma evita el complejo diseño manual de características. En su lugar, los datos pasan directamente a un algoritmo, que aprende a extraer y representar características jerárquicamente en múltiples capas a medida que aprende a resolver una tarea. Esto ha demostrado ser ideal para problemas relacionados con el mundo visual. Una solución de DL comprende datos y un modelo. La mayor parte de la investigación actual se centra en los modelos, en busca de mejores algoritmos. Sin embargo, aunque se prueben diferentes arquitecturas y configuraciones, difícilmente mejorará el rendimiento si los datos no son de buena calidad. Son escasos los estudios que se centran en mejorar los datos, pese a que constituyen el principal recurso para el aprendizaje automático. La recolección y el etiquetado de extensos datasets de imágenes consumen mucho tiempo, esfuerzo e introducen errores. La mala clasificación, la presencia de imágenes irrelevantes, el desequilibrio de las clases y la falta de representatividad del mundo real son problemas ampliamente conocidos que afectan el rendimiento de los modelos en escenarios prácticos. Nuestra propuesta enfrenta estos problemas a través de un enfoque data-centric. A través de la ingeniería del dataset original utilizando técnicas de DL, lo hacemos más adecuado para entrenar un modelo con mejor rendimiento y generalización en escenarios reales. Para demostrar esta hipótesis, consideramos dos casos prácticos que se han convertido en temas de creciente interés para la investigación. Por una parte, Internet es la plataforma mundial de comunicación y la Web es la principal fuente de información para las actividades humanas. Las páginas Web crecen a cada segundo y son cada vez más sofisticadas. Para organizar este complejo y vasto contenido, la clasificación es la técnica básica. El aspecto visual de una página Web puede ser una alternativa al análisis textual del código para distinguir entre categorías. Abordamos el reconocimiento y la clasificación de páginas Web creando un dataset de capturas de pantalla apropiado desde cero. Por otro lado, aunque los avances de la IA son significativos en el aspecto cognitivo, la parte emocional de las personas es un desafío. La expresión facial es la mejor evidencia para manifestar y transmitir nuestras emociones. Aunque algunos datasets de imágenes faciales existen para entrenar modelos de DL, no ha sido posible alcanzar el alto rendimiento en entornos controlados utilizando datasets in-the-lab. Abordamos el reconocimiento y la clasificación de emociones humanas mediante la combinación de varios datasets in-the wild de imágenes faciales. Estas dos problemáticas plantean situaciones distintas y requieren de imágenes con contenido muy diferente, por lo que hemos diseñado un método de refinamiento del dataset según el caso de estudio. En el primer caso, implementamos un modelo de DL para clasificar páginas Web en determinadas categorías utilizando únicamente capturas de pantalla, donde los resultados demostraron un problema multiclase muy difícil. Tratamos el mismo problema con la estrategia One vs. Rest y mejoramos el dataset mediante reclasificación, detección de imágenes irrelevantes, equilibrio y representatividad, además de utilizar técnicas de regularización y un nuevo mecanismo de predicción con los clasificadores binarios. Estos clasificadores operando por separado mejoran el rendimiento, en promedio incrementan un 26.29% la precisión de validación y disminuyen un 42.30% el sobreajuste, mostrando importantes mejoras respecto al clasificador múltiple que opera con todas las categorías juntas. Utilizando el nuevo modelo, hemos desarrollado un sistema en línea para clasificar páginas Web que puede ayudar a diseñadores, propietarios de sitios Web, Webmasters y usuarios en general. En el segundo caso, la estrategia consiste en refinar progresivamente el dataset de imágenes faciales mediante varios entrenamientos sucesivos de un modelo de red convolucional. En cada entrenamiento, se utilizan las imágenes faciales correspondientes a las predicciones correctas del entrenamiento anterior, lo que permite al modelo captar más características distintivas de cada clase de emoción. Tras el último entrenamiento, el modelo realiza una reclasificación automática de todo el dataset. Este proceso también nos permite detectar las imágenes irrelevantes, pero nuestro propósito es mejorar el dataset sin modificar, borrar o aumentar las imágenes, a diferencia de otros trabajos similares. Los resultados experimentales en tres datasets representativos demostraron la eficacia del método propuesto, mejorando la precisión de validación en un 20.45%, 14.47% y 39.66%, para FER2013, NHFI y AffectNet, respectivamente. Las tasas de reconocimiento en las versiones reclasificadas de estos datasets son del 86.71%, el 70.44% y el 89.17%, que alcanzan el estado del arte. Combinamos estas versiones mejor clasificadas para aumentar el número de imágenes y enriquecer la diversidad de personas, gestos y atributos de resolución, color, fondo, iluminación y formato de imagen. El dataset resultante se utiliza para entrenar un modelo más general. Frente a la necesidad de métricas más realistas de la generalización de los modelos, creamos un dataset evaluador combinado, equilibrado, imparcial y bien etiquetado. Para tal fin, organizamos este dataset en categorías de género, edad y etnia. Utilizando un predictor de estas características representativas de la población, podemos seleccionar el mismo número de imágenes y mediante el exitoso modelo Stable Diffusion es posible generar las imágenes faciales necesarias para equilibrar las categorías creadas a partir de las mencionadas características. Los experimentos single-dataset y cross-dataset indican que el modelo entrenado en el dataset combinado mejora la generalización de los modelos entrenados individualmente en FER2013, NHFI y AffectNet en un 13.93%, 24.17% y 7.45%, respectivamente. Desarrollamos un sistema en línea de reconocimiento de emociones que aprovecha el modelo más genérico obtenido del dataset combinado. Por último, la buena calidad de las imágenes faciales sintéticas y la reducción de tiempo conseguida con el método generativo nos motivan para crear el primer y mayor dataset artificial de emociones categóricas. Este producto de libre acceso puede complementar los datasets reales, que son difíciles de recopilar, etiquetar, equilibrar, controlar las características y proteger la identidad de las personas.