En este trabajo de tesis doctoral se ha desarrollado una nueva metodología para monitorizar un viñedo en diferentes fases de cultivo y mejorar su gestión en campo. El núcleo del método propuesto es la confección de mapas de cultivo con origen local único, resolución variable, y sistema de coordenadas global pero con geometría plana. El sistema desarrollado, además, permite la integración de información proveniente tanto de sistemas de adquisición totalmente automáticos como manuales, así como la comparación y correlación de medidas efectuadas en diferentes etapas de crecimiento e incluso a lo largo de diferentes años. El objetivo último consiste en la proposición de modelos predictivos sobre la producción de uva y potencial enológico del futuro vino. Para ello se aplican nuevas tecnologías en una arquitectura de coste moderado, dotada de la flexibilidad y versatilidad necesaria para que un productor promedio del área mediterránea pueda adaptar el sistema propuesto a sus necesidades particulares, utilizando para ello un vehículo convencional de uso agrícola. La arquitectura propuesta, implementada, y validada en campo consiste en un sistema de percepción basado en visión artificial, un sistema de posicionamiento global con corrección diferencial, y un ordenador de abordo que, mediante la metodología propuesta, combina toda la información adquirida y la transforma en mapas de cultivo compatibles entre sí. El sistema de visión ofrece una técnica simple basada en una cámara monocromática sensible en el rango UV-NIR y acondicionada mediante filtros ópticos que optimizan la ejecución del algoritmo de segmentación dinámica. El programa desarrollado e implementado a bordo de un tractor estándar combina imágenes y posicionamiento del vehículo para generar la información para los mapas en tiempo real de vegetación relativa, que serán posteriormente relacionados con otros mapas de interés, tanto generados de forma automática (desnivel del terreno) como manual (rendimiento, compactación del terreno, acidez, etc.). El control de los sistemas de percepción y posicionamiento también se ha simplificado a través de una única interfaz gráfica, que permite la utilización del sistema por operarios no versados en nuevas tecnologías. Los resultados obtenidos indican que un planteamiento simplificado de la agricultura de precisión es informativo siempre y cuando se cuente con un sistema de gestión de información óptimo. Los mapas de cultivo propuestos sirvieron para establecer correlaciones estadísticamente significativas entre variables clave, cuantificando de manera objetiva la variabilidad espacial en cuanto a cantidad de vegetación, producción de uva, compactación del terreno, o propiedades químicas del mosto. La posibilidad de enriquecer los modelos presentados con información proveniente de campañas sucesivas resulta atractivo para el viticultor, que puede contar con modelos predictivos específicamente adaptados a su explotación y que cada vez serán más precisos. Esta metodología está al alcance de pequeños y medianos productores, ya que prescinde de la compra de imágenes digitales de origen aéreo o remoto, y además no requiere la adquisición de un vehículo específico, lo que facilita la generación de mapas de cultivo mientras se efectúan otras labores agrícolas gracias al uso de redes con referencias globales. / Sáiz Rubio, V. (2013). Mapas para mejorar la producción de vino combinando tecnologías de la información y vehículos convencionales [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/31522 / TESIS

Los incendios en recintos confinados son un tipo de emergencia que involucra a bomberos cuyas vidas a veces se ponen en peligro. En cualquier incendio confinado, el equipo de emergencia puede encontrar dos tipos de ambientes de combustión, ventilados o infra-ventilados. El comportamiento cambiante de este escenario depende de múltiples factores como el tamaño del recinto, la ventilación o el combustible involucrado, entre otros. Sin embargo, la dificultad de manejar este tipo de situaciones junto con el potencial error humano sigue siendo un desafío sin resolver para los bomberos en la actualidad. En ocasiones si se dan las condiciones adecuadas, pueden aparecer los fenómenos, extremadamente peligrosos, que son estudio de este trabajo (flashover y backdraft). Por lo tanto, existe una gran demanda de nuevas técnicas y tecnologías para abordar este tipo de emergencias que amenazan la vida y puede causar graves daños estructurales. A lo anterior hay que añadir que la incorporación de cámaras térmicas en los servicios de extinción de incendios y salvamentos, supone un gran avance que puede ayudar a prevenir estos tipos de fenómenos en tiempo real utilizando técnicas de inteligencia artificial.

[ES] El objetivo de esta Tesis Doctoral es generar conocimiento y tecnología que permitan desarrollar soluciones mecanizadas y automatizadas mediante la aplicación de sensores para monitorizar, optimizar tareas y aumentar la productividad en los cultivos de cítricos y, por ende, la competitividad del sector citrícola. Con este fin, se ha trabajado en la aplicación de tecnologías en algunas de las operaciones más importantes y costosas en la citricultura. En el ámbito de la recolección, con el objetivo de facilitar y optimizar el proceso de recolección de cítricos para consumo en fresco, se implementaron mejoras en un prototipo de plataforma autopropulsada de asistencia para garantizar la seguridad de los trabajadores y minimizar los riesgos laborales, asegurar la calidad de la fruta recolectada y clasificarla adecuadamente en función de su calidad por un sistema de visión artificial. Tras la implementación de estos avances, se evaluó su funcionalidad en condiciones reales de campo y se determinó el rendimiento de la operación de recolección asistida. Los resultados mostraron que el rendimiento operativo teórico en el proceso de recolección con la asistencia del prototipo fue un 17% menor que en la recolección manual tradicional. Asimismo, con la finalidad de generar de manera automática mapas de rendimiento en cítricos accesibles al agricultor, se creó una nueva herramienta a modo de cuadro de mando, denominada CitrusYield. Esta herramienta es capaz de obtener mapas que muestran la variabilidad, haciendo uso de la información proporcionada al inspeccionar cada fruta y de los datos obtenidos por los dispositivos de geolocalización, permitiendo conocer el rendimiento de la producción a nivel intraparcelario. Se evalúo el funcionamiento de CitrusYield con datos obtenidos por el prototipo. El cuadro de mando analizó los datos y generó diferentes mapas georreferenciando la información de la fruta con su punto de recolección. A través de estos mapas, CitrusYield demostró su capacidad para reflejar la heterogeneidad de la producción dentro de la parcela. Los indicadores de calidad, rendimiento del sistema de inspección por visión artificial y la productividad revelaron el grado de eficiencia del proceso de recolección con la asistencia del prototipo. En el ámbito de la detección temprana de plagas y enfermedades, se llevó a cabo la investigación del potencial de la imagen en color y de la imagen hiperespectral para la detección automática de daños causados por la plaga Tetranychus urticae en hojas de cítricos. Además, se diferenciaron en función de la antigüedad y de otros problemas que puede tener el árbol causados por deficiencias nutricionales o por otras plagas. En el análisis para identificar el daño causado por esta plaga, se obtuvo una tasa de éxito del 92,5% en las imágenes en color. No obstante, no se pudo discriminar la edad del daño. En las imágenes hiperespectrales, el éxito fue del 100% en la detección del daño y del 92% en la discriminación de la edad. En cuanto a la discriminación de daños de T. urticae respecto a otros daños, en las imágenes en color se obtuvo una tasa de éxito del 100% en la discriminación de Phyllocnistis citrella en el envés de las hojas. Las deficiencias de N no pudieron discriminarse correctamente y las deficiencias de Fe, Mn o Zn se detectaron acertadamente en el 50% de los casos. En las imágenes hiperespectrales, los daños por P. citrella se discriminaron con éxito en el 100% de los casos. Las deficiencias por N se discriminaron correctamente en más del 65% de los casos. No obstante, las deficiencias de Fe, Mn o Zn no pudieron ser discriminadas correctamente. Las conclusiones de esta Tesis Doctoral ponen de manifiesto el gran potencial de implementar estas tecnologías para monitorizar, optimizar tareas y digitalizar los procesos en las labores llevadas a cabo en los campos de cítricos, de manera que se logra aumentar la eficiencia, productividad y, también, la competitividad en el sector. / [CA] L'objectiu d'esta Tesi Doctoral és generar coneixement i tecnologia que permeten desenvolupar solucions mecanitzades i automatitzades mitjançant l'aplicació de sensors per a monitoritzar, optimitzar tasques i augmentar la productivitat en els cultius de cítrics i, per tant, la competitivitat del sector citrícola. Amb este fi, s'ha treballat en l'aplicació de tecnologies en algunes de les operacions més importants i costoses de la citricultura. Amb l'objectiu de facilitar i optimitzar el procés de recol·lecció de cítrics per a consum en fresc es van implementar millores en un prototip de plataforma autopropulsada d'assistència per a garantir la seguretat dels treballadors i minimitzar els riscos laborals, assegurar la qualitat de la fruita recol·lectada i classificar-la adequadament en funció de la qualitat estimada pel sistema de visió artificial. Després de la implementació d'estos avanços, es va avaluar la seua funcionalitat en condicions reals de camp i es va determinar el rendiment de l'operació de recol·lecció assistida. Els resultats van mostrar que el rendiment operatiu teòric en el procés de recol·lecció amb l'assistència del prototip va ser un 17% menor que en la recol·lecció manual tradicional. Així mateix, amb la finalitat de generar de manera automàtica mapes de rendiment en cítrics accessibles a l'agricultor, es va crear una nova eina digital a manera de quadre de comandament, denominada CitrusYield. Esta eina és capaç d'obtindre mapes que mostren la variabilitat, fent ús de la informació proporcionada pel sistema de visió artificial i de les dades obtingudes pels dispositius de geolocalización, permetent conéixer el rendiment de la producció a nivell intraparcel·lari. El quadre de comandament va analitzar les dades i va generar diferents mapes georreferenciant l'informació de la fruita amb el seu punt de recol·lecció. A través d'estos mapes, CitrusYield va demostrar la seua capacitat per a reflectir l'heterogeneïtat de la producció dins de la parcel·la. Els indicadors de qualitat, rendiment del sistema d'inspecció per visió artificial i la productivitat calculats per CitrusYield van revelar el grau d'eficiència del procés de recol·lecció amb l'assistència del prototip. En l'àmbit de la detecció de plagues i malalties de cítrics, es va dur a terme la investigació del potencial de la imatge en color i de la imatge hiperespectral, per a la detecció automàtica de danys causats per la plaga Tetranychus urticae en fulls de cítrics. A més, es van discriminar en funció de l'antiguitat i d'altres problemes que pot tindre l'arbre causats per deficiències nutricionals o per altres plagues. En l'anàlisi per a identificar el dany causat per esta plaga, es va obtindre una taxa d'èxit del 92,5% en les imatges en color. No obstant això, no es va poder discriminar l'edat del dany. En les imatges hiperespectrals, l'èxit va ser del 100% en la detecció del dany i del 92% en la discriminació de l'edat. En quan a la discriminació de danys de T. urticae respecte a altres danys, en les imatges en color es va obtindre una taxa d'èxit del 100% en la discriminació de Phyllocnistis citrella en el revés dels fulls. Les deficiències de N no van poder discriminar-se correctament i les deficiències de Fe, Mn o Zn es van detectar encertadament en el 50% dels casos. En les imatges hiperespectrals, els danys per pogué P. citrella es van discriminar amb èxit en el 100% dels casos, tant en el feix com en el revés dels fulls. Les deficiències per N es van discriminar correctament en més del 65% dels casos també en ambdós costats del full. No obstant això, les deficiències de Fe, Mn o Zn no van poder ser discriminades correctament Les conclusions de esta Tesi Doctoral posen de manifest el gran potencial d'implementar estes tecnologies per a monitoritzar, optimitzar tasques i digitalitzar els processos en les labors dues a terme en els camps de cítrics, de manera que s'aconseguix augmentar l'eficiència, productivitat i la competitivitat en el sector. / [EN] This PhD dissertation aims to generate knowledge and technology to develop mechanised and automated solutions to monitor processes, optimise tasks and increase the productivity of citrus crops and, therefore, the competitiveness of the citriculture sector. For this purpose, this thesis has focused on the development of technologies in some of the most important and costly operations in the citrus sector. To facilitate and optimise the harvesting of citrus fruits for the fresh market, improvements were implemented in a prototype of a self-propelled assistance platform. The research has focused on guaranteeing the operator safety, ensuring the quality of the harvested fruit and classifying it properly based on its quality by an artificial vision system in real-time. The functionality was evaluated in-field conditions and performance was assessed. The results showed that the assisted harvesting process with the platform was more efficient than traditional manual harvesting. A theoretical operation yield was obtained with the prototype, 17% lower than in conventional manual harvesting. Furthermore, in order to automatically generate citrus yield maps accessible for the farmer, a new digital tool was created as a dashboard, called CitrusYield. This tool is capable of obtaining maps showing the variability, using the information provided during the fruit inspection at harvest and the data obtained by the geolocation device, and also allowing to know the performance of the production at the intra-orchard level. The CitrusYield functionality was evaluated with data obtained by the prototype. The dashboard analysed the data and generated different maps georeferencing the information of the fruit with its harvesting point. Through these maps, the ability of CitrusYield to show the heterogeneity of production within the orchard was demonstrated. The production variability was also quantified in the tables and graphs generated by the tool. The indicators of fruit quality obtained by the artificial vision system and the productivity revealed the degree of effectiveness and efficiency of the harvesting process with the prototype. In the context of early citrus pests and diseases detection, the potential of colour and hyperspectral imaging, as a fast and automatic methods to detect the presence and the age of the damage caused by the Tetranychus urticae pest on citrus leaves, were investigated. Another goal was to discriminate this damage from that caused by other pests and from nutritional deficiencies. In the analysis of identifying the damage caused by T. urticae, a success rate of 92,5% was obtained in the colour images. However, the age of the damage could not be discriminated. In hyperspectral images, the success rate was 100% in damage detection and 92% in age discrimination. Regarding the discrimination of T. urticae damages from others, in the colour images, a success of 100% was obtained in the discrimination of Phyllocnistis citrella on the underside of the leaves. N deficiencies could not be correctly discriminated and Fe, Mn or Zn deficiencies were correctly detected in 50% of cases. In the hyperspectral images, P. citrella damage was successfully discriminated in 100% of cases, both on the upper and under sides of the leaves. N deficiencies were correctly discriminated in more than 65% of cases on both sides of the leaf. However, Fe, Mn or Zn deficiencies could not be correctly discriminated. The conclusions of this Thesis show the potential of implementing these technologies to monitor, optimize tasks and digitize agricultural processes in the operations usually done in citrus crops. Therefore, the efficiency, productivity and competitiveness of the sector can increase when these technologies are used. / Esta Tesis Doctoral ha recibido una subvención para la formación de personal investigador en agroalimentación en los centros de investigación agraria y alimentaria INIA-CC.AA. (FPI-INIA CPD2016-0007, #42), otorgada por el Instituto Nacional de Investigaciones y Tecnología Agraria y Alimentaria, con el apoyo parcial de los Fondos FEDER 2014-2020. En esta Tesis Doctoral se han realizado investigaciones en el marco de varios proyectos de investigación: Aplicación de nuevas tecnologías para una estrategia integral de la recolección mecanizada de cítricos (CITRUSREC) (RTA2014-00025-C05-00).Subproyecto 1 centrado en el desarrollo y evaluación de una plataforma de asistencia a la recolección (RTA2014-00025-C05-01) Subproyecto 5 sobre la generación de herramientas de ayuda para la toma de decisiones (RTA2014-00025-C05-05) Desarrollos de ingeniería para el aseguramiento de una agricultura rentable, sostenible y competitiva del campo a la mesa (GVA-IVIA proyecto 51918) Grupo Operativo "Avances tecnológicos para la modernización y la sostenibilidad en la producción de cítricos (GO CITRUSTECH)". / González González, MG. (2022). Estudio y desarrollo de soluciones mecanizadas automatizadas mediante la aplicación de sensores y nuevas tecnologías para la producción de cítricos [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/186174 / TESIS

The human visual ability to perceive depth looks like a puzzle. We perceive three-dimensional spatial information quickly and efficiently by using the binocular stereopsis of our eyes and, what is mote important the learning of the most common objects which we achieved through living. Nowadays, modelling the behaviour of our brain is a fiction, that is why the huge problem of 3D perception and further, interpretation is split into a sequence of easier problems. A lot of research is involved in robot vision in order to obtain 3D information of the surrounded scene. Most of this research is based on modelling the stereopsis of humans by using two cameras as if they were two eyes. This method is known as stereo vision and has been widely studied in the past and is being studied at present, and a lot of work will be surely done in the future. This fact allows us to affirm that this topic is one of the most interesting ones in computer vision.The stereo vision principle is based on obtaining the three dimensional position of an object point from the position of its projective points in both camera image planes. However, before inferring 3D information, the mathematical models of both cameras have to be known. This step is known as camera calibration and is broadly describes in the thesis. Perhaps the most important problem in stereo vision is the determination of the pair of homologue points in the two images, known as the correspondence problem, and it is also one of the most difficult problems to be solved which is currently investigated by a lot of researchers. The epipolar geometry allows us to reduce the correspondence problem. An approach to the epipolar geometry is describes in the thesis. Nevertheless, it does not solve it at all as a lot of considerations have to be taken into account. As an example we have to consider points without correspondence due to a surface occlusion or simply due to a projection out of the camera scope.The interest of the thesis is focused on structured light which has been considered as one of the most frequently used techniques in order to reduce the problems related lo stereo vision. Structured light is based on the relationship between a projected light pattern its projection and an image sensor. The deformations between the pattern projected into the scene and the one captured by the camera, permits to obtain three dimensional information of the illuminated scene. This technique has been widely used in such applications as: 3D object reconstruction, robot navigation, quality control, and so on. Although the projection of regular patterns solve the problem of points without match, it does not solve the problem of multiple matching, which leads us to use hard computing algorithms in order to search the correct matches.In recent years, another structured light technique has increased in importance. This technique is based on the codification of the light projected on the scene in order to be used as a tool to obtain an unique match. Each token of light is imaged by the camera, we have to read the label (decode the pattern) in order to solve the correspondence problem. The advantages and disadvantages of stereo vision against structured light and a survey on coded structured light are related and discussed. The work carried out in the frame of this thesis has permitted to present a new coded structured light pattern which solves the correspondence problem uniquely and robust. Unique, as each token of light is coded by a different word which removes the problem of multiple matching. Robust, since the pattern has been coded using the position of each token of light with respect to both co-ordinate axis. Algorithms and experimental results are included in the thesis. The reader can see examples 3D measurement of static objects, and the more complicated measurement of moving objects. The technique can be used in both cases as the pattern is coded by a single projection shot. Then it can be used in several applications of robot vision.Our interest is focused on the mathematical study of the camera and pattern projector models. We are also interested in how these models can be obtained by calibration, and how they can be used to obtained three dimensional information from two correspondence points. Furthermore, we have studied structured light and coded structured light, and we have presented a new coded structured light pattern. However, in this thesis we started from the assumption that the correspondence points could be well-segmented from the captured image. Computer vision constitutes a huge problem and a lot of work is being done at all levels of human vision modelling, starting from a)image acquisition; b) further image enhancement, filtering and processing, c) image segmentation which involves thresholding, thinning, contour detection, texture and colour analysis, and so on. The interest of this thesis starts in the next step, usually known as depth perception or 3D measurement.

La tesi realitza un estudi detallat dels principals processos que tenen lloc durant l'eliminació de tinta tòner per flotació.L'estudi del procés d'adhesió de tinta a la superfície de bombolles d'aire s'ha realitzat mitjançant visió artificial. Els resultats obtinguts han mostrat que un excés de tensioactiu provoca una disminució de la quantitat de tinta unida a la bombolla d'aire i per tant una disminució de l'eficàcia del procés de flotació. La caracterització de les bombolles d'aire presents en una cel·la de flotació ha posat de manifest que tant el cabal d'aire com la velocitat de l'agitador configuren la distribució de diàmetres final. L'estudi del procés d'eliminació de tinta per flotació en absència de fibres cel·lulòsiques ha mostrat que les variables físico-químiques estudiades són les que tenen una major influència en el procés d'eliminació de tinta tòner per flotació.Finalment s'han addicionat fibres cel·lulòsiques a la suspensió. S'ha pogut comprovar que s'aconsegueix una bona eliminació de tinta sempre i quan les condicions hidrodinàmiques siguin les adequades. / First of all the adhesion of ink particles to air bubbles surface was studied by means of artificial vision. Results obtained showed that an excess of surfactant decreases ink adsorption decreasing flotation efficiency. Air bubbles created in a lab-scale flotation cell were characterized by means of artificial vision. Results showed that air flow and agitation rate configure the final air bubble distribution.Ink removal from a flotation cell was studied without the presence of cellulose fibers. Results obtained showed that the physico-chemical variables studied had a major influence on ink removal than hydrodynamic variables studied.Finally, cellulose fibers were added to the suspension. Results obtained showed that it was possible to obtain good flotation results provided that the hydrodynamic conditions were carefully adjusted.

Tesis por compendio / [ES] Esta tesis se centra en el desarrollo de nuevas técnicas automatizadas que permiten inspeccionar nematodos Caenorhabidits elegans (C. elegans) en placas de Petri estándar, para el análisis de sus comportamientos. C. elegans es un nemátodo de 1mm de longitud, con el cual se pueden realizar distintos experimentos para analizar los efectos de fármacos, compuestos o alteraciones genéticas en su longevidad, su salud física o su cognición. El campo principal metodológico del presente trabajo para el análisis de esos efectos es la visión por computador; y con ello, el desarrollo completo del sistema de visión activo: sistema de iluminación inteligente, sistema de captura óptimo, procesamiento de las imágenes para detección y clasificación de nematodos. Los campos secundarios en esta investigación son el control y robotización. Los C. elegans son animales sensibles a la luz y por ello el primero de los métodos está en la rama de la iluminación inteligente, con el cual se permite regular la intensidad y las longitudes de onda de la luz que reciben los nematodos. El siguiente método es el procesado para la detección y clasificación de movimiento a partir de las imágenes obtenidas con esa iluminación controlada. Tener el ambiente controlado es fundamental, los nematodos son muy sensibles a las condiciones ambientales por lo que puede alterarse su actividad biológica, y con ello los resultados, así que el tercer método es la integración de las técnicas en un nuevo dispositivo que permite automatizar ensayos de lifespan y validar los resultados automáticos comparándolos con los manuales. El movimiento del animal es clave para poder realizar inferencias estadísticas que puedan mostrar tendencias en sus comportamientos, por ello la estimulación automatizada que provoque una reacción de su movilidad es el cuarto de los métodos. Por último, el aumento de la resolución en las imágenes muestra mayor detalle, mejorando el procesamiento y extracción de características. El quinto método es un robot multivista que posibilita tomar imágenes a distintas resoluciones, lo que permite mantener el seguimiento global de los gusanos, al mismo tiempo que se toman imágenes con un encuadre de mayor detalle del nematodo objetivo. / [CA] Esta tesi doctoral se centra en el desentrollament de noves tècniques automatitzades que permeten inspeccionar nemàtodes Caenorhabidits elegans (C. elegans) en plaques de Petri estàndar, per a l'anàlisi dels seus comportaments. C. elegans és un nemàtode d'1mm de llargària, ab el qual se poden realitzar distints experiments per a analitzar els efectes de fàrmacs, composts o alteracions genètiques en sa longevitat, la seua salut física o la seua cognició. El camp principal metodològic del present treball per a l'anàlisi d'eixos efectes és la visió per computador; i ab açò, el desentrollament complet del sistema de visió actiu: sistema d'il.luminació inteligent, sistema de captura òptim, processament de les imàtgens per a detecció i classificació de nematode. Els camps secundaris en esta investigació són el control i robotització. Els C. elegans són animals sensibles a la llum i por ello el primer dels mètodes està en la branca de la il.luminació intel.ligent, ab el qual es permet regular la intensitat i les longituds d'ona de la llum que reben els nematodes. El següent mètode és el processat per a la detecció i classificació de moviment a partir de les imàtgens obtinguda ab eixa il.luminació controlada. Tindre l'ambient controlat és fonamental, els nemàtodes són molt sensibles a les condicions ambientals per lo que pot alterar-se la seua activitat biològica, i ab aço els resultats, aixina que el tercer mètode és la integració de les tècniques en un nou dispositiu que permet automatitzar ensajos de lifespan i validar els resultats automàtics comparant-los ab els manuals. El moviment de l'animal és clau per a poder realitzar inferencies estadístiques que puguen mostrar tendències en el seus comportaments, per això la estimulació automatitzada que provoque una reacció de la seua mobilitat és el quart dels mètodes. Per últim, l'augment de la resolució en les imàtgens mostra major detall, millorant el processament i extracció de característiques. El quint mètode és un robot multivista que possibilita prendre imàtgens a distintes resolucions, lo que permet mantindre el seguiment global dels cucs, al mateix temps que se prenguen imàtgens ab un enquadrament de major detall del nematode objectiu. / [EN] This thesis focuses on the development of new automated techniques that allow the inspection of Caenorhabidits elegans nematodes (C. elegans) in Petri dishes, for the analysis of their behavior. This nematode is a 1mm long worm, with which different experiments can be carried out to analyze the effects of drugs, compounds or genetic alterations on its longevity, physical health or cognition. The main methodological field of the present work for the analysis of these effects is computer vision; and with it, the complete development of the active vision system: intelligent lighting system, optimal capture system, image processing for detection and classification of nematodes. The secondary fields in this research are control and robotization. C. elegans are light-sensitive animals and therefore the first method is in the field of intelligent lighting, with which it is possible to regulate the intensity and wavelength of the light that nematodes receive. The next method is the processing for the detection and classification of movement from the images obtained with that controlled lighting. Having a controlled environment is essential, worms are very sensitive to environmental conditions so it can alter biological activity, and with it the results, so the third method is the integration of techniques in a new device that allows automating tests of lifespan and validate the automatic results comparing them with the manual ones. The movement of the animal is key to be able to carry out statistical conferences that can show trends in its behaviors, therefore the automated stimulation that causes a reaction of its mobility is the fourth of the methods. Finally, increasing the resolution in the images shows greater detail, improving the processing and extraction of features. The fifth method is a multiview robot that enables images to be taken at different resolutions, allowing global tracking of worms to be maintained, while at the same time taking images with a more detailed frame of the target worm. / Puchalt Rodríguez, JC. (2022). Development and Evaluation of New Methods for Automating Experiments with C. Elegans Based on Active Vision [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181359 / TESIS / Compendio

Tesis por compendio / [ES] Esta tesis presenta soluciones de vanguardia basadas en algoritmos de computer vision (CV) y machine learning (ML) para ayudar a los expertos en el diagnóstico clínico. Se centra en dos áreas relevantes en el campo de la imagen médica: la patología digital y la oftalmología. Este trabajo propone diferentes paradigmas de machine learning y deep learning para abordar diversos escenarios de supervisión en el estudio del cáncer de próstata, el cáncer de vejiga y el glaucoma. En particular, se consideran métodos supervisados convencionales para segmentar y clasificar estructuras específicas de la próstata en imágenes histológicas digitalizadas. Para el reconocimiento de patrones específicos de la vejiga, se llevan a cabo enfoques totalmente no supervisados basados en técnicas de deep-clustering. Con respecto a la detección del glaucoma, se aplican algoritmos de memoria a corto plazo (LSTMs) que permiten llevar a cabo un aprendizaje recurrente a partir de volúmenes de tomografía por coherencia óptica en el dominio espectral (SD-OCT). Finalmente, se propone el uso de redes neuronales prototípicas (PNN) en un marco de few-shot learning para determinar el nivel de gravedad del glaucoma a partir de imágenes OCT circumpapilares. Los métodos de inteligencia artificial (IA) que se detallan en esta tesis proporcionan una valiosa herramienta de ayuda al diagnóstico por imagen, ya sea para el diagnóstico histológico del cáncer de próstata y vejiga o para la evaluación del glaucoma a partir de datos de OCT. / [CA] Aquesta tesi presenta solucions d'avantguarda basades en algorismes de *computer *vision (CV) i *machine *learning (ML) per a ajudar als experts en el diagnòstic clínic. Se centra en dues àrees rellevants en el camp de la imatge mèdica: la patologia digital i l'oftalmologia. Aquest treball proposa diferents paradigmes de *machine *learning i *deep *learning per a abordar diversos escenaris de supervisió en l'estudi del càncer de pròstata, el càncer de bufeta i el glaucoma. En particular, es consideren mètodes supervisats convencionals per a segmentar i classificar estructures específiques de la pròstata en imatges histològiques digitalitzades. Per al reconeixement de patrons específics de la bufeta, es duen a terme enfocaments totalment no supervisats basats en tècniques de *deep-*clustering. Respecte a la detecció del glaucoma, s'apliquen algorismes de memòria a curt termini (*LSTMs) que permeten dur a terme un aprenentatge recurrent a partir de volums de tomografia per coherència òptica en el domini espectral (SD-*OCT). Finalment, es proposa l'ús de xarxes neuronals *prototípicas (*PNN) en un marc de *few-*shot *learning per a determinar el nivell de gravetat del glaucoma a partir d'imatges *OCT *circumpapilares. Els mètodes d'intel·ligència artificial (*IA) que es detallen en aquesta tesi proporcionen una valuosa eina d'ajuda al diagnòstic per imatge, ja siga per al diagnòstic histològic del càncer de pròstata i bufeta o per a l'avaluació del glaucoma a partir de dades d'OCT. / [EN] This thesis presents cutting-edge solutions based on computer vision (CV) and machine learning (ML) algorithms to assist experts in clinical diagnosis. It focuses on two relevant areas at the forefront of medical imaging: digital pathology and ophthalmology. This work proposes different machine learning and deep learning paradigms to address various supervisory scenarios in the study of prostate cancer, bladder cancer and glaucoma. In particular, conventional supervised methods are considered for segmenting and classifying prostate-specific structures in digitised histological images. For bladder-specific pattern recognition, fully unsupervised approaches based on deep-clustering techniques are carried out. Regarding glaucoma detection, long-short term memory algorithms (LSTMs) are applied to perform recurrent learning from spectral-domain optical coherence tomography (SD-OCT) volumes. Finally, the use of prototypical neural networks (PNNs) in a few-shot learning framework is proposed to determine the severity level of glaucoma from circumpapillary OCT images. The artificial intelligence (AI) methods detailed in this thesis provide a valuable tool to aid diagnostic imaging, whether for the histological diagnosis of prostate and bladder cancer or glaucoma assessment from OCT data. / García Pardo, JG. (2022). Machine learning strategies for diagnostic imaging support on histopathology and optical coherence tomography [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/182400 / TESIS / Compendio

Tesis por compendio / [ES] En la última década, el aprendizaje profundo (DL) se ha convertido en la principal herramienta para las tareas de visión por ordenador (CV). Bajo el paradigma de aprendizaje supervisado, y gracias a la recopilación de grandes conjuntos de datos, el DL ha alcanzado resultados impresionantes utilizando redes neuronales convolucionales (CNNs). Sin embargo, el rendimiento de las CNNs disminuye cuando no se dispone de suficientes datos, lo cual dificulta su uso en aplicaciones de CV en las que sólo se dispone de unas pocas muestras de entrenamiento, o cuando el etiquetado de imágenes es una tarea costosa. Estos escenarios motivan la investigación de estrategias de aprendizaje menos supervisadas. En esta tesis, hemos explorado diferentes paradigmas de aprendizaje menos supervisados. Concretamente, proponemos novedosas estrategias de aprendizaje autosupervisado en la clasificación débilmente supervisada de imágenes histológicas gigapixel. Por otro lado, estudiamos el uso del aprendizaje por contraste en escenarios de aprendizaje de pocos disparos para la vigilancia automática de cruces de ferrocarril. Por último, se estudia la localización de lesiones cerebrales en el contexto de la segmentación no supervisada de anomalías. Asimismo, prestamos especial atención a la incorporación de conocimiento previo durante el entrenamiento que pueda mejorar los resultados en escenarios menos supervisados. En particular, introducimos proporciones de clase en el aprendizaje débilmente supervisado en forma de restricciones de desigualdad. Además, se incorpora la homogeneización de la atención para la localización de anomalías mediante términos de regularización de tamaño y entropía. A lo largo de esta tesis se presentan diferentes métodos menos supervisados de DL para CV, con aportaciones sustanciales que promueven el uso de DL en escenarios con datos limitados. Los resultados obtenidos son prometedores y proporcionan a los investigadores nuevas herramientas que podrían evitar la anotación de cantidades masivas de datos de forma totalmente supervisada. / [CA] En l'última dècada, l'aprenentatge profund (DL) s'ha convertit en la principal eina per a les tasques de visió per ordinador (CV). Sota el paradigma d'aprenentatge supervisat, i gràcies a la recopilació de grans conjunts de dades, el DL ha aconseguit resultats impressionants utilitzant xarxes neuronals convolucionals (CNNs). No obstant això, el rendiment de les CNNs disminueix quan no es disposa de suficients dades, la qual cosa dificulta el seu ús en aplicacions de CV en les quals només es disposa d'unes poques mostres d'entrenament, o quan l'etiquetatge d'imatges és una tasca costosa. Aquests escenaris motiven la investigació d'estratègies d'aprenentatge menys supervisades. En aquesta tesi, hem explorat diferents paradigmes d'aprenentatge menys supervisats. Concretament, proposem noves estratègies d'aprenentatge autosupervisat en la classificació feblement supervisada d'imatges histològiques gigapixel. D'altra banda, estudiem l'ús de l'aprenentatge per contrast en escenaris d'aprenentatge de pocs trets per a la vigilància automàtica d'encreuaments de ferrocarril. Finalment, s'estudia la localització de lesions cerebrals en el context de la segmentació no supervisada d'anomalies. Així mateix, prestem especial atenció a la incorporació de coneixement previ durant l'entrenament que puga millorar els resultats en escenaris menys supervisats. En particular, introduïm proporcions de classe en l'aprenentatge feblement supervisat en forma de restriccions de desigualtat. A més, s'incorpora l'homogeneïtzació de l'atenció per a la localització d'anomalies mitjançant termes de regularització de grandària i entropia. Al llarg d'aquesta tesi es presenten diferents mètodes menys supervisats de DL per a CV, amb aportacions substancials que promouen l'ús de DL en escenaris amb dades limitades. Els resultats obtinguts són prometedors i proporcionen als investigadors noves eines que podrien evitar l'anotació de quantitats massives de dades de forma totalment supervisada. / [EN] In the last decade, deep learning (DL) has become the main tool for computer vision (CV) tasks. Under the standard supervised learnng paradigm, and thanks to the progressive collection of large datasets, DL has reached impressive results on different CV applications using convolutional neural networks (CNNs). Nevertheless, CNNs performance drops when sufficient data is unavailable, which creates challenging scenarios in CV applications where only few training samples are available, or when labeling images is a costly task, that require expert knowledge. Those scenarios motivate the research of not-so-supervised learning strategies to develop DL solutions on CV. In this thesis, we have explored different less-supervised learning paradigms on different applications. Concretely, we first propose novel self-supervised learning strategies on weakly supervised classification of gigapixel histology images. Then, we study the use of contrastive learning on few-shot learning scenarios for automatic railway crossing surveying. Finally, brain lesion segmentation is studied in the context of unsupervised anomaly segmentation, using only healthy samples during training. Along this thesis, we pay special attention to the incorporation of tasks-specific prior knowledge during model training, which may be easily obtained, but which can substantially improve the results in less-supervised scenarios. In particular, we introduce relative class proportions in weakly supervised learning in the form of inequality constraints. Also, attention homogenization in VAEs for anomaly localization is incorporated using size and entropy regularization terms, to make the CNN to focus on all patterns for normal samples. The different methods are compared, when possible, with their supervised counterparts. In short, different not-so-supervised DL methods for CV are presented along this thesis, with substantial contributions that promote the use of DL in data-limited scenarios. The obtained results are promising, and provide researchers with new tools that could avoid annotating massive amounts of data in a fully supervised manner. / The work of Julio Silva Rodríguez to carry out this research and to elaborate this dissertation has been supported by the Spanish Government under the FPI Grant PRE2018-083443. / Silva Rodríguez, JJ. (2022). Learning from limited labelled data: contributions to weak, few-shot, and unsupervised learning [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/190633 / Compendio

L'objectiu principal d'aquesta tesi consisteix a estudiar la factibilitat d'implementar un sensor càmera CNN amb plena funcionalitat basat en FPGA de baix cost adequat per a aplicacions en robots mòbils. L'estudi dels fonaments de les xarxes cel•lulars no lineals (CNNs) i la seva aplicació eficaç en matrius de portes programables (FPGAs) s'ha complementat, d'una banda amb el paral•lelisme que s'estableix entre arquitectura multi-nucli de les CNNs i els eixams de robots mòbils, i per l'altre banda amb la correlació dinàmica de CNNs i arquitectures memristive. A més, els memristors es consideren els substituts dels futurs dispositius de memòria flash per la seva capacitat d'integració d'alta densitat i el seu consum d'energia prop de zero. En el nostre cas, hem estat interessats en el desenvolupament d’FPGAs que han deixat de ser simples dispositius per a la creació ràpida de prototips ASIC per esdevenir complets dispositius reconfigurables amb integració de la memòria i els elements de processament general. En particular, s'han explorat com les arquitectures implementades CNN en FPGAs poden ser optimitzades en termes d’àrea ocupada en el dispositiu i el seu consum de potència. El nostre objectiu final ens ah portat a implementar de manera eficient una CNN-UM amb complet funcionament a un baix cost i baix consum sobre una FPGA amb tecnología flash. Per tant, futurs estudis sobre l’arquitectura eficient de la CNN sobre la FPGA i la interconnexió amb els robots comercials disponibles és un dels objectius d'aquesta tesi que se seguiran en les línies de futur exposades en aquest treball. / El objetivo principal de esta tesis consiste en estudiar la factibilidad de implementar un sensor cámara CNN con plena funcionalidad basado en FPGA de bajo coste adecuado para aplicaciones en robots móviles. El estudio de los fundamentos de las redes celulares no lineales (CNNs) y su aplicación eficaz en matrices de puertas programables (FPGAs) se ha complementado, por un lado con el paralelismo que se establece entre arquitectura multi -núcleo de las CNNs y los enjambres de robots móviles, y por el otro lado con la correlación dinámica de CNNs y arquitecturas memristive. Además, los memristors se consideran los sustitutos de los futuros dispositivos de memoria flash por su capacidad de integración de alta densidad y su consumo de energía cerca de cero. En nuestro caso, hemos estado interesados en el desarrollo de FPGAs que han dejado de ser simples dispositivos para la creación rápida de prototipos ASIC para convertirse en completos dispositivos reconfigurables con integración de la memoria y los elementos de procesamiento general. En particular, se han explorado como las arquitecturas implementadas CNN en FPGAs pueden ser optimizadas en términos de área ocupada en el dispositivo y su consumo de potencia. Nuestro objetivo final nos ah llevado a implementar de manera eficiente una CNN-UM con completo funcionamiento a un bajo coste y bajo consumo sobre una FPGA con tecnología flash. Por lo tanto, futuros estudios sobre la arquitectura eficiente de la CNN sobre la FPGA y la interconexión con los robots comerciales disponibles es uno de los objetivos de esta tesis que se seguirán en las líneas de futuro expuestas en este trabajo. / The main goal of this thesis consists in studying the feasibility to implement a full-functionality CNN camera sensor based on low-cost FPGA device suitable for mobile robotic applications. The study of Cellular Nonlinear Networks (CNNs) fundamentals and its efficient implementation on Field Programmable Gate Arrays (FPGAs) has been complemented, on one side with the parallelism established between multi-core CNN architecture and swarm of mobile robots, and on the other side with the dynamics correlation of CNNs and memristive architectures. Furthermore, memristors are considered the future substitutes of flash memory devices because of its capability of high density integration and its close to zero power consumption. In our case, we have been interested in the development of FPGAs that have ceased to be simple devices for ASIC fast prototyping to become complete reconfigurable devices embedding memory and processing elements. In particular, we have explored how the CNN architectures implemented on FPGAs can be optimized in terms of area occupied on the device or power consumption. Our final accomplishment has been implementing efficiently a fully functional reconfigurable CNN-UM on a low-cost low-power FPGA based on flash technology. Therefore, further studies on an efficient CNN architecture on FPGA and interfacing it with commercially-available robots is one of the objectives of this thesis that will be followed in the future directions exposed in this work.

[ES] La endoscopia capsular (CE) es una ampliamente utilizada alternativa mínimamente invasiva a la endoscopia tradicional, que permite la visualización de todo el intestino delgado, mientras no es posible hacerlo fácilmente con los procedimientos más invasivos. Sin embargo, esos métodos tradicionales aún suelen ser la primera opción de tratamiento, ya que todavía existen desafíos importantes en el campo de la CE, incluyendo el tiempo necesario para el diagnóstico por vídeo después del procedimiento, el hecho de que la cápsula no se puede controlar activamente, la falta de consenso sobre una buena preparación del paciente y el coste alto. En esta tesis doctoral, nuestro objetivo es extraer más información de los procedimientos de endoscopía por cápsula para ayudar a aliviar estos problemas desde una perspectiva que parece estar subrepresentada en la investigación actual. Primero, como el objetivo principal en esta tesis, pretendemos desarrollar un método de evaluación de la limpieza en procedimientos de CE automático y objetivo para asistir la investigación médica en métodos de preparación de los pacientes. Específicamente, a pesar de que una preparación adecuada del paciente pueda ayudar a obtener una mejor visibilidad, los estudios sobre el método más efectivo son contradictorios debido a la ausencia de tal método. Por lo tanto, pretendemos proporcionar un método de ese tipo, capaz de presentar la limpieza en una escala intuitiva, con una novedosa arquitectura relativamente ligera de una red neuronal convolucional en su núcleo. Entrenamos este modelo en un conjunto de datos extensivo de más de 50,000 parches de imágenes, obtenidos de 35 procedimientos CE diferentes, y lo comparamos con métodos de clasificación del estado del arte. A partir de la clasificación, desarrollamos un método para automáticamente estimar las probabilidades a nivel de píxel y deducir los puntos en la escala de la evaluación de la limpieza a través de umbrales aprendidos. Después, validamos nuestro método en un entorno clínico en 30 videos de CE obtenidos nuevamente, comparando las puntuaciones resultantes con las asignadas de forma independiente por especialistas humanos. Obtuvimos la mayor precisión de clasificación para el método propuesto (95,23%), con tiempos de predicción promedios significativamente más bajos que para el segundo mejor método. En la validación, encontramos un acuerdo aceptable con dos especialistas humanos en comparación con el acuerdo interhumano, mostrando su validez como método de evaluación objetivo. Adicionalmente, otro objetivo de este trabajo es detectar automáticamente el túnel y ubicar el túnel en cada fotograma. Para este objetivo, entrenamos un modelo basado en R-CNN, concretamente el detector ligero YOLOv3, en un total de 1385 fotogramas, extraídos de procedimientos de CE de 10 pacientes diferentes. De tal manera, alcanzamos una precisión del 86,55% y una recuperación del 88,79% en nuestro conjunto de datos de test. Ampliando este objetivo, también pretendemos visualizar la motilidad intestinal de una manera análoga a una manometría intestinal tradicional, basada únicamente en la técnica mínimamente invasiva de CE. Para esto, alineamos los fotogramas con similar orientación y derivamos los parámetros adecuados para nuestro método de segmentación de las propiedades del rectángulo delimitador del túnel. Finalmente, calculamos el tamaño relativo del túnel para construir un equivalente de una manometría intestinal a partir de información visual. Desde que concluimos nuestro trabajo, nuestro método para la evaluación automática de la limpieza se ha utilizado en un estudio a gran escala aún en curso, en el que participamos activamente. Mientras gran parte de la investigación se centra en la detección automática de patologías, como tumores, pólipos y hemorragias, esperamos que nuestro trabajo pueda hacer una contribución significativa para extraer más información de la CE también en otras áreas frecuentemente subestimadas. / [CA] L'endoscòpia capsular (CE) és una àmpliament utilitzada alternativa mínimament invasiva a l'endoscòpia tradicional, que permet la visualització de tot l'intestí prim, mentre no és possible fer-lo fàcilment amb els procediments més invasius. No obstant això, aqueixos mètodes tradicionals encara solen ser la primera opció de tractament, ja que encara existeixen desafiaments importants en el camp de la CE, incloent el temps necessari per al diagnòstic per vídeo després del procediment, el fet que la càpsula no es pot controlar activament, la falta de consens sobre una bona preparació del pacient i el cost alt. En aquesta tesi doctoral, el nostre objectiu és extraure més informació dels procediments de endoscopía per càpsula per a ajudar a alleujar aquests problemes des d'una perspectiva que sembla estar subrepresentada en la investigació actual. Primer, com l'objectiu principal en aquesta tesi, pretenem desenvolupar un mètode d'avaluació de la neteja en procediments de CE automàtic i objectiu per a assistir la investigació mèdica en mètodes de preparació dels pacients. Específicament, a pesar que una preparació adequada del pacient puga ajudar a obtindre una millor visibilitat, els estudis sobre el mètode més efectiu són contradictoris a causa de l'absència de tal mètode. Per tant, pretenem proporcionar un mètode d'aqueix tipus, capaç de presentar la neteja en una escala intuïtiva, amb una nova arquitectura relativament lleugera d'una xarxa neuronal convolucional en el seu nucli. Entrenem aquest model en un conjunt de dades extensiu de més de 50,000 pegats d'imatges, obtinguts de 35 procediments CE diferents, i el comparem amb mètodes de classificació de l'estat de l'art. A partir de la classificació, desenvolupem un mètode per a automàticament estimar les probabilitats a nivell de píxel i deduir els punts en l'escala de l'avaluació de la neteja a través de llindars apresos. Després, validem el nostre mètode en un entorn clínic en 30 vídeos de CE obtinguts novament, comparant les puntuacions resultants amb les assignades de manera independent per especialistes humans. Vam obtindre la major precisió de classificació per al mètode proposat (95,23%), amb temps de predicció mitjanes significativament més baixos que per al segon millor mètode. En la validació, trobem un acord acceptable amb dos especialistes humans en comparació amb l'acord interhumà, mostrant la seua validesa com a mètode d'avaluació objectiu. Addicionalment, un altre objectiu d'aquest treball és detectar automàticament el túnel i situar el túnel en cada fotograma. Per a aquest objectiu, entrenem un model basat en R-CNN, concretament el detector lleuger YOLOv3, en un total de 1385 fotogrames, extrets de procediments de CE de 10 pacients diferents. De tal manera, aconseguim una precisió del 86,55% i una recuperació del 88,79% en el nostre conjunt de dades de test. Ampliant aquest objectiu, també pretenem visualitzar la motilitat intestinal d'una manera anàloga a una manometría intestinal tradicional, basada únicament en la tècnica mínimament invasiva de CE. Per a això, alineem els fotogrames amb similar orientació i derivem els paràmetres adequats per al nostre mètode de segmentació de les propietats del rectangle delimitador del túnel. Finalment, calculem la grandària relativa del túnel per a construir un equivalent d'una manometría intestinal a partir d'informació visual. Des que concloem el nostre treball, el nostre mètode per a l'avaluació automàtica de la neteja s'ha utilitzat en un estudi a gran escala encara en curs, en el qual participem activament. Mentre gran part de la investigació se centra en la detecció automàtica de patologies, com a tumors, pòlips i hemorràgies, esperem que el nostre treball puga fer una contribució significativa per a extraure més informació de la CE també en altres àrees sovint subestimades. / [EN] Capsule endoscopy (CE) is a widely used, minimally invasive alternative to traditional endoscopy that allows visualisation of the entire small intestine, whereas more invasive procedures cannot easily do this. However, those traditional methods are still commonly the first choice of treatment for gastroenterologists as there are still important challenges surrounding the field of CE. Among others, these include the time consuming video diagnosis following the procedure, the fact that the capsule cannot be actively controlled, lack of consensus on good patient preparation and the high cost. In this doctoral thesis, we aim to extract more information from capsule endoscopy procedures to aid in alleviating these issues from a perspective that appears to be under-represented in current research. First, and as the main objective in this thesis, we aim to develop an objective, automatic cleanliness evaluation method in CE procedures to aid medical research in patient preparation methods. Namely, even though adequate patient preparation can help to obtain a cleaner intestine and thus better visibility in the resulting videos, studies on the most effective preparation method are conflicting due to the absence of such a method. Therefore, we aim to provide such a method, capable of presenting results on an intuitive scale, with a relatively light-weight novel convolutional neural network architecture at its core. We trained this model on an extensive data set of over 50,000 image patches, collected from 35 different CE procedures, and compared it with state-of-the-art classification methods. From the patch classification results, we developed a method to automatically estimate pixel-level probabilities and deduce cleanliness evaluation scores through automatically learnt thresholds. We then validated our method in a clinical setting on 30 newly collected CE videos, comparing the resulting scores to those independently assigned by human specialists. We obtained the highest classification accuracy for the proposed method (95.23%), with significantly lower average prediction times than for the second-best method. In the validation of our method, we found acceptable agreement with two human specialists compared to interhuman agreement, showing its validity as an objective evaluation method. Additionally, we aim to automatically detect and localise the tunnel in each frame, in order to help determine the capsule orientation at any given time. For this purpose, we trained an R-CNN based model, namely the light-weight YOLOv3 detector, on a total of 1385 frames, extracted from CE procedures of 10 different patients, achieving a precision of 86.55% combined with a recall of 88.79% on our test set. Extending on this, we additionally aim to visualise intestinal motility in a manner analogous to a traditional intestinal manometry, solely based on the minimally invasive technique of CE, through aligning the frames with similar orientation and using the bounding box parameters to derive adequate parameters for our tunnel segmentation method. Finally, we calculate the relative tunnel size to construct an equivalent of an intestinal manometry from visual information. Since we concluded our work, our method for automatic cleanliness evaluation has been used in a still on-going, large-scale study, with in which we actively participate. While much research focuses on automatic detection of pathologies, such as tumors, polyps and bleedings, we hope our work can make a significant contribution to extract more information from CE also in other areas that are often overlooked. / Noorda, RA. (2022). Clearing the Way in Capsule Endoscopy with Deep Learning and Computer Vision [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/183752 / TESIS