En este proyecto, un brazo robot permitirá seleccionar objetos (tornillos, tuercas, llaveros, etc) que se encuentran en una mesa, independiente de la posición y orientación. El problema se aborda mediante un esquema de Visión Artificial consistente en 6 etapas: obtención de la imagen, preprocesamiento, segmentación, extracción de características, clasificación y manipulación con el brazo robot. / Tesis

Los métodos tradicionales de escaneo 3D requieren de un contacto físico directo con los objetos a escanear. En algunos casos demandan incluso la rotación y movimiento constante de estos, lo cual representa un riesgo para objetos frágiles como las piezas arqueológicas. Si ignoramos este factor de riesgo podemos causar daños irreparables y frustrar el proceso de documentación de estas. Por otro lado, existen técnicas de escaneo 3D sin contacto - pasivas que no requieren de una interacción directa con los objetos. Es por ello que se propone desarrollar un software que permita escanear piezas arqueológicas usando las técnicas de reconstrucción tridimensional mediante conceptos de visión artificial, aprendizaje de máquina, data augmentation y mallas poligonales. Para lograr nuestro cometido se parte de un set inicial de 962 huacos peruanos pre escaneados proporcionados por el grupo de Inteligencia Artificial PUCP. Con este conjunto de datos se genera una extenso volumen de imágenes los cuales son procesados y utilizados para el entrenamiento de un modelo de aprendizaje de máquina. Segundo, al obtener unos primeros resultados se propone llevar a cabo la técnica de data augmentation para extender nuestra data disponible, normalizarla, segmentarla y con ello entrenar múltiples modelos bajo 2 experimentos definidos. Todo ello nos permite mejorar los resultados de reconstrucción de objetos 3D considerando la alta variabilidad de huacos peruanos. Finalmente se implementa una interfaz gráfica la cual permite al usuario interactuar con el proyecto desarrollado. En conclusión, se logra desarrollar una herramienta de software que nos permite cargar videograbaciones reales de piezas arqueológicas (bajo ciertos parámetros establecidos), procesar los archivos, visualizar y descargar los resultados obtenidos como mallas poligonales (reconstrucciones 3D almacenados en el computador).

En el ámbito del aprendizaje automático, un desafío persistente es la disponibilidad de datos suficientes, especialmente en tareas de visión por computadora. Este desafío se amplifica cuando se trabaja con sensores remotos, donde las bases de datos etiquetadas para abordar problemas son escasas. Este manuscrito examina críticamente el monitoreo de deslizamientos de tierra en el paisaje peruano y presenta tres contribuciones en esta dirección. La primera contribución expande un conjunto de datos de imágenes satelital es sobre deslizamientos de tierra (Landslide4Sense) proveniente de territorios asiáticos, con 3799 imágenes debidamente etiquetadas. Reconociendo la dinámica geoespacial de Perú, se incrementó este conjunto de datos con 838 escenarios locales. Estas adiciones mantienen congruencia con el conjunto de datos original en términos de atributos y configuración, asegurando replicabilidad y escalabilidad para futuras investigaciones. La segunda evalúa varios modelos de segmentación semántica basados en la arquitectura U-net, reforzada por la función de pérdida de Entropía Cruzada Ponderada + Dice Loss, óptima en tareas de segmentación con conjuntos de datos desequilibrados. Los resultados permiten alcanzar un F1-Score del 75.5% con la arquitectura U-net (vanilla) superando el benchmark de referencia del 71.65%. La última contribución muestra un desarrollado integral para la adquisición de datos, procesamiento y entrenamiento/evaluación de modelos. Dado que este marco tiene el potencial de impulsar una aplicabilidad general de sistemas de segmentación a sistemas de monitoreo de deslizamientos de tierra, y detener un alcance más amplio a la comunidad académica y partes interesadas gubernamentales en Latinoamérica y en todo el mundo.

Al 2020, y pasados menos de 8 años desde la primera exportación significativa de arándanos frescos, el Perú se ha consolidado como el mayor exportador de este fruto, ofreciéndolo en mercados como EEUU, la Unión Europea y China [4] [14]. La apertura de estos nuevos mercados trae consigo la obligación de cumplir estándares de calidad; en el caso de los arándanos, incluyendo rangos de calibre (diámetro mayor), color e incidencia de defectos superficiales. Si bien existen máquinas que automatizan por completo el proceso de selección de dichos frutos, sus costos son un impedimento para su adquisición en asociaciones de productores pequeños y medianos. En el Perú, este proceso es mayormente manual, complicando el cumplimiento adecuado de los estándares internacionales y suponiendo además riesgos ergonómicos para los operarios. De esta forma, surge la necesidad de una máquina para la clasificación de arándanos costeable por productores peruanos. En ese sentido, el presente trabajo de tesis detalla el proceso de diseño de un prototipo para la clasificación de arándanos según tamaño y características asociadas al color, mediante visión por computadora; poniéndose especial énfasis en la identificación de criterios de selección efectivos aplicados al análisis de imágenes del fruto. Bajo el enfoque de la metodología VDI 2221 y los métodos de diseño de la Universidad Tecnológica de Delft, se inicia con una revisión de los métodos más empleados en la industria para la clasificación de fruta, los parámetros de calidad cruciales para arándanos y el estado de la tecnología en clasificación de los mismos. Luego, se delimitan los requerimientos básicos para el diseño y se determinan posibles soluciones para un prototipo, las cuales fueron evaluadas cualitativamente. Seguidamente, se analiza una muestra de 100 arándanos con el fin de determinar características útiles para el diseño, y se realizan experimentos para comprobar el principio de funcionamiento del concepto de solución seleccionado. Posteriormente, se diseña un prototipo para la clasificación de arándanos, que incluye pruebas de visión por computadora para la estimación del calibre del fruto y la determinación de un criterio de selección asociado al color del mismo. Finalmente, se presentan los resultados de las pruebas, conclusiones y recomendaciones para la validación del diseño propuesto. Se busca que el producto de este estudio permita complementar trabajos previos y servir de base para próximas investigaciones, con el objetivo de conseguir implementar una máquina seleccionadora de arándanos que pueda competir en el mercado peruano.

Los paisajes agrícolas y ganaderos están estrechamente relacionados con el flujo de carbono, ya que actúan como reservorios de carbono en forma de biomasa. La evaluación de las reservas de carbono almacenadas en estas zonas es importante para apoyar la toma de decisiones que impidan que estas zonas se conviertan en fuentes de emisión de carbono. Sin embargo, las técnicas tradicionales de estimación de las reservas de carbono requieren un muestreo in situ, lo que supone una tarea extenuante, arriesgada, costosa DE escasa cobertura. En este estudio, proponemos una metodología, basada en imágenes multiespectrales capturadas por drones y modelos de aprendizaje profundo, para automatizar la tarea de estimar mapas de reservas de carbono almacenados en paisajes agrícolas y ganaderos. Aplicamos una arquitectura de red neuronal U-Net para discriminar las zonas arbóreas y pastizales. Luego, se desarrolla un modelo basado en redes neuronales convolucionales para la estimación de la densidad de carbono a partir de imágenes multiespectrales. Resultados experimentales en paisajes agrícolas y ganaderos de la Amazonía peruana mostraron la efectividad de la metodología propuesta, reportando un mIoU de 87%, un RMSE de 2.44 para zonas arbóreas, y un RMSE de 1.84 para zonas de pastura. Concluimos que la estimación de la densidad de carbono es alcanzable con el enfoque propuesto. Esta metodología puede ser útil para la toma de decisiones y puede contribuir a la gestión o al control del cambio climático. / Agricultural and livestock landscapes are closely related to carbon flux, serving as carbon 1 reservoirs in the form of biomass.The assessment of carbon stocks stored in these areas is important to 2 support decision-making that prevents these areas from becoming carbone misión sources. However, 3 traditional carbon stock estimation techniques require on-site sampling, which is a strenuous, risky, 4 expensive and low-coverage task. In this study, we propose a methodology, based on multispectral 5 images captured by drones and Deep learning models, to automate the task of estimating maps of 6 carbon stocks sequestered in agricultural and livestock landscapes. We applied U-Net neural network 7 architecture to discriminate arboreal and grasslands zones. Then, a convolutional neural-network 8 based model is developed for carbon density estimation from multispectral images. Experimental 9 results on agricultural and livestock landscapes in Peruvian Amazon regions showed the effectiveness 10 of the proposed methodology, reporting mIoU of 87%, RMSE of 2.44 for arboreal zones, and RMSE 11 of 1.84 for grassland zones. We conclude that the carbon density estimation is achievable with the 12 proposed approach. This methodology can be helpful for decision-making and may contribute to the 13 management or controlling climate change.

Ultrasound imaging in rural areas often faces challenges due to the scarcity of skilled radiologists or sonographers. This research explores enhancing ultrasound imaging focused in resource-scarce settings via external anatomical landmarks for asynchronous ultrasound acquisition using artificial intelligence (AI) and computer vision algorithms based on the nature of the acquisition. First, it addresses lung ultrasound health status by generating one single image by sweeping the transducer in a sagittal position along the chest. The validation was performed using normal and abnormal cases. Second, a multi-camera system for ultrasound probe tracking with AI is proposed. The results were evaluated by quantitative measurements of speeds, angles, and simulation of lung VSI protocol. Third, a 3D segmentation of breast tumors using ultrasound videos acquired by asynchronous protocols was realized. A representative frame of the videos is extracted to analyze the nature and determine if is a benign or malignant case. Fourth, a set of obstetric data acquired by asynchronous protocols for the assessment of fetal head presentation and placenta position was realized. Fetal biometry such as head circumference and biparietal diameter were calculated and compared with physician measurements. Finally, an elastography approach was tested for plantar soft tissue assessment by a test-retest experiment for biomechanical characterization. An automatic calcaneus segmentation was employed in the B-mode as an aid in the visualization and for an immediate region of interest selection. The results were compared with the manual selection of the region of interest and the respective calcaneus segmentation. The findings of this work demonstrate a substantial advancement in the field of ultrasound imaging, especially tailored for resource-limited settings. / Las imágenes ecográficas en zonas rurales enfrentan desafíos debido a la escasez de radiólogos o sonografistas. Esta investigación explora la mejora de las imágenes por ultrasonido enfocadas en indicadores anatómicos externos para realizar adquisiciones asíncronas haciendo uso de inteligencia artificial (IA) y de algoritmos de visión por computadora basados en la naturaleza de la adquisición. En el primer capítulo, se aborda el estado del pulmón haciendo uso de ultrasonido pulmonar generando una sola imagen haciendo un barrido del transdutor en posición sagital con respecto al pecho. La validación fue realizada usando casos normales y anormales. En el segundo capítulo, se propone un sistema de adquisición con múltiples cámaras para hacer un seguimiento del transductor. Los resultados fueron comparados cuantitativamente realizando mediciones de velocidad, ángulos y de simulación del protocolo protocolo VSI pulmonar. En el tercer capítulo, se implementó una segmentación 3D para tumores de mama usando videos de ultrasonido adquiridos de manera asíncrona. Se extrajeron imágenes representativas de cada video para determinar si es benigno o maligno. En el cuarto capítulo, se trabajó con un conjunto de datos obstétricos adquiridos por protocolos asíncronos para la evaluación de la cabeza fetal y posición fetal. La biometría fetal como la circunferencia de la cabeza y diámetro biparietal fueron calculados y comparatods con mediciones de radiólogos. Finalmente, se evaluó un método de elastografía para la evaluación del tejido plantar realizando un experimento repetitivo para su caraterización biomecánica. Posteriormente, se propuso la segmentación automatizada del calcáneo utilizando las imágenes en modo B como apoyo en la visualización y para una inmediata selección de región de interés. Los resultados fueron comparados con la selección manual de la región de interes y su respectiva segmentación del calcáneo. Los hallazgos de este trabajo demostraron los avances sustanciales en el campo de imágenes de ultrasonido, especialmente diseñada para entornos con recursos limitados

Hoy en día, con el avance progresivo de la tecnología y la introducción de nuevas tecnicas computacionales ha cambiado la forma de trabajar de los medicos. Este es el caso de los andrólogos quienes tienen a su cargo la importante tarea de ayudar a las parejas a tartar problemas en sus sistemas reproductores con la finalidad de permitirles concebir un hijo, para lo que se require en la mayoria de casos un análisis de fertilidad. Actualmente la forma más usada para realizar este análisis es el método de inspección directa el cual es un procedimiento inexacto, subjetivo, no repetible y difícil de enseñar. El análisis de la motilidad espermática es una parte importante en el análisis de fertilidad y al mismo tiempo es un buen ejemplo del problema de seguimiento a múltiples objetos y video vigilancia desde el punto de vista computacional. El presente proyecto de fin de carrera presenta una solución ante la necesidad de realizar un seguimiento a cada una de las células espermáticas, llamado tracking, la solución planteada pone en práctica técnicas de visión computacional y además propone un modelo heurístico basado en dirección de movimiento y distancia euclidiana para realizar el seguimiento de espermatozoides en videos obtenidos a partir del simulador de células espermáticas también desarrollado en el presente proyecto. El proyecto inicia con el desarrollo de un simulador de células espermáticas, para luego realizar la obtención de muestras de dicho simulador, seguidamente se desarrolló y aplicó un algoritmo para la detección de células espermáticas que fueron usadas como datos de entrada para el algoritmo de Optical Flow así como para la heurística propuesta en el presente trabajo, por último se realizó un estudio estadístico donde se concluye que la heurística propuesta por este proyecto es más eficaz que el algoritmo de Optical Flow.

Se plantea el desarrollo de un algoritmo que permita estimar el tamaño de los peces sin la necesidad de que haya contacto físico entre el hombre y los animales aplicando, para ello, técnicas de visión por computadora. Para realizar el planteamiento se realizó estudios de las diferentes técnicas empleadas en visión por computadora y la necesidad de contar con imágenes tomadas por cámaras seleccionadas para el posterior procesamiento con los métodos estudiados.

En los últimos años, la utilización de unidades aéreas no tripuladas se ha incrementado enormemente debido a la gran cantidad de usos que se les puede dar. El uso de aeronaves autónomas es importante, por ejemplo, para la agricultura, arqueología, seguridad ciudadana, construcciones a gran escala y minería. Para garantizar que el vuelo autónomo de la aeronave se realice sin problemas es necesario que cuente con los medios necesarios para detectar los objetos que se encuentran en su plan de vuelo y evitar una posible colisión. Las aeronaves no tripuladas pueden ser utilizadas en distintos rubros por lo que es necesario proveer la tecnología necesaria para adaptarse a las funciones requeridas.

La retinopatía diabética es una enfermedad muy común en pacientes con diabetes. Esta enfermedad ocasiona ceguera de manera gradual debido al deterioro de la retina. Este deterioro puede desencadenar en hemorragias, aneurismas y presencia de exudados en la superficie, las cuales se manifiestan en puntos vacíos de la visión del afectado. Las características mencionadas tienen muchas propiedades visuales como el color, forma, área de presencia que son posibles detectar por medio de imágenes retinográficas digitales. Esta propiedad hace posible el uso de la visión computacional para procesar la imagen y poder diagnosticar la enfermedad de acuerdo al grado de avance de ésta según las características clínicas presentes. El presente proyecto de tesis consiste en el desarrollo de un modelo algorítmico que logre aprovechar las características visuales para poder detectar y clasificar la enfermedad. Las características clínicas utilizadas son los microaneurismas, exudados y hemorragias. Se utilizó una base de datos pública de imágenes retinográficas y un clasificador SVM. El vector de características que se utilizó fue: área, color, número de características prensentes. Es importante mencionar que se utilizó pre-procesamiento en la imagen para excluir elementos como el fondo, disco óptico y las venas debido a que no aportan significativamente al análisis de la imagen. Para el desarrollo del algoritmo se utilizó C++ con OpenCV, la cual es una librería open source para el procesamiento de imágenes. Como resultado final de este proyecto se logró una sensibilidad del 90.17%; especificidad del 96.72% y precisión del 95.08%.