Submitted by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-08-03T12:41:19Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertação_Yadini P. Lopez.pdf: 3876547 bytes, checksum: b6ee2f55b965310100cf0116374ef994 (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-08-03T12:41:35Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertação_Yadini P. Lopez.pdf: 3876547 bytes, checksum: b6ee2f55b965310100cf0116374ef994 (MD5) / Made available in DSpace on 2018-08-03T12:41:36Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertação_Yadini P. Lopez.pdf: 3876547 bytes, checksum: b6ee2f55b965310100cf0116374ef994 (MD5) Previous issue date: 2018-04-13 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Tuberculosis (TB) is a disease caused by a slow-growing bacterium named Mycobacterium tuberculosis (MT). Since 2000 has been included among the top 10 leading causes of death worldwide. In 2015, Brazil ranked eighteenth in TB incidence, representing 9% and 33% of the estimated cases worldwide and for the Americas respectively. Light field smear microscopy is the most commonly used exam in developing countries for diagnosis and follow-up of the disease. Since 2008, several researches have been developed focused on TB bacillus detection, aiming the automation of light field smear microscopy. These studies used datasets with different amounts of images, explored different color aspects of bacilli, and applied Digital Image Processing and / or Machine Learning techniques, and more recently, Deep Learning using Grayscale images. However, Deep Learning techniques have not been explored using a robust smear microscopy image dataset that reflect real conditions of smear microscopy exams. This work presents a method for automatic detection of TB bacillus using Convolutional Neural Networks (CNN) using a dataset of images taken from 2 patients in RGB, R-G and Grayscale color formats. To reach the proposed goal, a patch dataset containing bacilli (positive patches) and without bacilli (negative patches) was generated. This patch dataset was used for training three different RNC architectures. Then, Non-maximum Suppression (NMS) algorithm was applied using CNN models and complete smear images for bacillus detection. Best results in the patch classification stage were obtained using R-G and RGB images and two CNN models, achieving an accuracy of 99% in both cases. At final stage, Bacilli detection in full smear images, best results were achieved using RGB images reaching a Precision of 56,82%, Recall of 86,15% and F1-score of 68,47%. / A Tuberculose (TB) é uma doença causada por uma bactéria de crescimento lento, Mycobacterium tuberculosis (MT) e desde o ano 2000 tem sido incluída entre as dez causas principais de morte a nível mundial. No ano 2015 o Brasil ocupou a 18ª posição em incidência de tuberculose, representando 9% dos casos estimados no mundo, e 33% dos estimados para as Américas. O exame de baciloscopia de campo claro é o mais utilizado em países em desenvolvimento para o diagnóstico e acompanhamento da doença. Desde o ano de 2008 têm sido desenvolvidos trabalhos pela comunidade científica focados na detecção do bacilo da TB visando a automatização da baciloscopia de campo claro. Esses estudos utilizaram bases de dados com diferentes quantidades de imagens, exploraram aspectos de cor dos bacilos e aplicaram técnicas de Processamento Digital de Imagens e/ou Aprendizado de Máquina, e mais recentemente Aprendizado de Máquina Profundo. Entretanto, verificou-se que técnicas de Aprendizado de Máquina Profundo não têm sido exploradas utilizando bases de dados de imagens de baciloscopia robustas que refletem as condições reais dos exames de baciloscopia de campo claro. O presente trabalho visa o desenvolvimento de um método de detecção automática do bacilo da TB mediante a utilização de Redes Neurais Convolutivas (RNC), utilizando conjuntos de imagens baciloscópicas de 2 pacientes nos formatos de cor RGB, R-G e Escala de Cinza. Para atingir o objetivo proposto, foi gerada uma base de dados de patches contendo bacilos (positivos) e patches sem bacilos (negativos), os quais foram utilizados no treinamento de três arquiteturas diferentes de RNC. Posteriormente, foi aplicado o algoritmo Non-maximum Suppression utilizando imagens completas de baciloscopia para detectar cada bacilo. Os melhores resultados na etapa de classificação de patches foram obtidos utilizando as imagens de baciloscopia R-G e RGB e dois modelos RNC de duas e três camadas convolutivas, alcançando uma acurácia de 99%. Na etapa final de detecção dos bacilos nas imagens completas de baciloscopia os melhores resultados foram alcançados utilizando as imagens no formato RGB atingindo um Precision de 56,82%, um Recall de 86,15% e um F1-score de 68,47%.

Object detection has been a fundamental part of many emerging technologies, such as autonomous vehicles, robotics, and security. As deep learning is the main reason behind the leap of performance in object detection, it has mostly been associated with a post-processing step of non-maximum suppression (NMS) to reduce the number of resulting bounding boxes output from the network to, ideally, one box per object. As non-maximum suppression blindly suppress the overlap with a pre-defined threshold, it introduces the problem of suppressing false negatives in crowded scenes by choosing a high threshold, or vice versa. This problem is critical, especially in the autonomous vehicle industry, as this concerns the safety of passengers. The problem of the machine understanding whether these bounding boxes belong to the same object or two near-by objects is still not directly solvable. Although a lot of previous research tried to invent a new box-reduction method, every method has its own drawbacks while solving the problem. That is why, until now, many researchers are still using non‐maximum suppression. In this research, a literature review was carried out to determine the best NMS alternatives. Then, an approach for box reduction based on determinantal point process (DPP) was implemented. Furthermore, an evaluation pipeline was introduced for experimental analysis for the differences between NMS and DPP. Although NMS shows a better performance in terms of precision and recall, DPP chooses better fitting bounding boxes. / Objektdetektering har varit en grundläggande del av många nya tekniker, t.ex. autonoma fordon, robotik och säkerhet. Eftersom djupinlärning är den främsta orsaken till den stora prestandaskillnaden vid objektsdetektering har den oftast varit förknippad med ett efterbehandlingssteg med icke-maximal undertryckning (NMS) för att minska antalet resulterande avgränsande rutor som produceras av nätverket till, idealt sett, en ruta per objekt. Eftersom icke-maximal undertryckning blint undertrycker överlappningen med ett fördefinierat tröskelvärde, uppstår problemet med att undertrycka falskt negativa resultat i överfulla scener genom att välja ett högt tröskelvärde, eller tvärtom. Detta problem är kritiskt, särskilt inom industrin för autonoma fordon, eftersom det gäller passagerarnas säkerhet. Problemet med att maskinen ska förstå om dessa avgränsande rutor tillhör samma objekt eller två närliggande objekt är fortfarande inte direkt lösbart. Även om man i tidigare forskning har försökt hitta en ny metod för att reducera boxar, har varje metod sina egna nackdelar när den löser problemet. Det är därför som många forskare fram till nu fortfarande använder sig av icke-maximalt undertryckande. I denna forskning gjordes en litteraturstudie för att fastställa de bästa NMS-alternativen. Därefter implementerades en metod för boxförminskning baserad på determinant punktprocess (DPP). Dessutom infördes en utvärderingsledning för experimentell analys av skillnaderna mellan NMS och DPP. Även om NMS visar en bättre prestanda när det gäller precision och återkallande, väljer DPP bättre passande avgränsande lådor.

[pt] Esta dissertação estuda métodos e algoritmos para critérios de seleções dos retângulos envolventes focando em arquiteturas de detecção de objetos baseada redes neurais convolucionais para tempo real, que processam mais de 30fps, que também possibilitam a expansão para outras arquiteturas. O objetivo desta dissertação é melhorar as métricas Recall e Precision, proporcionando mais assertividade nos resultados destas arquiteturas sem a necessidade de recriá-las ou retreiná-las, diminuindo, assim, os recursos para manutenções. As arquiteturas que trabalham em tempo real normalmente não apresentam melhores resultados, pois são desenvolvidas visando a redução do tempo de execução. Para resolver estes problemas, serão testados outros métodos de critérios de seleção de retângulos envolventes em estado da arte, são eles: Nonmaximum Suppression (NMS), Soft-NMS, Non-Maximum Weighted (NMW) e Weighted Boxes Fusion (WBF). Os resultados obtidos foram comparados aos originais das arquiteturas, utilizando as métricas mAP, Recall e Precision. Através desta comparação foi possível comprovar que os novos critérios apresentaram bons resultados. O tempo de execução dos novos critérios também foi analisado com execuções de imagens em lotes, contornando alguns overheads dos critérios mais pesados. As arquiteturas utilizadas como base nos experimentos foram baseadas nos sistemas YOLOv3-Tiny e YOLOv4-Tiny, utilizando o dataset QMUL-OpenLogo público e especializado em logotipos e baseado em fotos reais. / [en] This dissertation studies methods and algorithms for bounding box selection criteria focusing on object detection architectures based on convolutional neural networks for real-time, processing over 30fps, which also allow expansion to other architectures. The goal of this study is to improve the Recall and Precision metrics, providing more assertiveness in the results of these architectures without the need to recreate or retrain them, thus reducing the resources for maintenance. Architectures that work in real-time usually do not present good results, because they are developed aiming to reduce execution time. To solve these problems, other state-of-the-art bounding box selection criteria methods will be tested: Non-maximum Suppression (NMS), Soft-NMS, Non-Maximum Weighted (NMW) and Weighted Boxes Fusion (WBF). The results obtained were compared to the original architectures, using the mAP, Recall and Precision metrics. Through this comparison it was possible to prove that the new criteria presented satisfactory results. The execution time of the new criteria was also analyzed with batch image executions, bypassing some overheads of the heavier criteria. The architectures used as basis for the experiments were based on the YOLOv3-Tiny and YOLOv4-Tiny systems, using the public dataset QMUL-OpenLogo specialized in logos and based on real photos.