Orientador: Ricardo de Oliveira Anido / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-06T12:18:33Z (GMT). No. of bitstreams: 1 Higashino_WilsonAkio_M.pdf: 3253011 bytes, checksum: e12e624b3f891f53dc5b28e459ace89d (MD5) Previous issue date: 2006 / Resumo: Existe uma grande demanda de sistemas de captura de movimentos robustos e confiáveis, sejam eles para aplicações comerciais, para o cumprimento da lei ou monitoramento de territórios. A obtenção e instalação de câmaras de vídeo são hoje muito baratas; os maiores custos estão relacionados às pessoas que vêem as imagens, as interpretam e tiram conclusões. Pessoas são também inerentemente passíveis a falhas: não conseguem manter a atenção por longos períodos de tempo, e muitos menos lidar com grandes quantidades de informações. A detecção de objetos em uma seqüência de vídeo é etapa primordial em grande parte destes sistemas. Exercendo um papel fundamental, os algoritmos de subtração de fundo já demonstraram um enorme potencial para essa tarefa. No entanto, muitos problemas ainda estão em aberto e são alvos de discussões e pesquisa. A compreensão do alcance e limitações destes algoritmos é muito importante para que, na construção de um sistema de visão computacional, possamos selecionar aquele que melhor atenda os requisitos. O objetivo deste trabalho é demonstrar qual é o estado da arte destes algoritmos e selecionar os mais relevantes para uma comparação sob diferentes situações reais, fornecendo subsídios para o seu correto entendimento / Abstract: There is a great demand for robust and trustful movement capture systems, like commercial, law enforcement or territory monitoring applications. Acquisition and installation of video cameras is very cheap nowadays; expensive are the people that watch, interpret and draw conclusions from images. People are also prone to failure: they are unable to pay attention for long periods of time and cannot handle large amounts of information. Object detection in a video sequence is an important step in those systems. Playing a main role, the background subtraction algorithms have already shown a great potential for this task. However, there are a lot of problems that are still unresolved and are subject of discussions and research. The understanding of the algorithms' range and limitations is very important to allow the right selection of one of them, given a situation. The purpose of this work is to demonstrate the state-of-the-art of this algorithms and to select the most relevant ones to compare them in different real life situations, supplying informations for their correct understanding / Mestrado / Visão Computacional / Mestre em Ciência da Computação

Orientador: Ricardo Machado Leite de Barros / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Educação Fisica / Made available in DSpace on 2018-08-12T21:20:14Z (GMT). No. of bitstreams: 1 Misuta_MiltonShoiti_D.pdf: 2840154 bytes, checksum: 05e772b239b804a1b3e6562530224c7e (MD5) Previous issue date: 2009 / Resumo: O objetivo deste trabalho foi analisar o processo de rastreamento automático de jogadores implementado no Sistema Dvideo em esportes coletivos. Os objetivos específicos consistiram em analisar os processos de aquisição, calibração/reconstrução e medição automática. Para isto, a análise foi realizada com base em 5 jogos de futebol em quatro diferentes estádios. Sendo que os jogos do mesmo estádio referem-se a um jogo diurno e um jogo noturno. O método foi aplicado, também, em um jogo de handebol. A eterminação de um fator (ângulo beta) relacionado ao posicionamento da câmera possibilitou a caracterização do mesmo em diferentes estádios e apresentou-se como um parâmetro objetivo de comparação para os variados locais de filmagem. A calibração realizada neste trabalho apresentou boa acurácia e confiabilidade, pois apresentou erro médio de 0,2 (±0,1)m na determinação da posição e erro médio de 0,3 (±0,1)% na determinação da distância percorrida dos jogadores (n=10). O percentual de rastreamento automático para os cinco jogos de futebol foi de J-1 (93,8%), J-2 (84,8%), J-3 (88,5%), J-4 (77,6%) e J-5 (86,0%). Nos cinco jogos analisados, o erro médio encontrado na determinação de distância percorrida dos jogadores (n=50) foi de 2,2 (±1,7)%. O resultado da Three-way ANOVA mostrou que o fator ângulo beta influiu significativamente na taxa de rastreamento automático. Esta influência está baseada no fato de que valores baixos do ângulo beta estão relacionados à maior incidência das situações de junção entre jogadores. O percentual de automatização (66%) foi mais baixo para o handebol, mas é um importante resultado visando o desenvolvimento do método para ser aplicado em diferentes modalidades coletivas. A avaliação de cada processo realizada neste estudo trouxe resultados consistentes pelo percentual de automatização apresentado, pelos valores encontrados dos erros aceitáveis e comparáveis aos valores relatados na literatura e pelo fato de que todas as partidas oficiais foram de campeonatos da primeira divisão do futebol brasileiro. Considerando a taxa de rastreamento automático médio de 86,1% e o erro relativo na determinação da distância percorrida de 2,2 (±1,7)%, podese inferir que os resultados experimentais desse estudo mostraram a aplicabilidade, a confiabilidade e a consistência do referido método, diante de diferentes condições apresentadas nos cinco jogos para a obtenção da trajetória dos jogadores. / Abstract: The aim of this research was to analyze the automatic tracking process of the players in collective sports developed in the Dvideo System. The specific aims consisted of analyzing the acquisition, calibration/reconstruction and automatic tracking processes. For this, the evaluation was accomplished based on 5 soccer games in four different stadiums. In the same stadium, one of the games was played in daytime and the other one was played at night. The method was also applied in a handball game. The determination of a factor (beta angle) related to the positioning of the camera made possible the characterization in different stadiums and it can be an objective parameter of comparison among the stadiums. The calibration performed in this work presented accuracy and reliability, because it presented mean error of 0,2 (±0,1)m in the determination of the position and mean error of 0,3 (±0,1)% in the determination of the distance covered by the players (n=10). The percentage of automatic tracking for the five soccer games were J-1 (93,8%), J-2 (84,8%), J-3 (88,5%), J-4 (77,6%) and J-5 (86,0%). Considering the five games, the mean error found in the determination of the distance covered by the players (n=50) was of 2,2 (±1,7)%. The statistical procedure three-way analysis of variance (ANOVA) showed that the factor beta angle influenced significantly on the percentage of automatic tracking. This is based on the fact that low value of the angle beta is related to the incidence of the occlusion among players in the image. The percentage of automatic tracking (66%) was lower in a handball game, but it showed to be an important result considering the development of this method to be applied in different sports. The evaluation of each process performed in this study presented consistent results of the percentage of automatic tracking and the relative error in the determination of the distance covered was acceptable and it was comparable to the errors presented in the literature. Furthermore, all of the games were in the Brazilian First Division Championship. Considering the percentage of the automatic tracking (86,1%) and the relative error in the determination of the distance covered of 2,2 (±1,7)%, it can be inferred that the experimental results presented in this study showed the applicability, the reliability and the consistence of the referred method, due to different conditions presented in the five games for the obtaining of the players' trajectory. / Doutorado / Biodinamica do Movimento Humano / Doutor em Educação Física

Orientador: Neucimar Jeronimo Leite / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-14T04:41:51Z (GMT). No. of bitstreams: 1 Dias_FabioAugustoSalve_M.pdf: 40845235 bytes, checksum: 7484ca55a094e47ba5753589a1731b1b (MD5) Previous issue date: 2009 / Resumo: O rastreamento de objetos em imagens de vídeo está se tornando cada vez mais popular, nos mais diversos contextos, possibilitando a obtenção de informações que, de outra maneira, seriam muito trabalhosas ou mesmo impossíveis de serem obtidas. Entretanto, a grande maioria dos métodos presentes na literatura realiza o rastreamento no domínio da imagem, não no domínio tridimensional natural do problema. No contexto de imagens desportivas, onde movimentos rápidos, similaridades cromáticas entre jogadores do mesmo time e oclusões são significativas, a utilização do domínio tridimensional é particularmente interessante. Este trabalho tem como premissa básica a realização do rastreamento em um domínio tridimensional, partindo de determinadas hipóteses, plausíveis em um contexto desportivo, visando ao rastreamento automático dos jogadores em atividades desportivas. Generalizamos o conceito de ritmo visual, um método de amostragem vastamente utilizado para detecção de cortes em imagens de vídeos, e o utilizamos para efetuar o rastreamento, resultando em um método simples, intuitivo e automático quando seus pré-requisitos são atendidos. Para possibilitar a utilização da generalização do ritmo visual, desenvolvemos ainda algoritmos para identificação de objetos em movimento, calibração de câmeras e reconstrução tridimensional, além de um algoritmo baseado em grafos para a segmentação da trajetória de cada objeto em movimento, utilizando a informação obtida através do ritmo visual. Apresentamos resultados experimentais da utilização do método proposto em vídeos de eventos desportivos e coletados em laboratório, incluindo casos nos quais as condições ideais de utilização não são atendidas, causando falhas no método / Abstract: The automatic tracking in the video images is becoming increasingly popular, in many different contexts, making available information that, otherwise, would be very laborious or even impossible to be obtained. However, most of the methods perform the tracking in the image domain not in the natural three-dimensional domain. For sports images, with rapid motions, color similarity and occlusions, the three-dimensional approach is an interesting alternative. In this work, we introduce a tracking method in the three-dimensional domain, based on some requirements, feasible in the sports context, aiming fully automatic tracking of the players. We also introduce the generalization of the visual rhythm concept and its use to the tracking problem, leading to a simple, intuitive, and automatic method. To use the generalization of the visual rhythm, we also developed algorithms to detect moving objects, camera calibration and three-dimensional reconstruction, and an algorithm based on graphs for the segmentation of the trajectory of each moving object in the scene, considering information obtained through the visual rhythm. We also show experimental results of the proposed method, in sports images and controlled environments, including cases where not all the requirements are fulfilled, yielding failures of the proposed approach / Mestrado / Ciência da Computação / Mestre em Ciência da Computação

Orientador: Luciano Allegretti Mercadante / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Ciências Aplicadas / Made available in DSpace on 2018-08-24T01:41:43Z (GMT). No. of bitstreams: 1 Maia_JulianaLandolfi_M.pdf: 2905532 bytes, checksum: e74cf98585fc1e10593d002b112c1f99 (MD5) Previous issue date: 2013 / Resumo: A análise cinemática por meio da videogrametria tem sido utilizada para a descrição de movimentos de jogadores de basquetebol, seja sob a vertente técnica, tática ou física. As cargas de treinamento físico devem ser planejadas em termos de volume e intensidade, de modo mais próximo possível das demandas solicitadas durante os jogos. De forma geral, o volume dos deslocamentos realizados pode ser caracterizado pela distância percorrida e a intensidade pelas velocidades alcançadas. A ocorrência de sucessivos períodos de esforços alternados por intervalos de recuperação faz com que a obtenção e manipulação de variáveis como duração dos esforços, número de repetições, tempo de recuperação sejam de grande importância na preparação física desta modalidade, caracterizada como intermitente Este estudo propõe uma análise das velocidades de deslocamento durante três partidas oficiais de basquetebol, classificando-as por faixa de velocidade, definindo os esforços em cada faixa pela velocidade máxima, e descrevendo para cada faixa a frequência destes esforços, a duração, os intervalos de tempo entre eles e a distância percorrida, para as posições, armador, ala-armador, ala, ala-pivô e pivô. Para tanto, três jogos do Novo Basquete Brasil foram filmados utilizando quatro câmeras de vídeo. Nas sequências de imagens dos jogos, um total de doze jogadores da mesma equipe foram rastreados e suas coordenadas 2D da posição em função do tempo foram reconstruídas utilizando o sistema Dvideo, e calculadas as velocidades de deslocamento de cada jogador. Na análise estatística, foi utilizado teste Friedman quando os resultados obtidos foram não paramétricos e ANOVA quando paramétricos, com significância adotada de p < 0.01. As velocidades foram classificadas em tempo cronometrado parado e tempo cronometrado ativo mostrando que há diferença entre essas variáveis para todas as posições, exceto entre alas e armadores, e entre ala-armadores e armadores. Médias e desvios padrão das frequências de esforços, tempo de duração, intervalos entre eles e distancias percorridas foram calculadas em três diferentes faixas de velocidades: v2 (0 a 3m/s), v3 (3,1 a 6,9 m/s) e v4 (acima de 7.0 m/s). A média do tempo cronometrado ativo foi de 46,7 ± 5,2 %. Armadores deslocaram-se mais que outras posições (6592,2 ± 422,3 m), permaneceram mais tempo na faixa v2, apresentaram tempo médio de duração de cada esforço (3,9 ± 0 s). Na terceira categoria, de 3.0 a 6,9 m/s, alas-armadores obtiveram médias maiores nas frequências de esforço; 133,3± 2,0, intervalo entre os esforços; 1578,3±75,8 e tempo de duração; 5,3±0,3s. Acima de 7,0 m/s, novamente alas-armadores obtiveram as maiores médias em todas as variáveis (frequência de esforços ;1,6±1,5, tempo de duração;6,9±6,7s, e distância percorrida; 20,4±15,1m) e pivôs obtiveram as médias menores (frequência de esforços; 1,0±1,0, tempo de duração;5,2±4,81s, intervalo entre os esforços; 931,6±1450,6 e distância percorrida; 721,2±36,1m). Em v4, novamente alas-armadores obtiveram as maiores médias nas variáveis (fe = 1,6 ± 1,5, t = 6,9 ± 6,7 s, e d = 20,4 ± 15,1 m), isso mostra uma importante característica dos alas-armadores, sujeitos a maiores esforços em velocidades entre 3,1 e 7,0 m/s, o que sugere também uma indicação de intensidade de treino para esta posição. Já pivôs obtiveram as médias menores (fe = 1,0 ± 1,0, t = 5,2 ± 4,81 s, ?t = 931,6 ± 1450,6 e d = 721,2±36,1 m), indicando que estes jogadores necessitam de um maior nível de condicionamento aeróbico, já que permanecem em categorias de menor intensidade e por mais tempo. A aplicação da reconstrução bidimensional e tracking manual utilizando o DVideo foi possível em nosso modelo experimental e sugere que há diferença quanto ao perfil da velocidade de deslocamento em diferentes posições bem como com relação as variáveis estudadas quando observadas aos valores obtidos nos três jogos analisados. Tais informações são úteis na prescrição do treinamento levando em consideração as especificidades de cada função em quadra / Abstract: Video-based time-motion analysis technologies have been used to describe the movement of basketball players, either from a technical, tactical or physical perspective. The amount of physical training must be planned in terms of considering volume and intensity, in the best possible way to answer demands brought up during the games. In general, the volume of displacements can be characterized by the distance covered and the intensity by the velocities reached. The occurrence of successive effort periods alternated with resting intervals makes obtaining and manipulating variables such as the length of efforts, the number of repetitions, time and type of recovery is very important in the physical conditioning of this modality, characterized as intermittent. This study addresses an analysis of the players' displacements during an official basketball match, ranking them by velocity range, describing, for each band, the frequency of these actions, length, the time intervals between them and the covered distance, and verifying significant differences between guards, shooting guards, forwards, shooting forwards and centers. Thirteen basketball players (age: 29.9 ± 6.8 years, body mass: 93.0 ± 9.2 kg, height: 193 ± 6 cm) participants from the same team, was filmed during three games, authorized by the National Basketball League, using four video cameras JVC (30Hz). After, the image of total players was tracked and 2D reconstructed, through the Dvideo system, and, with these data, the average speed of each players was calculated. In the statistical analysis, we used the Matlab® to apply the Lillietest test (p < 0.05) to check the normality of data, and the Friedman test and ANOVA (p <0.05) was used for statistical differences. Means and standard deviations of the frequencies of movements made (Fa), duration (t), intervals between them (?t) and covered distances (d), for each player in each speed range are shown. The results were organized into data gathered during working game clock (vw), total time (vg) and stopped game clock (ts) and indicated significant differences for vw and vg across positions and working game clock (46.7 ± 5.2 %).Differences in velocities (vw) are clear between guards (p = 0.12) and shooting guards (p = 0.02), and between guards and small forwards (p = 0.04). The permanence time in the team time clocked active 46.7 ± 5.2%. Guards move more than other positions (6592.2 ± 422.3 m) and stay longer in the category of 0 - 3m / s, range (1111.5 ± 79.0s), average duration of every effort (3.9± 0s) and have smaller ranges above 7.0 m / s, while centers had higheraverages in the frequencies of efforts (284.0 ± 32.7) has the lowest averages were found in wards (158.3 ± 69), time duration (1.0 ± 0.1s), and distance in this speed range (721.2 ± 36.1m). In the second category, from 3.0 to 6.9 m / s, shooting forwards had higher averages in the frequencies of effort (133.3 ± 2.0), (?t = 1578.3 ± 75s), t = 5.3 ± 0, 3s. Above 7.0 m/s, centers obtained the highest average on all variables; frequency of efforts; (1.6 ± 1.5) time duration of each strain (6.9 ± 6.7s) and distance traveled within the speed range (20.4 ± 15.1m.). Guards obtained the lower average frequency shift, (1.0 ± 1.0), duration of each movement, (5.2 ± 4.81s), interval between efforts; (1450.6 ± 931.6) and distance traveled in each velocity range (721.2 ± 36.1m).The application of two-dimensional reconstruction and tracking by using the manual Dvideo was possible in our experimental model, it is clear that there is difference in the profile of the velocity in different positions when observed averages of three games analyzed. Such information is useful for training plans with variables obtained according to the specific role of each player on the court / Mestrado / Biodinâmica do Movimento Humano e Esporte / Mestra em Ciências da Nutrição e do Esporte e Metabolismo

Orientadores: Neucimar Jerônimo Leite, Hélio Pedrini / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-19T05:52:55Z (GMT). No. of bitstreams: 1 Valio_FelipeBraunger_M.pdf: 3505580 bytes, checksum: 3b20a046a5822011c617729904457d95 (MD5) Previous issue date: 2011 / Resumo: Detecção de textos em imagens é um problema que vem sendo estudado a várias décadas. Existem muitos trabalhos que estendem os métodos existentes para uso em análise de vídeos, entretanto, poucos deles criam ou adaptam abordagens que consideram características inerentes dos vídeos, como as informações temporais. Um problema particular dos vídeos, que será o foco deste trabalho, é o de detecção de legendas. Uma abordagem rápida para localizar quadros de vídeos que contenham legendas é proposta baseada em uma estrutura de dados especial denominada ritmo visual. O método é robusto à detecção de legendas com respeito ao alfabeto utilizado, ao estilo de fontes, à intensidade de cores e à orientação das legendas. Vários conjuntos de testes foram utilizados em nosso experimentos para demonstrar a efetividade do método / Abstract: Detection of text in images is a problem that has been studied for several decades. There are many works that extend the existing methods for use in video analysis, however, few of them create or adapt approaches that consider the inherent characteristics of video, such as temporal information. A particular problem of the videos, which will be the focus of this work, is the detection of subtitles. A fast method for locating video frames containing captions is proposed based on a special data structure called visual rhythm. The method is robust to the detection of legends with respect to the used alphabet, font style, color intensity and subtitle orientation. Several datasets were used in our experiments to demonstrate the effectiveness of the method / Mestrado / Ciência da Computação / Mestre em Ciência da Computação

Orientadores; Siome Klein Goldenstein, Anderson de Rezende Rocha / Tese (doutorado) ¿ Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-21T23:03:55Z (GMT). No. of bitstreams: 1 Morais_EriksonFreitasde_D.pdf: 8919181 bytes, checksum: bbde8196ea36e59c8f531b82c24c045c (MD5) Previous issue date: 2013 / Resumo: Nos dias de hoje, é comum termos notícia de atletas que ultrapassam seus limites físicos. Enquanto isso, suas equipes técnicas observam e analisam as causas e os resultados de seu desempenho com o objetivo de encontrar algum ponto que possa ser melhorado. A observação e análise dos eventos envolvidos em um jogo de futebol de salão permitem identificar falhas e com isso projetar melhorias. No caso do esporte, as melhorias aparecem na forma de superação de limites, táticas mais eficientes e identificação das deficiências do adversário. A utilização de câmeras de vídeo para gravar partidas de esportes coletivos, permite a avaliação minuciosa do comportamento físico e tático do time dentro de campo. Os vídeos analisados em laboratório revelam falhas muito difíceis de serem detectadas durante o jogo, tanto de cunho tático quanto do ponto de vista da preparação física. Estimar as posições dos jogadores em cada instante do vídeo permite calcular uma aproximação das trajetórias dos jogadores. Esse é o ponto de partida para recuperar um conjunto importante de informações como distância total percorrida, velocidade médias e instantâneas, velocidade máxima, momentos de aceleração, entre outras. Neste sentido, técnica de Visão Computacional tem sido utilizada na análise tática e fisiológica em partidas de esportes coletivos. Por meio da aplicação de rastreamento visual, ao final do vídeo é possível verificar dados importantes como velocidades médias e máximas dos jogadores durante a partida, distâncias percorridas total e parciais, e principalmente as trajetórias percorridas pelos jogadores dentro de campo. Neste trabalho abordamos o problema de rastreamento visual de múltiplos objetos de interesse, com foco no rastreamento de jogadores de futsal durante uma partida. Este problema tem despertado o interesse da comunidade científica tanto do ponto de vista tático e fisiológico, quanto do ponto de vista computacional. O problema de rastrear jogadores em uma partida de futsal lida com objetos de interesse com dinâmica de movimento bastante ativa, o que torna o problema complexo. No entanto, soluções para o rastreamento de pessoas em um ambiente tão dinâmico quanto um jogo de futsal tem aplicações em diferentes áreas como segurança de ambientes, monitoramento de cobaias, trafego de pedestres, etc. Tratamos nosso problema em um cenário composto por quatro câmeras de vídeo digital posicionadas estrategicamente ao redor da quadra. Usamos técnicas de aprendizado de máquina para detectar os jogadores nas imagens resultantes e em seguida fundimos as detecções em um plano virtual que corresponde ao plano da quadra. Usando um modelo de aparência acoplado a um filtro de partículas calculamos boas aproximações das posições dos jogadores e consequentemente rastreamos usando coordenadas reais. Em nosso trabalho encontramos bons resultados com pouca intervenção humana e um treinamento relativamente simples / Abstract: Nowadays, it is common to have news of athletes that go beyond their physical limits. Meanwhile, their technical teams watch and analyze the causes and results of their performance in order to find somewhere that can be improved. The observation and analysis of the events involved in a game of futsal can identify failure and with this, design improvements. In the sport case, the improvements appear as overcoming limits, tactics more efficient and identify the shortcomings of the opponent. The use of video cameras to record sports team games allows the detailed performance evaluation of physical and tactical team on the pitch. The videos analyzed in the laboratory reveal failure very difficult to detect during the game as much tactical interest as physical preparation point of view. Estimating the positions of players at each instant of the video allows calculate an approximation of player's trajectories. This is the start point to recover a set of important information such as distance total traveled, average speed and instantaneous speed, moment's acceleration, among others. In this sense, techniques of Computer Vision have been used to analyze tactics and physiological games team sports. Using the application of visual tracking, at the end of video is possible to check important data such as average and maximum speeds of players during the game, total and partial distances covered, and especially the trajectories traveled by the players on the pitch. In this work, we discussed the problem of visual tracking of multiple objects of interest, focusing on futsal players during the game. This problem has attracted the interest of the scientific community both tactical and physiological point of view as the computational point of view. The problem of tracking players in a futsal game handles objects of interest with dynamic motion very active, which makes the problem complex. However, solutions for tracking people in an environment as dynamic as a futsal game has applications in different areas such as security environments, monitoring lab animals and traffic pedestrian. We treat our problem in a scenario composed of four digital video cameras positioned strategically around the pitch. We used machine learning techniques to detect players in pictures and then merged detections on a virtual plane that corresponds to the plane of the pitch. Using an appearance model coupled to a particle filter we calculated good approximations of player's positions and consequently we track using real coordinates. In our work, ix we found good results with little human intervention and training relatively simple / Doutorado / Ciência da Computação / Doutor em Ciência da Computação

Thesis (MSc)--Stellenbosch University, 2014. / ENGLISH ABSTRACT: Object detection and tracking are important components of many computer vision applications including automated surveillance. Automated surveillance attempts to solve the challenges associated with closed-circuit camera systems. These include monitoring large numbers of cameras and the associated labour costs, and issues related to targeted surveillance. Object detection is an important step of a surveillance system and must overcome challenges such as changes in object appearance and illumination, dynamic background objects like ickering screens, and shadows. Our system uses Gaussian mixture models, which is a background subtraction method, to detect moving objects. Tracking is challenging because measurements from the object detection stage are not labelled and could be from false targets. We use multiple hypothesis tracking to solve this measurement origin problem. Practical long-term tracking of objects should have re-identi cation capabilities to deal with challenges arising from tracking failure and occlusions. In our system each tracked object is assigned a one-class support vector machine (OCSVM) which learns the appearance of that object. The OCSVM is trained online using HSV colour features. Therefore, objects that were occluded or left the scene can be reidenti ed and their tracks extended. Standard, publicly available data sets are used for testing. The performance of the system is measured against ground truth using the Jaccard similarity index, the track length and the normalized mean square error. We nd that the system performs well. / AFRIKAANSE OPSOMMING: Die opsporing en volging van voorwerpe is belangrike komponente van baie rekenaarvisie toepassings, insluitend outomatiese bewaking. Outomatiese bewaking poog om die uitdagings wat verband hou met geslote kring kamera stelsels op te los. Dit sluit in die monitering van groot hoeveelhede kameras en die gepaardgaande arbeidskoste, en kwessies wat verband hou met toegespitse bewaking. Die opsporing van voorwerpe is 'n belangrike stap in 'n bewakingstelsel en moet uitdagings soos veranderinge in die voorwerp se voorkoms en beligting, dinamiese agtergrondvoorwerpe soos ikkerende skerms, en skaduwees oorkom. Ons stelsel maak gebruik van Gaussiese mengselmodelle, wat 'n agtergrond-aftrek metode is, om bewegende voorwerpe op te spoor. Volging is 'n uitdaging, want afmetings van die voorwerp-opsporing stadium is nie gemerk nie en kan afkomstig wees van valse teikens. Ons gebruik verskeie hipotese volging (multiple hypothesis tracking ) om hierdie meting-oorsprong probleem op te los. Praktiese langtermynvolging van voorwerpe moet heridenti seringsvermoëns besit, om die uitdagings wat voortspruit uit mislukte volging en okklusies te kan hanteer. In ons stelsel word elke gevolgde voorwerp 'n een-klas ondersteuningsvektormasjien (one-class support vector machine, OCSVM) toegeken, wat die voorkoms van daardie voorwerp leer. Die OCSVM word aanlyn afgerig met die gebruik van HSV kleurkenmerke. Daarom kan voorwerpe wat verdwyn later her-identi seer word en hul spore kan verleng word. Standaard, openbaar-beskikbare datastelle word vir toetse gebruik. Die prestasie van die stelsel word gemeet teen korrekte afvoer, met behulp van die Jaccard ooreenkoms-indeks, die spoorlengte en die genormaliseerde gemiddelde kwadraatfout. Ons vind dat die stelsel goed presteer.

Thesis (MSc)--Stellenbosch University, 2014. / ENGLISH ABSTRACT: In this thesiswe approach the problem of tracking multiple people individually in a video sequence. Automatic object detection and tracking is non-trivial as humans have complex and mostly unpredictable movements, and there are sensor noise and measurement uncertainties present. We consider traditional object detection methods and decide to use thermal data for the detection step. This choice is supported by the robustness of thermal data compared to colour data in unfavourable lighting conditions and in surveillance applications. A drawback of using thermal data is that we lose colour information, since the sensor interprets the heat emission of the body rather than visible light. We incorporate a colour sensor which is used to build features for each detected object. These features are used to help determine correspondences in detected objects over time. A problem with traditional blob detection algorithms, which typically consist of background subtraction followed by connected-component labelling, is that objects can appear to split or merge, or disappear in a few frames. We decide to add ‘dummy’ blobs in an effort to counteract these problems. We refrain from making any hard decisions with respect to the blob correspondences over time, and rather let the system decide which correspondences are more probable. Furthermore, we find that the traditional Markovian approach of determining correspondences between detected blobs in the current time step and only the previous time step can lead to unwanted behaviour. We rather consider a sequence of time steps and optimize the tracking across them. We build a composite correspondence model and weigh each correspondence according to similarity (correlation) in object features. All possible tracks are determined through this model and a likelihood is calculated for each. Using the best scoring tracks we then label all the detections and use this labelling as measurement input for a tracking filter. We find that the window tracking approach shows promise even though the data we us for testing is of poor quality and noisy. The system struggles with cluttered scenes and when a lot of dummy nodes are present. Nonetheless our findings act as a proof of concept and we discuss a few future improvements that can be considered. / AFRIKAANSE OPSOMMING: In hierdie tesis benader ons die probleemomverskeiemense individueel in ’n video-opname op te spoor en te volg. Outomatiese voorwerp-opsporing en -volging is nie-triviaal, want mense het komplekse en meestal onvoorspelbare bewegings, en daar is sensor-ruis en metingonsekerhede teenwoordig. Ons neem tradisionele voorwerp-opsporing metodes in ag en besluit om termiese data te gebruik vir die opsporingstap. Hierdie keuse word ondersteun deur die robuustheid van termiese data in vergelyking met kleur data in ongunstige lig-kondisies en in sekuriteitstoepassings. Die nadeel van die gebruik van termiese data is dat ons kleur inligting verloor, aangesien die sensor die hitte vrystelling van die liggaam interpreteer, eerder as sigbare lig. Ons inkorporeer ’n kleur-sensor wat gebruik word om die kenmerke van elke gevolgde voorwerp te bou. Hierdie kenmerke word gebruik om te help om ooreenkomste tussen opgespoorde voorwerpe te bepaal met die verloop van tyd. ’n Probleem met die tradisionele voorwerp-opsporing algoritmes, wat tipies bestaan uit agtergrond- aftrekking gevolg deur komponent-etikettering, is dat dit kan voorkom asof voorwerpe verdeel of saamsmelt, of verdwyn in ’n paar rame. Ons besluit om ‘flous’-voorwerpe by te voeg in ’n poging om hierdie probleme teen te werk. Ons weerhou om enige konkrete besluite oor opgespoorde voorwerpe se ooreenkomste met die verloop van tyd te maak, en laat die stelsel eerder toe om te besluit watter ooreenkomste meer waarskynlik is. Verder vind ons dat die tradisionele Markoviaanse benadering vir die bepaling van ooreenkomste tussen opgespoorde voorwerpe in die huidige tydstap en die vorige een kan lei tot ongewenste gedrag. Ons oorweeg eerder ’n reeks van tydstappe, of ’n venster, en optimeer die volg van voorwerpe oor hulle. Ons bou ’n saamgestelde ooreenstemmingsmodel en weeg elke ooreenstemming volgens die ooreenkoms (korrelasie) tussen voorwerpe se kenmerke. Alle moontlike spore word deur hierdie model bepaal en ’n waarskynlikheid word bereken vir elkeen. Die spore met die beste tellings word gebruik om al die opsporings te nommeer, en hierdie etikettering word gebruik as meting-inset vir ’n volgingsfilter. Ons vind dat die venster-volg benadering belowend vaar selfs al is die invoerdata in ons toetse van swak gehalte en ruiserig. Die stelsel sukkel met besige tonele en wanneer baie flous-voorwerpe teenwoordig is. Tog dien ons bevindinge as ’n bewys van konsep en ons bespreek ’n paar verbeterings wat in die toekoms oorweeg kan word.

Computer Vision aims at developing techniques to extract and exploit information from images. The successful applications of computer vision approaches are multiple and have benefited diverse fields such as manufacturing, medicine or defense. Some of the most challenging tasks performed by computer vision systems are arguably segmentation and tracking. Segmentation can be defined as the partitioning of an image into homogeneous or meaningful regions. Tracking also aims at extracting meaning or information from images, however, it is a dynamic task that operates on temporal (video) sequences. Active contours have been proven to be quite valuable at performing the two aforementioned tasks. The active contours framework is an example of variational approaches, in which a problem is compactly (and elegantly) described and solved in terms of energy functionals. The objective of the proposed research is to develop statistical and shape-based tools inspired from or completing the geometric active contours methodology. These tools are designed to perform segmentation and tracking. The approaches developed in the thesis make an extensive use of partial differential equations and differential geometry to address the problems at hand. Most of the proposed approaches are cast into a variational framework. The contributions of the thesis can be summarized as follows: 1. An algorithm is presented that allows one to robustly track the position and the shape of a deformable object. 2. A variational segmentation algorithm is proposed that adopts a shape-driven point of view. 3. Diverse frameworks are introduced for including prior knowledge on shapes in the geometric active contour framework. 4. A framework is proposed that combines statistical information extracted from images with shape information learned a priori from examples 5. A technique is developed to jointly segment a 3D object of arbitrary shape in a 2D image and estimate its 3D pose with respect to a referential attached to a unique calibrated camera. 6. A methodology for the non-deterministic evolution of curves is presented, based on the theory of interacting particles systems.

Orientador: Clésio Luis Tozzi / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-16T06:32:57Z (GMT). No. of bitstreams: 1 Freitas_GreiceMartinsde_M.pdf: 16453422 bytes, checksum: fa0ae64561fd346237c57310fb0d0073 (MD5) Previous issue date: 2010 / Resumo: A crescente utilização de câmeras de vídeo para o monitoramento de ambientes, auxiliando no controle de entrada, saída e trânsito de indivíduos ou veículos tem aumentado a busca por sistemas visando a automatização do processo de monitoramento por vídeos. Como requisitos para estes sistemas identificam-se o tratamento da entrada e saída de objetos na cena, variações na forma e movimentação dos alvos seguidos, interações entre os alvos como encontros e separações, variações na iluminação da cena e o tratamento de ruídos presentes no vídeo. O presente trabalho analisa e avalia as principais etapas de um sistema de rastreamento de múltiplos objetos através de uma câmera de vídeo fixa e propõe um sistema de rastreamento baseado em sistemas encontrados na literatura. O sistema proposto é composto de três fases: identificação do foreground através de técnicas de subtração de fundo; associação de objetos quadro a quadro através de métricas de cor, área e posição do centróide - com o auxílio da aplicação do filtro de Kalman - e, finalmente, classificação dos objetos a cada quadro segundo um sistema de gerenciamento de objetos. Com o objetivo de verificar a eficiência do sistema de rastreamento proposto, testes foram realizados utilizando vídeos das bases de dados PETS e CAVIAR. A etapa de subtração de fundo foi avaliada através da comparação do modelo Eigenbackground, utilizado no presente sistema, com o modelo Mistura de Gaussianas, modelo de subtração de fundo mais utilizado em sistemas de rastreamento. O sistema de gerenciamento de objeto foi avaliado por meio da classificação e contagem manual dos objetos a cada quadro do vídeo. Estes resultados foram comparados à saída do sistema de gerenciamento de objetos. Os resultados obtidos mostraram que o sistema de rastreamento proposto foi capaz de reconhecer e rastrear objetos em movimento em sequências de vídeos, lidando com oclusões e separações, mostrando adequabilidade para aplicação em sistemas de segurança em tempo real / Abstract: There are immediate needs for the use of video cameras in environment monitoring, which can be verified by the task of assisting the entrance, exit and transit registering of people or vehicles in a area. In this context, automated surveillance systems based on video images are increasingly gaining interest. As requisites for these systems, it can be identified the treatment of entrances and exits of objects on a scene, shape variation and movement of followed targets, interactions between targets (such as meetings and splits), lighting variations and video noises. This work analyses and evaluates the main steps of a multiple target tracking system through a fixed video camera and proposes a tracking system based on approaches found in the literature. The proposed system is composed of three steps: foreground identification through background subtraction techniques; object association through color, area and centroid position matching, by using the Kalman filter to estimate the object's position in the next frame, and, lastly, object classification according an object management system. In order to assess the efficiency of the proposed tracking system, tests were performed by using videos from PETS and CAVIAR datasets. The background subtraction step was evaluated by means of a comparison between the Eigenbackground model, used in the proposed tracking system, and the Mixture of Gaussians model, one of the most used background subtraction models. The object management system was evaluated through manual classification and counting of objects on each video frame. These results were compared with the output of the object management system. The obtained results showed that the proposed tracking system was able to recognize and track objects in movement on videos, as well as dealing with occlusions and separations, and, at the same time, encouraging future studies in order for its application on real time security systems / Mestrado / Engenharia de Computação / Mestre em Engenharia Elétrica