Tracking of an object in six degrees-of-freedom (DOF) produces a position and orientation estimate of the object as it moves in 3D space. This thesis investigates the design and implementation of a prototype optical 6 DOF tracking system. Although optical scanners potentially have issues regarding occlusion they have advantages over electromagnetic scanners in that they can be used without distortion near ferromagnetic materials and can have large working volumes. This thesis focuses on the design of a small camera module named the ‘Black Spot’ that forms part of the overall tracking system. This module is capable of tracking the locations of up to 27 LED markers at 60 frames/s as the module moves in space. These markers provide fixed reference points that are utilised by the tracking system. A number of these modules will, in future revisions of the system, be clustered closely together forming a tracking hub. In this research this hub has been partially implemented in software on a PC. This software implements a ‘pose estimation’ algorithm that iteratively refines the location and position of the camera modules. Results from testing three Black Spot modules indicates that the locations of the LED markers can be determined very precisely using a centroid calculation. Standard deviations of better than 0.01 pixels have been recorded using these modules. The pose estimation algorithm has been tested revealing the need for a better minimisation algorithm. It is recommended that a bundle adjustment algorithm is used in the future to refine the world model used by the hub. The calibration of the system is a task for future research.

The Optical Imaging Laboratory has developed a hand-held optical imaging system that is capable of 3D tomographic imaging. However, the imaging system is limited by longer imaging times, and inaccuracy in the positional tracking of the hand-held probe. Hence, the objective is to improve the performance of the imaging system by improving imaging time and positional accuracy. This involves: (i) development of automated single Labview-based software towards near real-time imaging; and (ii) implementation of an alternative positional tracking device (optical) towards improved positional accuracy during imaging. Experimental studies were performed using cubical tissue phantoms (1% Liposyn solution) and 0.45-cc fluorescence target(s) placed under various conditions. The studies demonstrated a 90% reduction in the imaging time (now ~27 sec/image) and also an increase from 94% to 97% in the positional accuracy of the hand-held probe. Performance enhancements in the hand-held optical imaging system have improved its potential towards clinical breast imaging.

"Ultrasound has developed from 2D into 3D ultrasound in recent years. 3D ultrasound gives enhanced diagnostic capabilities and can make it easier for less trained people to interpret ultrasound images. In general there are two ways of getting a 3D ultrasound image : By using a 2D array scanner (giving 3D images directly) or by using a series of 2D scans and combine these scans to build a 3D volume. The only practical scanning technique that can be used for portable systems is freehand scanning that combines a series of 2D images. 3D images acquired by using a conventional ultrasound transducer and the freehand scanning technique are, however, often misaligned laterally and have unevenly spacing. These errors can be corrected if the position associated with each 2D image is known. Commercially available positioning systems use magnetic or optical tracking, but these systems are very bulky and not portable. We have proposed another way to get the position by tracking on the skin surface. This is done by obtaining digital images of the surface at a very high rate and then cross correlating each image to reveal the change in position. Accumulating these changes will then give the correct location (in two dimensions) relative to a starting point. Correct volume and surface rendering can therefore be achieved when a scan is done. A custom-made housing was made to mount an optical sensor to the ultrasound transducer. The optical sensor was placed in the housing and the hardware circuit from an optical mouse was used to interface to a USB interface. An implementation with an optical fiber was also made since this could fit easily to the transducer handle. In Windows a custom-made mouse driver was used to extract the position information from the sensor. This driver allowed multiple mouse devices in the system and removed the acceleration of the mouse, giving a correct transfer of the position. A DLL (Dynamic Link Library) was used to interface to a 3D ultrasound software called Sonocubic. Using the DLL and a custom modified version of Sonocubic 3D construction software has allowed a correct compensation of the acquired ultrasound images. To validate the accuracy of the optical sensor an optical mouse was placed in an XY-recorder to compare the acquired position with the actual position. The test revealed that the accuracy of the optical sensor is very high. A 55 mm movement of the sensor gave a deviation of 0.56 mm which is well within the expected result. A computer generated phantom was made to see if the compensation algorithm was working. The test revealed that the compensation algorithm and the software is working perfectly. Next a vessel phantom was scanned to see that the compensation algorithm (lateral compensation) was working in real life. The test showed that a correct lateral compensation was made. Finally 3D phantoms were custom made to test the accuracy of the system by estimation of a known volume. The system was able to estimate the volume in a phantom within an accuracy of 6 %. Performance of the system with direct imaging, using the optical sensor and a lens, was compared to an implementation with an optical fiber, two lenses and the optical sensor. The optical fiber was difficult to implement since the image contrast was degraded severely through the optical fiber and the lenses. This made it difficult for the correlation algorithm to function correctly and tracking could therefore not be done on a skin surface. Code for an FPGA was made in VHDL to extract the actual images from the optical sensor and display them directly on a computer screen. This was necessary to see how well the sensor was in focus. This proved to be a really useful tool for adjusting the optical system for maximal contrast. The optical tracking on a skin surface is a good way to assist a user doing a freehand scanning to get images without geometric distortion. Furthermore, it is the only real positioning system for a portable system. One requirement for this system is, however, that the object being scanned is flat and does not curve or vary vertically. For most applications this is not the case, and we are therefore proposing an implementation with microgyros that is able to give angle information as well. This would give the system a total of up to 5 instead of just 2 degrees of freedom. The status of this is currently that it can be easily implemented in the DLL, but it is not implemented in the 3D reconstruction software, Sonocubic."

As escavações subterrâneas têm estado sempre afetadas pelas condições dos maciços, os quais apresentam diferentes características e comportamentos frente a deformações ocasionadas após a escavação de uma galeria ou túnel. Em virtude disto, torna-se necessário uma análise dos parâmetros que permitam estabelecer as condições de segurança do túnel e propõe-se o uso de um sistema estéreo de rastreamento ótico para analisar o deslocamento de artefatos (conjunto de marcadores) instalados sobre o contorno das faces do túnel, a fim de detectarem-se deslocamentos do maciço em pontos estabelecidos com precisão menor a ±1 mm. O sistema proposto opera na região espectral do infravermelho, permitindo assim uma operação em ambientes com baixa luminosidade e com inserção de ruído ótico. Adicionalmente o trabalho inclui resultados de validação e desenvolvimento do sistema de visão estéreo baixo condições de dois cenários de diferente volume espacial, assim como o procedimento realizado para a calibração dos parâmetros intrínsecos e extrínsecos dos sensores do sistema (câmeras monocromáticas). Os resultados obtidos apresentam uma precisão de ±0,1881 mm para artefatos com três marcadores e uma precisão de ±0,4952 para artefatos com quatro marcadores. Finalmente, o sistema opera com uma sensibilidade de 0,99 mm na determinação da posição de um artefato associado a um ponto do perfil do túnel, e desta forma, podem-se definir as condições de estabilidade do maciço rochoso e os requisitos para auxilio as decisões de métodos de tratamento e aumento da segurança. / Underground excavations have always been affected by the conditions of mass, which have different characteristics and behaviors against deformation caused after excavation of a gallery or tunnel. Because of this, it is necessary an analysis of the parameters needed to establish the safety conditions of the tunnel and it is proposed the use of a stereo optical tracking to analyze the displacement of artifacts (set of markers) installed on the contour of tunnels’ faces in order to detect displacements of the mass points established with a precision lower than ±1 mm. This system operates in the infrared spectral region to take advantage of the low light and reduce the optical noise in environments with grace. Further work includes validation results and development of low stereo vision conditions of two different scenarios spatial volume, as well as the procedure carried out to calibrate the intrinsic and extrinsic parameters of the system sensors (monochrome camera) system. The results show an accuracy of ± 0,1881 mm for artifacts with three markers and an accuracy of ± 0,4952 for artifacts with four markers. Finally, the system operates with a sensitivity of 0,99 mm in the determination of an artifact associated with a point in the tunnel profile position, and thus, one can define the conditions for stability of the rock mass and assistance requirements for the decisions of treatment methods and increased.

[pt] O processo de calibração de câmeras é uma etapa importante na instalação dos sistemas de rastreamento óptico. Da qualidade da calibração deriva o funcionamento correto e preciso do sistema de rastreamento. Diversos métodos de calibração têm sido propostos na literatura em conjunto com o uso de artefatos sintéticos definidos como padrões de calibração. Esses padrões, de forma e tamanho conhecidos, permitem a aquisição de pontos de referência que são utilizados para a determinação dos parâmetros das câmeras. Para minimizar erros, esta aquisição deve ser feita em todo o espaço de rastreamento. A fácil identificação dos pontos de referência torna o processo de aquisição eficiente. A quantidade e a qualidade das relações geométricas das feições do padrão influenciam diretamente na precisão dos parâmetros de calibração obtidos. É nesse contexto que esta tese se encaixa, propondo um novo método para múltipla calibração de câmeras, que é eficiente e produz resultados tão ou mais precisos que os métodos atualmente disponíveis na literatura. Nosso método também propõe um novo tipo de padrão de calibração que torna a tarefa de captura e reconhecimento de pontos de calibração mais robusta e eficiente. Deste padrão também derivam relações que aumentam a precisão do rastreamento. Nesta tese o processo de calibração de múltiplas câmeras é revisitado e estruturado de forma a permitir uma comparação das principais propostas da literatura com o método proposto. Esta estruturação também dá suporte a uma implementação flexível que permite a reprodução numérica de diferentes propostas. Finalmente, este trabalho apresenta resultados numéricos que permitem tirar algumas conclusões. / [en] The calibration of multiple cameras is an important step in the installation of optical tracking systems. The accuracy of a tracking system is directly related to the quality of the calibration process. Several calibration methods have been proposed in the literature in conjunction with the use of artifacts, called calibration patterns. These patterns, with shape and size known, allow the capture of reference points to compute camera parameters. To yield good results these points must be uniformly distributed over the tracking area. The determination of the reference points in the image is an expensive process prone to errors. The use of a good calibration pattern can reduce these problems. This thesis proposes a new multiple camera calibration method that is efficient and yields better results than previously proposed methods available in the literature. Our method also proposes the use of a new simple calibration pattern based on perspective invariant properties and useful geometric properties. This pattern yields robust reference point identification and more precise tracking. This thesis also revisits the multiple calibration process and suggests a framework to compare the existing methods including the one proposed here. This framework is used to produce a flexible implementation that allows a numerical evaluation that demonstrates the benefits of the proposed method. Finally the thesis presents some conclusions and suggestions for further work.

O número de aplicações industriais para ambientes de “Realidade Aumentada” (AR) e “Realidade Virtual” (VR) tem crescido de forma significativa nos últimos anos. Sistemas óticos de rastreamento (optical tracking systems) constituem um importante componente dos ambientes de AR/VR. Este trabalho propõe um sistema ótico de rastreamento de baixo custo e com características adequadas para uso profissional. O sistema opera na região espectral do infravermelho para trabalhar com ruído ótico reduzido. Uma câmera de alta velocidade, equipada com filtro para bloqueio da luz visível e com flash infravermelho, transfere imagens de escala de cinza não comprimidas para um PC usual, onde um software de pré-processamento de imagens e o algoritmo PTrack de rastreamento reconhecem um conjunto de marcadores retrorefletivos e extraem a sua posição e orientação em 3D. É feita neste trabalho uma pesquisa abrangente sobre algoritmos de pré-processamento de imagens e de rastreamento. Uma bancada de testes foi construída para a realização de testes de acurácia e precisão. Os resultados mostram que o sistema atinge níveis de exatidão levemente piores, mas ainda comparáveis aos de sistemas profissionais. Devido à sua modularidade, o sistema pode ser expandido através do uso de vários módulos monoculares de rastreamento interligados por um algoritmo de fusão de sensores, de modo a atingir um maior alcance operacional. Uma configuração com dois módulos foi montada e testada, tendo alcançado um desempenho semelhante à configuração de um só módulo. / In the last years the number of industrial applications for Augmented Reality (AR) and Virtual Reality (VR) environments has significantly increased. Optical tracking systems are an important component of AR/VR environments. In this work, a low cost optical tracking system with adequate attributes for professional use is proposed. The system works in infrared spectral region to reduce optical noise. A highspeed camera, equipped with daylight blocking filter and infrared flash strobes, transfers uncompressed grayscale images to a regular PC, where image pre-processing software and the PTrack tracking algorithm recognize a set of retro-reflective markers and extract its 3D position and orientation. Included in this work is a comprehensive research on image pre-processing and tracking algorithms. A testbed was built to perform accuracy and precision tests. Results show that the system reaches accuracy and precision levels slightly worse than but still comparable to professional systems. Due to its modularity, the system can be expanded by using several one-camera tracking modules linked by a sensor fusion algorithm, in order to obtain a larger working range. A setup with two modules was built and tested, resulting in performance similar to the stand-alone configuration.

As escavações subterrâneas têm estado sempre afetadas pelas condições dos maciços, os quais apresentam diferentes características e comportamentos frente a deformações ocasionadas após a escavação de uma galeria ou túnel. Em virtude disto, torna-se necessário uma análise dos parâmetros que permitam estabelecer as condições de segurança do túnel e propõe-se o uso de um sistema estéreo de rastreamento ótico para analisar o deslocamento de artefatos (conjunto de marcadores) instalados sobre o contorno das faces do túnel, a fim de detectarem-se deslocamentos do maciço em pontos estabelecidos com precisão menor a ±1 mm. O sistema proposto opera na região espectral do infravermelho, permitindo assim uma operação em ambientes com baixa luminosidade e com inserção de ruído ótico. Adicionalmente o trabalho inclui resultados de validação e desenvolvimento do sistema de visão estéreo baixo condições de dois cenários de diferente volume espacial, assim como o procedimento realizado para a calibração dos parâmetros intrínsecos e extrínsecos dos sensores do sistema (câmeras monocromáticas). Os resultados obtidos apresentam uma precisão de ±0,1881 mm para artefatos com três marcadores e uma precisão de ±0,4952 para artefatos com quatro marcadores. Finalmente, o sistema opera com uma sensibilidade de 0,99 mm na determinação da posição de um artefato associado a um ponto do perfil do túnel, e desta forma, podem-se definir as condições de estabilidade do maciço rochoso e os requisitos para auxilio as decisões de métodos de tratamento e aumento da segurança. / Underground excavations have always been affected by the conditions of mass, which have different characteristics and behaviors against deformation caused after excavation of a gallery or tunnel. Because of this, it is necessary an analysis of the parameters needed to establish the safety conditions of the tunnel and it is proposed the use of a stereo optical tracking to analyze the displacement of artifacts (set of markers) installed on the contour of tunnels’ faces in order to detect displacements of the mass points established with a precision lower than ±1 mm. This system operates in the infrared spectral region to take advantage of the low light and reduce the optical noise in environments with grace. Further work includes validation results and development of low stereo vision conditions of two different scenarios spatial volume, as well as the procedure carried out to calibrate the intrinsic and extrinsic parameters of the system sensors (monochrome camera) system. The results show an accuracy of ± 0,1881 mm for artifacts with three markers and an accuracy of ± 0,4952 for artifacts with four markers. Finally, the system operates with a sensitivity of 0,99 mm in the determination of an artifact associated with a point in the tunnel profile position, and thus, one can define the conditions for stability of the rock mass and assistance requirements for the decisions of treatment methods and increased.

O número de aplicações industriais para ambientes de “Realidade Aumentada” (AR) e “Realidade Virtual” (VR) tem crescido de forma significativa nos últimos anos. Sistemas óticos de rastreamento (optical tracking systems) constituem um importante componente dos ambientes de AR/VR. Este trabalho propõe um sistema ótico de rastreamento de baixo custo e com características adequadas para uso profissional. O sistema opera na região espectral do infravermelho para trabalhar com ruído ótico reduzido. Uma câmera de alta velocidade, equipada com filtro para bloqueio da luz visível e com flash infravermelho, transfere imagens de escala de cinza não comprimidas para um PC usual, onde um software de pré-processamento de imagens e o algoritmo PTrack de rastreamento reconhecem um conjunto de marcadores retrorefletivos e extraem a sua posição e orientação em 3D. É feita neste trabalho uma pesquisa abrangente sobre algoritmos de pré-processamento de imagens e de rastreamento. Uma bancada de testes foi construída para a realização de testes de acurácia e precisão. Os resultados mostram que o sistema atinge níveis de exatidão levemente piores, mas ainda comparáveis aos de sistemas profissionais. Devido à sua modularidade, o sistema pode ser expandido através do uso de vários módulos monoculares de rastreamento interligados por um algoritmo de fusão de sensores, de modo a atingir um maior alcance operacional. Uma configuração com dois módulos foi montada e testada, tendo alcançado um desempenho semelhante à configuração de um só módulo. / In the last years the number of industrial applications for Augmented Reality (AR) and Virtual Reality (VR) environments has significantly increased. Optical tracking systems are an important component of AR/VR environments. In this work, a low cost optical tracking system with adequate attributes for professional use is proposed. The system works in infrared spectral region to reduce optical noise. A highspeed camera, equipped with daylight blocking filter and infrared flash strobes, transfers uncompressed grayscale images to a regular PC, where image pre-processing software and the PTrack tracking algorithm recognize a set of retro-reflective markers and extract its 3D position and orientation. Included in this work is a comprehensive research on image pre-processing and tracking algorithms. A testbed was built to perform accuracy and precision tests. Results show that the system reaches accuracy and precision levels slightly worse than but still comparable to professional systems. Due to its modularity, the system can be expanded by using several one-camera tracking modules linked by a sensor fusion algorithm, in order to obtain a larger working range. A setup with two modules was built and tested, resulting in performance similar to the stand-alone configuration.

O número de aplicações industriais para ambientes de “Realidade Aumentada” (AR) e “Realidade Virtual” (VR) tem crescido de forma significativa nos últimos anos. Sistemas óticos de rastreamento (optical tracking systems) constituem um importante componente dos ambientes de AR/VR. Este trabalho propõe um sistema ótico de rastreamento de baixo custo e com características adequadas para uso profissional. O sistema opera na região espectral do infravermelho para trabalhar com ruído ótico reduzido. Uma câmera de alta velocidade, equipada com filtro para bloqueio da luz visível e com flash infravermelho, transfere imagens de escala de cinza não comprimidas para um PC usual, onde um software de pré-processamento de imagens e o algoritmo PTrack de rastreamento reconhecem um conjunto de marcadores retrorefletivos e extraem a sua posição e orientação em 3D. É feita neste trabalho uma pesquisa abrangente sobre algoritmos de pré-processamento de imagens e de rastreamento. Uma bancada de testes foi construída para a realização de testes de acurácia e precisão. Os resultados mostram que o sistema atinge níveis de exatidão levemente piores, mas ainda comparáveis aos de sistemas profissionais. Devido à sua modularidade, o sistema pode ser expandido através do uso de vários módulos monoculares de rastreamento interligados por um algoritmo de fusão de sensores, de modo a atingir um maior alcance operacional. Uma configuração com dois módulos foi montada e testada, tendo alcançado um desempenho semelhante à configuração de um só módulo. / In the last years the number of industrial applications for Augmented Reality (AR) and Virtual Reality (VR) environments has significantly increased. Optical tracking systems are an important component of AR/VR environments. In this work, a low cost optical tracking system with adequate attributes for professional use is proposed. The system works in infrared spectral region to reduce optical noise. A highspeed camera, equipped with daylight blocking filter and infrared flash strobes, transfers uncompressed grayscale images to a regular PC, where image pre-processing software and the PTrack tracking algorithm recognize a set of retro-reflective markers and extract its 3D position and orientation. Included in this work is a comprehensive research on image pre-processing and tracking algorithms. A testbed was built to perform accuracy and precision tests. Results show that the system reaches accuracy and precision levels slightly worse than but still comparable to professional systems. Due to its modularity, the system can be expanded by using several one-camera tracking modules linked by a sensor fusion algorithm, in order to obtain a larger working range. A setup with two modules was built and tested, resulting in performance similar to the stand-alone configuration.

As escavações subterrâneas têm estado sempre afetadas pelas condições dos maciços, os quais apresentam diferentes características e comportamentos frente a deformações ocasionadas após a escavação de uma galeria ou túnel. Em virtude disto, torna-se necessário uma análise dos parâmetros que permitam estabelecer as condições de segurança do túnel e propõe-se o uso de um sistema estéreo de rastreamento ótico para analisar o deslocamento de artefatos (conjunto de marcadores) instalados sobre o contorno das faces do túnel, a fim de detectarem-se deslocamentos do maciço em pontos estabelecidos com precisão menor a ±1 mm. O sistema proposto opera na região espectral do infravermelho, permitindo assim uma operação em ambientes com baixa luminosidade e com inserção de ruído ótico. Adicionalmente o trabalho inclui resultados de validação e desenvolvimento do sistema de visão estéreo baixo condições de dois cenários de diferente volume espacial, assim como o procedimento realizado para a calibração dos parâmetros intrínsecos e extrínsecos dos sensores do sistema (câmeras monocromáticas). Os resultados obtidos apresentam uma precisão de ±0,1881 mm para artefatos com três marcadores e uma precisão de ±0,4952 para artefatos com quatro marcadores. Finalmente, o sistema opera com uma sensibilidade de 0,99 mm na determinação da posição de um artefato associado a um ponto do perfil do túnel, e desta forma, podem-se definir as condições de estabilidade do maciço rochoso e os requisitos para auxilio as decisões de métodos de tratamento e aumento da segurança. / Underground excavations have always been affected by the conditions of mass, which have different characteristics and behaviors against deformation caused after excavation of a gallery or tunnel. Because of this, it is necessary an analysis of the parameters needed to establish the safety conditions of the tunnel and it is proposed the use of a stereo optical tracking to analyze the displacement of artifacts (set of markers) installed on the contour of tunnels’ faces in order to detect displacements of the mass points established with a precision lower than ±1 mm. This system operates in the infrared spectral region to take advantage of the low light and reduce the optical noise in environments with grace. Further work includes validation results and development of low stereo vision conditions of two different scenarios spatial volume, as well as the procedure carried out to calibrate the intrinsic and extrinsic parameters of the system sensors (monochrome camera) system. The results show an accuracy of ± 0,1881 mm for artifacts with three markers and an accuracy of ± 0,4952 for artifacts with four markers. Finally, the system operates with a sensitivity of 0,99 mm in the determination of an artifact associated with a point in the tunnel profile position, and thus, one can define the conditions for stability of the rock mass and assistance requirements for the decisions of treatment methods and increased.