Student Number : 9710738R - MSc (Eng) dissertation - Faculty of Engineering and the Built Environment / This dissertation investigates the use of digital modeling methods for selected medical applications. The digital methods include the design of a cranial implant, auricular prosthesis and the duplication of an oral prosthesis. The digital process includes imaging, image processing, design and fabrication steps. Three types of imaging used are contact and non-contact measurement systems and CT scanning. The investigation uses a Phantom haptic device for digital design. The implants and prostheses are fabricated using a Thermojet printer and investment casting. Traditional and digital processes are compared using four case studies on selected criteria. The conclusions of the investigation are that a digital process can be used and is equal to or better than traditional methods in prosthesis and implant design.

Os simuladores que empregam técnicas de Realidade Virtual são alternativas vantajosas às formas tradicionais de ensino e treinamento médico. Esses simuladores apresentam requisitos específicos, tais como: interação em tempo real e modelos realistas para representar órgãos e tecidos. Além disso, devem possuir comportamentos físicos suficientemente parecidos com os reais e gerar feedbacks dos procedimentos que estejam sendo simulados. Essas características exigem esforços de programação para o desenvolvimento de técnicas de interação e visualização 3D, além de estudos dos tecidos humanos, incluindo o comportamento físico dos órgãos e tecidos e o estudo das leis da Física envolvidas neste processo. O tema central desta pesquisa é a simulação de procedimentos de punção, sendo que nesse tipo de aplicações são necessários tanto o realismo visual como também o háptico, a fim de proporcionar ao usuário sensações parecidas com as encontradas nos procedimentos reais. Os métodos que utilizam parâmetros físicos são os mais utilizados alcançar o realismo exigido na interação háptica. No entanto, esses métodos deixam a desejar no que diz respeito à interação em tempo real. Dessa forma, o objetivo desta pesquisa foi desenvolver um novo método para simular a deformação de objetos tridimensionais que representam órgãos humanos. De forma que sejam alcançados o realismo visual, o realismo háptico e a interação em tempo real, com um custo computacional aceitável. O método desenvolvido consiste na divisão dos objetos tridimensionais em camadas, a fim de simular o volume e também a heterogeneidade dos órgãos humanos. O número de camadas e a atribuição de parâmetros físicos podem ser definidos de acordo com os diferentes tecidos que compõem o órgão humano e respectivos comportamentos que se pretenda simular. O método foi desenvolvido depois de conduzida uma Revisão Sistemática para levantamento dos métodos utilizados em aplicações para treinamento médico e respectivos níveis de realismo visual e háptico oferecidos. Para demonstrar e testar o funcionamento do método foi criado um simulador genérico de procedimentos de punção, no qual podem ser configurados o número de camadas, os parâmetros visco-elásticos, e assim permitir a avaliação do desempenho e o realismo das simulações. Como exemplo de aplicação o método foi aplicado em um simulador de punção de mama, cuja qualidade foi avaliada por médicos especialistas. Os protótipos foram criados no Laboratório de Tecnologias Interativas da Escola Politécnica da USP (Interlab), a partir de um Framework desenvolvido pelo Laboratório de Aplicações de Informática em Saúde da Escola de Artes Ciências e Humanidades da USP (LApIS). / Simulators that employ Virtual Reality techniques can prove to be an advantageous alternative to the traditional forms of medical learning and training. These simulators have specific requirements, such as real-time interaction and realistic models representing organs and tissues. Moreover, they should possess physical behavior similar enough to real life and generate feedback from procedures being simulated. These characteristics require programming efforts for the development of 3D visualization and interaction techniques, as well as studies of human tissue, including the physical behavior of organs and tissues and the study of the laws of Physics involved in this process. The main theme of this research is the simulation of puncture procedures. This type of application requires a realistic rendering of both visual and haptic traits in order to provide the user with sensations similar to those found in real procedures. Methods which employ physical parameters are more widely used to achieve the realism required in haptic interaction. However, these methods present shortcomings regarding real-time interaction. Thus, the aim of this research was to develop a new method to simulate the deformity of tridimensional objects that represent human organs and to achieve visual realism, haptic realism, and real-time interaction, with acceptable computational costs. The method developed in this study consists in dividing tridimensional objects into layers in order to simulate volume as well as heterogeneity of human organs. The number of layers and the attribution of physical parameters can be defined according to different tissues that compose the human organ and respective behaviors that one wishes to simulate. The method was developed after a systematic review to assess the methods employed in applications for medical training and their respective levels of visual and haptic realism. In order to demonstrate and to test how the method operates, we created a generic simulator of puncture procedures, which can be configured with any combination of layers of tissue and its viscoelastic parameters, allowing for the assessment of simulation performance and realism. As an example, the method was applied to a breast biopsy simulator whose quality was evaluated by specialist doctors. The prototypes were created in the Interactive Technology Laboratory (Interlab) of the Engineering School of the University of São Paulo, from a framework developed by the Laboratory of Computer Applications for Health Care (LApIS) of the School of Arts, Science and Humanities of the University of São Paulo.

O exame de palpação é um procedimento no qual um profissional da saúde pressiona uma região específica do corpo de um paciente com os dedos a fim de detectar a presença ou ausência de características e anormalidades sob a pele. Um simulador que forneça subsídios para o treinamento deste procedimento pode contribuir para o aprendizado da técnica e o aprimoramento de sua execução em pacientes, além de, dentre outras vantagens, eliminar a necessidade de exposição de pacientes aos riscos das situações reais, minimizar o uso de objetos físicos e tornar possível a simulação de diferentes casos e ações. O objetivo principal deste trabalho consiste em desenvolver um simulador de palpação mamária com retorno háptico realista. No contexto do exame de palpação, existe uma lacuna no que concerne a definição de técnicas e parâmetros de retorno de força que ofereçam uma experiência mais realista de interação para o usuário. Após uma revisão sistemática da literatura foi feito o mapeamento dos principais parâmetros para representar diferentes nódulos durante o treinamento virtual visando ao diagnóstico de anomalias mamárias. Tais parâmetros foram equacionados com a finalidade de obter uma representação realista em um dispositivo háptico. Além disso, interfaces foram implementadas para permitir a geração de casos com a variação desses parâmetros referentes aos nódulos (tamanho, consistência, localização e contorno). Os resultados obtidos a partir de uma avaliação com uma profissional da medicina mostraram que o retorno de força aplicado a cada uma das características foi realista para todos os parâmetros, com limitação na representação de nódulos espiculados, que deve ser melhorada. Além de contribuir com a área de Computação no sentido de ter definido técnicas e parâmetros de retorno de força importantes para a simulação de exames de palpação, o trabalho disponibiliza uma ferramenta que pode contribuir para a aquisição efetiva da habilidade necessária para a execução do procedimento em questão / Palpation exam is a procedure in which a health care professional presses a specific region of a patient\'s body with the fingers in order to detect the presence of features and abnormalities under the skin. A simulator that aids the training this procedure may contribute to the learning of the technique and the improvement of its implementation in real patients. The main objective of the Master\'s degree work proposed in this paper is to develop a breast palpation simulator with haptic feedback. The results of a Systematic Review conducted in order to assess the state-of-art of the simulation of the palpation procedure showed that despite being a new area, there are already many innovative works that received positive reviews. However, in the context of palpation examination, a gap exists regarding the definition of techniques and force feedback parameters to provide a more realistic experience to the user. After a Systematic Review from the literature the mapping of the main parameters was done to represent different nodules during the virtual training for the diagnosis of breast abnormalities. These parameters were transformed into equations with the goal of obtaining a realistic representation on a haptic device. Besides, user interfaces were implemented to allow the creation of cases with the variation of the parameters relative to the nodules (size, consistency, localization and contour). The results obtained from an assessment done with a medical professional showed that the force feedback applied to each one of the characteristics was realistic to all the parameters, with limitations on the representation of spiculated nodules, which must be improved. Aside from the contribution to the Computing area in the sense that force feedback techniques and parameters important to the simulation of palpation exams were defined, this work offers a tool that can contribute to the effective acquisition of the necessary skills to the execution of the procedure in question

下颌角缩小术是一种非常流行、有效、并广泛用于修饰脸部轮廓的手术方式。手术中所用到的主要工具有往复锯和圆头磨钻，这两种手术工具工作时有一个共同的特点：通过其高速运转去除骨质。缺乏经验的医生通常需要较长周期的训练，来学习和熟悉如何操作这两种手术工具，并在操作过程中避免由于无法控制好工具与骨骼的触碰以及工具运转时的在骨骼上的移动所造成的危险。具有视觉和触觉反馈的虚拟手术模拟系统为医生们练习手术技巧提供了一种可行并且安全的方式。然而，创建高速运转的手术工具与坚硬的骨骼之间的真实触觉交互模型是一个非常有挑战性的任务。 / 这篇论文设计并实现了虚拟下颌角缩小手术模拟系统，并且创建高保真度的视觉和触觉反馈来增强虚拟手术环境的真实性。文章提出了基于冲量理论的力反馈模型用来模拟作用在工具上的碰撞力和力矩。在不同的往复速率或者旋转速度的情况下，所提出的模型都可以为医生提供可信真实的力感反馈。并且针对磨钻在磨骨是震动明显对磨骨操作有较大影响的特点，论文还提出了一个三维震动模型来模拟磨骨时作用在钻轴上的橫向震动和轴向震动。同时，论文还提出了用于模拟手术中骨质去除以及重建的实时绘制方法。为了验证力模型的真实性，我们还创建了机械平台，采集磨骨和截骨过程中产生的真实力数据，从而用来与虚拟手术中产生的力数据进行比较。最后，还引入真实病人的CT扫描数据来对虚拟手术系统进行实证研究，评估创建的系统是否可以用于训练具有不同手术经验的医生。实证研究的结果也验证了所提出的虚拟手术系统的有效性。 / Mandibular angle reduction is a popular and efficient procedure widely used to alter the facial contour. The primary surgical instruments, the reciprocating saw and the round burr, employed in the surgery have a common feature: operating at a high-speed. Generally, inexperienced surgeons need a longtime practice to learn how to minimize the risks caused by the uncontrolled contacts and cutting motions in manipulation of instruments with high-speed reciprocation or rotation. Virtual reality (VR)-based surgical simulations with both visual and haptic feedbacks provide novice surgeons with a feasible and safe way to practise their surgical skill. However, creating realistic haptic interactions between a high-speed rotary or reciprocating instrument and stiff bone is a challenging task. In this work, a virtual reality-based surgical simulator for the mandibular angle reduction was designed and implemented. High-fidelity visual and haptic feedbacks are provided to enhance the perception in a realistic virtual surgical environment. The impulse-based haptic model was proposed to simulate the contact forces and torques on the instruments. It provides convincing haptic sensation for surgeons to control the instruments under different reciprocation or rotation velocities. Also, in order to mimic the lateral and axial burring vibration forces, a three dimensional vibration model has been developed. The real-time methods for bone removal and reconstruction during surgical procedures have been proposed to support realistic visual feedbacks. The simulated contact forces were verified by comparing against the actual force data measured through the constructed mechanical platform. An empirical study based on the patient-specific data was conducted to evaluate the ability of the proposed system in training surgeons with various experiences. The results confirm the validity of our simulator. / Detailed summary in vernacular field only. / Detailed summary in vernacular field only. / Wang, Qiong. / Thesis (Ph.D.)--Chinese University of Hong Kong, 2012. / Includes bibliographical references (leaves 100-114). / Electronic reproduction. Hong Kong : Chinese University of Hong Kong, [2012] System requirements: Adobe Acrobat Reader. Available via World Wide Web. / Abstract also in Chinese. / Abstract --- p.i / Acknowledgement --- p.v / Chapter 1 --- Introduction --- p.1 / Chapter 1.1 --- Contributions of the Thesis --- p.5 / Chapter 1.2 --- Thesis Roadmap --- p.7 / Chapter 2 --- Related Work --- p.9 / Chapter 2.1 --- Virtual Orthopaedic Surgical Simulator --- p.9 / Chapter 2.2 --- Haptic Rendering for Virtual Surgery --- p.11 / Chapter 2.3 --- Evaluation of the Virtual System --- p.14 / Chapter 3 --- System Design --- p.17 / Chapter 3.1 --- Overall System Framework --- p.17 / Chapter 4 --- Bone-burring Surgical Simulation --- p.21 / Chapter 4.1 --- Impulse-Based Modeling of Haptic Simulation of Bone-Burring --- p.22 / Chapter 4.1.1 --- Basic Assumptions --- p.22 / Chapter 4.1.2 --- Bone-Burring Contact Description --- p.25 / Chapter 4.1.3 --- Burring Force Modeling --- p.29 / Chapter 4.2 --- Simulation of Bone Removal --- p.41 / Chapter 4.2.1 --- Bone Removal model --- p.41 / Chapter 4.2.2 --- Adaptive Subdividing Removal Surface --- p.42 / Chapter 4.3 --- Implementation and Experimental Results --- p.52 / Chapter 4.3.1 --- Force Evaluation --- p.53 / Chapter 4.3.2 --- Task-based Evaluation --- p.57 / Chapter 4.3.3 --- Time Performance --- p.61 / Chapter 5 --- Bone-sawing Surgical Simulation --- p.64 / Chapter 5.1 --- Impulse-Based Modeling of Haptic Simulation of Bone-Sawing --- p.65 / Chapter 5.1.1 --- Haptic Saw Instruments Description --- p.65 / Chapter 5.1.2 --- Sawing Force Modeling --- p.67 / Chapter 5.1.3 --- Sawing Torque Constraint --- p.70 / Chapter 5.2 --- Real-time Bone Mesh Reconstruction --- p.74 / Chapter 6 --- Evaluation --- p.78 / Chapter 6.1 --- Haptic Feedback Evaluation --- p.79 / Chapter 6.1.1 --- Mechanical Platform Setup --- p.79 / Chapter 6.1.2 --- Comparison of The Measured and Simulated forces --- p.81 / Chapter 6.2 --- Empirical Study --- p.85 / Chapter 6.2.1 --- Patient Specific Data --- p.87 / Chapter 6.2.2 --- Objective Performance Metrics --- p.89 / Chapter 6.2.3 --- Evaluation Results --- p.90 / Chapter 7 --- Conclusion --- p.94 / Publication List --- p.98 / Bibliography --- p.100

Parce que l’homme évolue dans un système en mouvement permanent, il a l’obligation de s’y adapter au mieux. Pour cela il dispose d’un ensemble de récepteurs lui permettant de s’adapter, de suivre et de prendre en compte l’évolution et la variation des différents éléments composant son environnement. La perception du monde traduit ainsi la capacité de l’individu à prendre conscience de la présence d’un évènement particulier à un moment donné. C’est dans ce contexte que se situe cette étude. En station droite érigée, l’ajout d’une modalité haptique permet-elle au sujet d’améliorer ses comportements posturaux ? Selon Matthews et Miles (1988) le sens haptique correspond au sens de la perception combinant les informations dynamiques issues à la fois des récepteurs cutanés, musculaires, articulaires et tendineux. De nombreux auteurs (Jeka et Lackner 1994, 1995 ; Jeka et coll., 1997, 1998 ; Lackner et coll., 1999 ; Rabin et coll., 1999, 2008) ont montré que les informations haptiques obtenues par un contact du bout du doigt avec une surface rigide inférieur à 1Newton, contact qui mécaniquement ne permet pas une augmentation de la base de sustentation, fournissent des informations essentielles au système nerveux central (SNC) lui permettant une diminution des oscillations posturales. Le but de ce travail est de comprendre et d’interpréter les effets d’un toucher léger du bout d’un doigt avec une surface rigide dans le maintien et le contrôle de la stabilité posturale d’un sujet en position droite érigée, au moyen d’outils stabilométriques classiques tels que l’amplitude, la surface, etc. Ainsi que les coordinations posturales mises en place au travers de l’analyse en composantes principales et des intercorrélations pour étudier les coordinations articulaires et l’analyse de la diffusion et de la récurrence du stabilogramme pour analyser le résultat net de ces coordinations (qualitatif et quantitatif). / Because human evolves in a system in permanent movement, he has the obligation to adapt itself to it at best. So, he has of a set of receptor allowing him to adapt itself, to follow and to take into account the evolution and the variation of the various elements composing his environment. The perception of the environment translates the capacity of the subject to become aware of the presence of a particular event at a given moment. It is in this context that is situated this study. According to Matthews and Miles (1988) the haptique sense corresponds to the perceptual sense combining the stemming dynamic information at the same time cutaneous, muscular, articular and tendinous receptors. Authors showed (Jeka et Lackner 1994, 1995 ; Jeka et coll., 1997, 1998 ; Lackner et coll., 1999 ; Rabin et coll., 1999, 2008) that the haptic information obtained by a fingertip contact with a rigid pad lower 1 Newton, a contact which mechanically does not allow an increase of the support base, provide essential information to the central nervous system (SNC) allowing him a decrease of the postural oscillations. The aim of this work is to understand and to interpret the effects of a light touch of the fingertip with a rigid pad in the preservation and the control of postural stability of a subject in upright posture, by means of stabilometrics classical tools such as the amplitude, the surface, etc. As well as the set up motor coordination through the analysis in main components and intercorrelations to study the articular coordination and the analysis of the diffusion and the recurrence of the stabilogramme to analyze the result of these coordinations (qualitative and quantitative).

Esta pesquisa aborda o design do livro tátil ilustrado, uma obra que possibilita a inclusão do leitor com deficiência visual. A investigação está centrada no modo como a mensagem é expressa no texto e na imagem, a partir do entendimento da tipografia, da diagramação, da linguagem empregada na ilustração e da produção gráfica. O objetivo da pesquisa é discutir sob a ótica do design a produção atual desta categoria de livro, entendendo-se que o livro tátil ilustrado configura-se como um objeto multissensorial que explora, principalmente, a percepção tátil, sendo esta um recurso também utilizado no despertar da curiosidade do leitor em fase de alfabetização. Para o leitor, principalmente, o cego, é importante desenvolver a sensibilidade tátil ainda na infância, por isso o livro físico como uma fonte de informação é instrumento fundamental de formação perceptiva. Grande parte da produção do livro tátil ilustrado está vinculada a conhecimentos oriundos da pedagogia, desenvolvidos nos centros de assistência à pessoa com deficiência visual, muitas vezes, sem a participação integral do designer no projeto. Por esta razão, no Brasil, os livros oriundos de diferentes iniciativas assemelham- se e são caracterizados pela produção tradicional, seguindo a concepção de material didático para cegos. Recentemente, uma nova concepção de livros multissensoriais para crianças tem sido elaborada por um número restrito de editoras, fundamentalmente as europeias, que exploram diferentes técnicas de acabamento na obtenção da imagem tátil. Esta pesquisa parte da hipótese que grande parte das imagens presentes nos livros táteis ilustrados produzidos no Brasil não são interpretadas pelo cego. São apresentados os desdobramentos desta questão relacionados ao entendimento da imagem e do texto. Entre eles, indaga-se: a linguagem dos desenhos táteis estaria condizente com o leitor cego? A técnica de obtenção do relevo interfere no processo de leitura? O texto auxilia no entendimento da imagem? A composição rígida das páginas favorece a leitura? A ausência de estudos específicos sobre o livro tátil ilustrado no campo do design e as restritas publicações bibliográficas no âmbito da leitura háptica conduziram para o levantamento de campo: visita às escolas especializadas, visita aos museus acessíveis e leitura mediada junto ao público de interesse. Além disso, realiza-se a análise de seis obras com diferentes concepções de ilustrações táteis, sendo três nacionais: O Chapeuzinho vermelho, de Bia Villela, Abraço de urso, de Cláudia Cotes, Adélia sonhadora, de Lia Zatz; e três importadas: Ruvidino in piscina, do Istituto dei Ciechi di Milano, Des vers de travers, de Anette Diesen, e Petit souffle de vent, de Elisa Lodolo. As leituras têm o propósito de discutir a compreensão da imagem, do texto e a composição do livro. Esses livros são analisados a partir de referências do design gráfico e da percepção visual, com maior ênfase nas obras de Bruno Munari e Rudolf Arnhein. Por fim, produz-se uma série de trabalhos práticos de caráter experimental a partir de narrativas que suscitam ampliar a discussão do processo de projetar um livro tátil ilustrado. Os resultados mostram que grande parte das imagens táteis presentes nas publicações brasileiras não são compreendidas pelos leitores cegos, sendo que um conjunto de fatores associados corrobora para este resultado, entre eles, identifica-se a linguagem das ilustrações, a técnica de produção e ausência do concreto na relação do texto com a imagem. / This research addresses the tactile illustrated book design, a work that enables the inclusion of the reader with visual impairments. The research is centered on how the message is expressed in the text and the image, from the understanding of typography, the layout, the language used in the illustration and mass production. The aim of the research is to discuss from the viewpoint of design the current production of this book category, on the understanding that the illustrated tactile book figure as a multi-sensory object that explores mainly the tactile perception, this being a feature also used to arouse the reader\'s curiosity in the literacy phase.For the reader, especially the blind, it is important to develop a tactile sensitivity in its childhood, therefore the physical book as a source of information is a fundamental tool of perceptual training. A great part of the production of illustrated tactile book is tied to knowledge originating from pedagogy, developed at the assistance centre for visually impaired and very often without the full involvement of the designer in the project. For this reason, in Brazil, books from different initiatives are similar and are characterized by traditional production, in accordance with didactic material for the blind. Recently, a new concept of multi-sensory books for children have been developed by a limited number of publishers, primarily European, exploring different finishing techniques in obtaining the tactile image. This research starts from the assumption that most of the images presented in the illustrated tactile books produced in Brazil are not interpreted by the blind. Will be presented the developments on this issue related to the understanding of image and text. Amongst them: the language of tactile drawings would be consonant with that of the blind reader? The embossing technique interferes in the reading process? The text assists in the understanding of the image? The rigid composition of the pages stimulate the reading? The absence of specific studies regarding the tactile illustrated book in the field of design and the strict bibliographic publications within the haptic reading led to the field survey: visits to specialized schools, visits to acessible museums and reading mediated by the target public. In addition, the analysis of six books, each one with different conceptions of tactile illustrations, was carried out, being three of them national: O Chapeuzinho vermelho, by Bia Villela, Abraço de urso, by Cláudia Cotes, Adélia sonhadora, by Lia Zatz; and three from abroad: Ruvidino in piscina, by Istituto dei Ciechi di Milano, Des vers de travers, by Anette Diesen and Petit souffle de vent, by Elisa Lodolo. The readings are meant to discuss the understanding of image, text and the book\'s composition. These books are analyzed based on references brought from graphic design and visual perception, with greater emphasis on the works of Bruno Munari and Rudolf Arnhein. Finally, it was produced a series of practical work of an experiential nature from narratives which intend to broaden the discussion about the process of designing a tactile illustrated book. The results demonstrated that the majority of tactile images present at Brazilian publications are not understood by blind readers - a set of associated factors corroborates to this result: the illustration language, the reproduction technique and absence of concrete in the relation between text and image.

Dans un contexte de conduite automobile, afin de compenser la perte d’informations haptiques causée par la substitution d’interfaces mécaniques classiques par des écrans tactiles, nous avons envisagé d’étudier l’ajout d’un retour vibrotactile. Ces derniers seraient utilisés comme le témoin d’une rétroaction entre le système et l’utilisateur. Le premier objectif de ce travail a été de fournir une meilleure compréhension des facteurs et des paramètres physiques influençant la perception et l’évaluation de ces courts signaux vibrotactiles, afin d’en optimiser la création. Les données recueillies ont été à la fois subjectives (échelles de Likert) et objectives (temps de réaction, pourcentage d’erreurs). Un lien étroit entre les préférences des utilisateurs et les boutons mécaniques existants a été envisagé. Le second objectif a été d’étudié les signaux multimodaux (audio-haptique ou visuo-haptique) pour modifier la perception haptique. Pour cela, nous avons utilisé des paradigmes d’amorçage à court terme décomposés en deux phases : une phase d’apprentissage et une phase d’amorçage. La phase d’apprentissage se caractérise par l’association non explicite d’une composante haptique (une vibration de courte durée) et d’un autre composant sensoriel (soit un son, soit une image en mouvement ou statique). La phase d’amorçage se caractérise par la présentation du composant haptique seule (l’amorce) suivie d'un composant cible (soit sonore, soit visuelle). Nous avons ainsi observé que des composants perceptivement absents, mais préalablement associés, pouvaient modifier le traitement perceptif de composants en cours. Ce type de résultats nous a permis d’apporter de nouveaux arguments en faveur de mécanismes communs sous-jacents à la perception et à la mémoire à travers une modalité peu utilisée dans la littérature. Une meilleure compréhension de ces liens, nous a aidé à modifier la perception des utilisateurs, à partir de composants perceptivement absents. Une illusion a ainsi été créée à partir de signaux visuo-haptiques, permettant de se rapprocher des boutons mécaniques. / In the context of driving, in order to compensate the loss of haptic information caused by the substitution of conventional mechanical interfaces of touch screens, we proposed to study the addition of vibrotactile feedback. This would be used as a feedback control between the system and the user. The first objective of this work was to provide a better understanding of the factors and physical parameters influencing the perception and evaluation of these short vibrotactile signals in order to optimize their creation. The data collected were both subjective (Likert scales) and objective (reaction time, error rate). A link between the user’s preferences and existing mechanical buttons was considered. The second objective was to study multimodal signals (audio-haptic or visuo-haptic) in order to change haptic perception. For this, we used a short term priming paradigm divised in two phases : a learning phase and a priming phase. The priming phase is characterized by non-explicit association between a haptic component (a vibration) simultaneously with another sensorial component (either a sound, or a moving or static image). The priming phase is characterized by the presentation of one haptic component (prime) followed a target component (sound or visual). We observed that components perceptually absent, but previously associated, could change perceptual processing of target components. These types of results have allowed us to provide new arguments for common mechanisms underlying perception and memory through a modality rarely studied in scientific literature. A better understanding of these links, helped us to change the user’s perception from perceptually absent components. An illusion had been created with the visual-haptic signals allowing a closer approach to the mechanical buttons.

Os simuladores que empregam técnicas de Realidade Virtual são alternativas vantajosas às formas tradicionais de ensino e treinamento médico. Esses simuladores apresentam requisitos específicos, tais como: interação em tempo real e modelos realistas para representar órgãos e tecidos. Além disso, devem possuir comportamentos físicos suficientemente parecidos com os reais e gerar feedbacks dos procedimentos que estejam sendo simulados. Essas características exigem esforços de programação para o desenvolvimento de técnicas de interação e visualização 3D, além de estudos dos tecidos humanos, incluindo o comportamento físico dos órgãos e tecidos e o estudo das leis da Física envolvidas neste processo. O tema central desta pesquisa é a simulação de procedimentos de punção, sendo que nesse tipo de aplicações são necessários tanto o realismo visual como também o háptico, a fim de proporcionar ao usuário sensações parecidas com as encontradas nos procedimentos reais. Os métodos que utilizam parâmetros físicos são os mais utilizados alcançar o realismo exigido na interação háptica. No entanto, esses métodos deixam a desejar no que diz respeito à interação em tempo real. Dessa forma, o objetivo desta pesquisa foi desenvolver um novo método para simular a deformação de objetos tridimensionais que representam órgãos humanos. De forma que sejam alcançados o realismo visual, o realismo háptico e a interação em tempo real, com um custo computacional aceitável. O método desenvolvido consiste na divisão dos objetos tridimensionais em camadas, a fim de simular o volume e também a heterogeneidade dos órgãos humanos. O número de camadas e a atribuição de parâmetros físicos podem ser definidos de acordo com os diferentes tecidos que compõem o órgão humano e respectivos comportamentos que se pretenda simular. O método foi desenvolvido depois de conduzida uma Revisão Sistemática para levantamento dos métodos utilizados em aplicações para treinamento médico e respectivos níveis de realismo visual e háptico oferecidos. Para demonstrar e testar o funcionamento do método foi criado um simulador genérico de procedimentos de punção, no qual podem ser configurados o número de camadas, os parâmetros visco-elásticos, e assim permitir a avaliação do desempenho e o realismo das simulações. Como exemplo de aplicação o método foi aplicado em um simulador de punção de mama, cuja qualidade foi avaliada por médicos especialistas. Os protótipos foram criados no Laboratório de Tecnologias Interativas da Escola Politécnica da USP (Interlab), a partir de um Framework desenvolvido pelo Laboratório de Aplicações de Informática em Saúde da Escola de Artes Ciências e Humanidades da USP (LApIS). / Simulators that employ Virtual Reality techniques can prove to be an advantageous alternative to the traditional forms of medical learning and training. These simulators have specific requirements, such as real-time interaction and realistic models representing organs and tissues. Moreover, they should possess physical behavior similar enough to real life and generate feedback from procedures being simulated. These characteristics require programming efforts for the development of 3D visualization and interaction techniques, as well as studies of human tissue, including the physical behavior of organs and tissues and the study of the laws of Physics involved in this process. The main theme of this research is the simulation of puncture procedures. This type of application requires a realistic rendering of both visual and haptic traits in order to provide the user with sensations similar to those found in real procedures. Methods which employ physical parameters are more widely used to achieve the realism required in haptic interaction. However, these methods present shortcomings regarding real-time interaction. Thus, the aim of this research was to develop a new method to simulate the deformity of tridimensional objects that represent human organs and to achieve visual realism, haptic realism, and real-time interaction, with acceptable computational costs. The method developed in this study consists in dividing tridimensional objects into layers in order to simulate volume as well as heterogeneity of human organs. The number of layers and the attribution of physical parameters can be defined according to different tissues that compose the human organ and respective behaviors that one wishes to simulate. The method was developed after a systematic review to assess the methods employed in applications for medical training and their respective levels of visual and haptic realism. In order to demonstrate and to test how the method operates, we created a generic simulator of puncture procedures, which can be configured with any combination of layers of tissue and its viscoelastic parameters, allowing for the assessment of simulation performance and realism. As an example, the method was applied to a breast biopsy simulator whose quality was evaluated by specialist doctors. The prototypes were created in the Interactive Technology Laboratory (Interlab) of the Engineering School of the University of São Paulo, from a framework developed by the Laboratory of Computer Applications for Health Care (LApIS) of the School of Arts, Science and Humanities of the University of São Paulo.

O exame de palpação é um procedimento no qual um profissional da saúde pressiona uma região específica do corpo de um paciente com os dedos a fim de detectar a presença ou ausência de características e anormalidades sob a pele. Um simulador que forneça subsídios para o treinamento deste procedimento pode contribuir para o aprendizado da técnica e o aprimoramento de sua execução em pacientes, além de, dentre outras vantagens, eliminar a necessidade de exposição de pacientes aos riscos das situações reais, minimizar o uso de objetos físicos e tornar possível a simulação de diferentes casos e ações. O objetivo principal deste trabalho consiste em desenvolver um simulador de palpação mamária com retorno háptico realista. No contexto do exame de palpação, existe uma lacuna no que concerne a definição de técnicas e parâmetros de retorno de força que ofereçam uma experiência mais realista de interação para o usuário. Após uma revisão sistemática da literatura foi feito o mapeamento dos principais parâmetros para representar diferentes nódulos durante o treinamento virtual visando ao diagnóstico de anomalias mamárias. Tais parâmetros foram equacionados com a finalidade de obter uma representação realista em um dispositivo háptico. Além disso, interfaces foram implementadas para permitir a geração de casos com a variação desses parâmetros referentes aos nódulos (tamanho, consistência, localização e contorno). Os resultados obtidos a partir de uma avaliação com uma profissional da medicina mostraram que o retorno de força aplicado a cada uma das características foi realista para todos os parâmetros, com limitação na representação de nódulos espiculados, que deve ser melhorada. Além de contribuir com a área de Computação no sentido de ter definido técnicas e parâmetros de retorno de força importantes para a simulação de exames de palpação, o trabalho disponibiliza uma ferramenta que pode contribuir para a aquisição efetiva da habilidade necessária para a execução do procedimento em questão / Palpation exam is a procedure in which a health care professional presses a specific region of a patient\'s body with the fingers in order to detect the presence of features and abnormalities under the skin. A simulator that aids the training this procedure may contribute to the learning of the technique and the improvement of its implementation in real patients. The main objective of the Master\'s degree work proposed in this paper is to develop a breast palpation simulator with haptic feedback. The results of a Systematic Review conducted in order to assess the state-of-art of the simulation of the palpation procedure showed that despite being a new area, there are already many innovative works that received positive reviews. However, in the context of palpation examination, a gap exists regarding the definition of techniques and force feedback parameters to provide a more realistic experience to the user. After a Systematic Review from the literature the mapping of the main parameters was done to represent different nodules during the virtual training for the diagnosis of breast abnormalities. These parameters were transformed into equations with the goal of obtaining a realistic representation on a haptic device. Besides, user interfaces were implemented to allow the creation of cases with the variation of the parameters relative to the nodules (size, consistency, localization and contour). The results obtained from an assessment done with a medical professional showed that the force feedback applied to each one of the characteristics was realistic to all the parameters, with limitations on the representation of spiculated nodules, which must be improved. Aside from the contribution to the Computing area in the sense that force feedback techniques and parameters important to the simulation of palpation exams were defined, this work offers a tool that can contribute to the effective acquisition of the necessary skills to the execution of the procedure in question

Made available in DSpace on 2016-04-29T14:23:33Z (GMT). No. of bitstreams: 1 Nelson Baumgratz Ribeiro.pdf: 6073619 bytes, checksum: 2df093db1d33c78d97967095f32b28c0 (MD5) Previous issue date: 2014-10-27 / Within the AV industry, the critical challenge is the creation of skilled and qualified labor, which presumes, in addition to the theoretical learning, contact and interaction with technology and with the devices and equipment used in AV systems - complementing 'knowing' with 'doing'. Perfection, agility and safe operation of AV systems will be a result of long hours of hands-on practice exercises, of trial and error experience and of tutored learning. Due to the job dynamics in this industry, the adoption of the online learning modality seems imperative as a further enabling feature of this technological training. Based greatly on the author's experience and with the support of authors like Vygotsky (1998), Lévy (1993, 1999), Ausubel (1963, 1968, 1978, 1980, 1982), Gagné (1980), Goleman (1999, 2012), Mattar (2007, 2008) and Allegretti (2007), amongst others, this paper aims to propose immersive and/or' interactive experience simulation tools to provide effective professional audiovisual (AV) technology online learning. Although not completely replacing the physical experience necessary to such learning, the proposed online learning could effectively shorten the time of study and give the learner sufficient experience to safely master the technical and operational processes when faced with the real-world tasks that will eventually be required of him. It should also provide students with the best possible learning experience, taking into account the effect and interaction of the environment with the professional audiovisual systems and with the student himself. This work, through qualitative research and case study, will present the context of the AV Industry inc1uding its social and professional organization, market segments, products and services, and area of operation and implementation of professional audiovisual systems, as specified in market research sponsored by InfoComm International@ in 2014. It will also set out the characteristics of the subject learner and his/her required skills and abilities, plus demonstrate the teaching and learning object, by means of a Technological Higher Education project developed by the author or a higher education institution in the city of São Paulo. Finally, this paper will list the available technological resources or those still under development, that can be combined for use as effective tools of online Technological Education, designed to empower professionals capable of working in the AV industry / No âmbito da Indústria Audiovisual Profissional, o ponto nevrálgico é a formação de mão de obra especializada e altamente qualificada. Esta formação pressupõe, além do aprendizado teórico, o contato e o convívio estreito com a própria tecnologia audiovisual (AV), com os aparelhos e equipamentos utilizados nos sistemas AV, complementando assim o "saber" com o "fazer". A perfeição, agilidade e segurança da operação dos sistemas AV advirão de longas horas de prática hands-on, de exercícios de tentativa e erro, e de aprendizado tutelado; e a dinâmica do próprio mercado de trabalho desta indústria torna imperativa a adoção da modalidade de ensino online como mais um recurso viabilizador desta formação tecnológica. A partir da experiência do seu autor e amparado em autores como Vygotsky (1998), Lévy (1993, 1999), Ausubel (1963, 1968, 1978, 1980, 1982), Gagné (1980), Goleman (1999, 2012), Mattar (2007, 2008) e Allegretti (2007), entre outros, este trabalho tem como objetivo propor ferramentas eficazes de simulação e de experiência interativa e/ou imersiva que proporcionem um efetivo aprendizado online da tecnologia AV. Embora não substituindo completamente a experiência física necessária a tal aprendizado, essas ferramentas propostas deverão ser capazes de abreviar eficientemente o tempo de estudo e de dar ao aprendiz da tecnologia uma vivência suficientemente satisfatória para permitir-lhe a segurança e o domínio dos processos técnicos e operacionais ao se deparar com a experiência real que lhe será imposta por fim. Deverão também proporcionar ao estudante a melhor experiência de aprendizagem, levando em conta o efeito e a interação do ambiente com os sistemas audiovisuais profissionais e com o próprio estudante. Por meio de uma pesquisa aplicada de abordagem qualitativa, este trabalho apresenta, a partir do estudo de mercado promovido pela InfoComm International@ em 2014, o contexto da Indústria AV e sua organização social e profissional, com seus segmentos de mercado, seus produtos e serviços, sua área de atuação e a aplicação dos sistemas audiovisuais profissionais. Enunciam-se também as características do sujeito da aprendizagem e as competências e habilidades dele requeridas, e o respectivo objeto de ensino e aprendizagem, por meio de uma proposta de Projeto de Curso Superior Tecnológico desenvolvido pelo autor para uma instituição de ensino superior da cidade de São Paulo. Finalmente, serão elencados os recursos tecnológicos disponíveis ou ainda em desenvolvimento, que podem ser conjugados para que se utilizem como ferramentas eficazes de Ensino Tecnológico online, destinadas a capacitar profissionais aptos a trabalhar na Indústria AV