Em domínios com forte conteúdo visual, a interpretação de imagens por raciocínio visual pode ser mais eficaz na solução de problemas do que a interpretação de dados puramente textuais ou numéricos. No entanto, a representação do conhecimento visual é difícil de ser realizada por tratar-se de um conhecimento implícito para o observador. As ontologias de representação possibilitam a criação de estruturas para auxiliar na captura desse tipo de conhecimento, de forma a atribuir uma representação simbólica e significado semântico ao que está sendo visualizado. A formalização do conhecimento visual permite a sua utilização em processos de inferência, resultando na interpretação automática da imagem. O objetivo deste trabalho é a definição de construtos ontológicos que permitam descrever aspectos visuais presentes em uma imagem, com ênfase na atenção visual mais do que nos aspectos físicos dos objetos. Esses aspectos visuais são associados aos objetos físicos da imagem bem como aos objetos descritos no nível do conhecimento de domínio. Para cada um dos níveis foi definida uma ontologia de representação, sendo assim possível atribuir semântica específica a esses objetos através da descrição de seus atributos e manter a independência do conhecimento relativo a cada nível. O nível da imagem descreve os objetos passíveis de serem extraídos por algoritmos de processamento de imagem (embora esses algoritmos não tenham sido foco de estudo neste trabalho). O nível visual descreve objetos que são foco da atenção visual, tais como seções, interstícios e contornos. O nível semântico descreve os objetos da aplicação capturados através de aquisição de conhecimento. A identidade dos objetos modelados é garantida através de relações de mapeamento entre cada dois níveis adjacentes. O domínio de aplicação deste trabalho foi a Petrografia Sedimentar, com o objetivo de extrair por inferência a qualidade em termos de porosidade e permeabilidade de rochas reservatório de petróleo. Com ajuda do especialista, foi modelado um método de solução de problemas para identificação do grau de compactação da rocha, que raciocina sobre os conhecimentos modelados utilizando a ontologia proposta. Foi implementado um sistema que permite a descrição dos objetos individualizados através da segmentação manual da imagem, mapeando os dados descritos para a ontologia e aplicando sobre ela o método de solução de problemas. Esse sistema gera como resultado o grau de compactação da rocha, cuja imagem foi assim descrita. Uma validação preliminar da abordagem foi realizada através da descrição de imagens de rochas fazendo uso do sistema desenvolvido, confrontando os resultados com os obtidos por um geólogo para as mesmas rochas observadas. Na metade das amostras descritas, o sistema atingiu o mesmo resultado do especialista e, na outra metade, obteve grande aproximação dos resultados. / In domains that have strong visual content, the image interpretation applying visual reasoning can be more effective in solving problems than the interpretation of pure textual or numeric data. However, the representation of visual knowledge is hard to be achieved since, most of time, we are dealing with implicit knowledge for the observer. The representation ontologies allow the creation of structures for assisting the capture of this kind of knowledge, in order to associate a symbolic representation and semantic meaning to what it being visualize. The formalization of the visual knowledge allows its application for inference process, resulting in the automatic interpretation of image. The goal of this work is the definition of ontological constructs that allow describing the visual aspects presented in an image, giving more emphasis in the evidences captured by visual attention than in the physical aspects of the objects. These aspects are associated to the physical objects as well as to the objects described in the domain knowledge level. Separate representation ontologies were defined for each level, making possible to associate specific semantic content to the objects through the description of the attributes and to keep the independence of the knowledge related to each level. The image level describes the objects that are possible of being extracted by image processing algorithms (although these algorithms were not studied in this work). The visual knowledge describes the objects that capture the visual attention, such as sections, interstices and borders. The semantic level describes the application objects elicited by knowledge acquisition methods. The identity of the modeled objects is guaranteed through the mapping relation defined between each two adjacent levels. The application domain of this work is the Sedimentary Petrography, with the goal of extracting by inference methods the porosity and permeability quality of petroleum reservoir-rocks. With the aid of the expert, a problem-solving method that reasons over the knowledge formalized through the proposed ontology was modeled for the identification of the compaction level of the rock. Furthermore, it was implemented a system that supports the description of the objects individualized through a manual segmentation of the image. The described data was mapped to the ontology and the problem-solving method was applied to define the level of compaction. A preliminary validation was developed comparing the results achieved by the system with the manual interpretation done by the expert with the same rock samples. With the half of the described samples the system achieved the same results of the expert and has got strong approximation in the other half.

Nos domínios visuais, interpretações são iniciadas pela identificação de feições em imagens que irão, posteriormente, dar suporte aos processos mais abstratos de inferência. Para desenvolver sistemas de conhecimento neste tipo de domínio é necessário buscar a melhor representação do conhecimento visual para ser utilizado pelos métodos de inferência. A representação em formato simbólico deste conhecimento auxilia na captura do conhecimento implícito presente em imagens, permitindo seu uso nos processos de raciocínio, mesmo aceitando que parte desse conhecimento não é externalizado e, em conseqüência, não poderá ser representado adequadamente. Estudos recentes têm utilizado anotação de imagens como uma maneira capaz de auxiliar na explicitação do conhecimento, ampliando a expressividade dos formalismos de representação e permitindo o registro das informações associadas às imagens. Embora anotações de imagens flexibilizem a captura do conhecimento, ontologias são associadas às anotações para garantir a formalização do conhecimento nas imagens, suprindo os termos de domínio que podem ser usados para anotar e auxiliar a uniformização da linguagem nas consultas. O objetivo desse trabalho é capturar e documentar o conhecimento visual que dá suporte à inferência nas tarefas de interpretações. Nesse trabalho é elaborada uma maneira de identificar objetos em imagens que contenham feições diagnósticas através da utilização de uma ontologia de domínio pré-existente. Essa identificação de objetos é explorada para permitir a localização física de uma determinada feição em um objeto real. O resultado disso é a identificação de feições em uma imagem tendo-se um referencial de posição segundo um sistema de coordenadas espacial, possibilitando o seu re-posicionamento. O trabalho ainda explora recursos para a melhor utilização de informações relacionadas a uma imagem. Dessa forma, serve de documentação auxiliar para prover diferencial em interpretações. O domínio de aplicação deste trabalho é a Petrografia Sedimentar que tem como uma das tarefas a descrição quantitativa e qualitativa dos minerais que compõem uma amostra de rocha, visando a análise do potencial de um reservatório de petróleo. As informações são visualizadas em uma amostra de rocha e, assim, um especialista toma decisões quanto à viabilidade de exploração do reservatório. Esse modelo foi validado através da implementação de um módulo de anotação de imagem e de referenciamento de objetos, juntamente com um hardware. O processo de descrição de amostra de rocha é detalhado para se explorar o conhecimento em imagens com a precisão da localização dos objetos nela identificados. Essa abordagem complementa os modelos de representação simbólica, que normalmente são insuficientes para capturar a semântica das feições que dão suporte a inferência em domínios visuais. / Problem solvers in visual domains apply image interpretation to extract evidences to support the reasoning process in the search of solution. In order to develop knowledge systems in this kind of domain, it is necessary to represent the knowledge that is extracted from the scenes in the domain in such way that can be used by the inference methods. The symbolic representation formalisms help in shading light on the implicit knowledge embodied in images, allowing its use in reasoning processes, even accepting that part of this knowledge can not be properly expressed by the experts and, in consequence, it is never going to be adequately represented in knowledge models. Some studies use image annotation to extend the semantic capture of the visual knowledge beyond the expressiveness of representation formalisms, allowing that additional content could be described and stored with the images. Although the annotation is a more flexible way of capturing knowledge, ontologies are used along with it to guarantee the formalization of the knowledge annotated in the images, supplying the domain terms that can be used in the annotation process and helping the uniformization of the language and further consultation. The goal of this work is capturing and documenting the visual knowledge that supports inference on interpretation tasks. The work offer a way of identifying objects in images that correspond to diagnostic features and describing them with the support of a pre-existent domain ontology. The object identification is associated to the physical location of the feature in the real object, with the help of a hardware appliance. The result is the feature identification in the image with the reference of its position in a system of spatial coordinates. The work also explores multimedia resources for the best use of information associated to the image, providing an extra-support for knowledge documentation for interpretation tasks. The application domain of this work is the sedimentary petrography, the formal description of rocks in the scope of Petrological studies. The task in focus is the compositional description of minerals in a rock sample, both in qualitative and quantitative way, in order to evaluate the potential of a petroleum reservoir. Several aspects of the rock are studied by the geologist to suggest better techniques for exploration and production of oil fields. The approach defined in this project was validated through the implementation of an image annotation and referencing modules associated to microscope stage appliance that allows the computer to control the movement of the stage during the description process. The whole process of rock sample analysis using the software and the hardware is detailed in order to expose the visual knowledge and its physical position in the rock sample. This approach complements the symbolic representation models that are usually insufficient to capture the semantic of diagnostic features that support reasoning in visual domains.

Interpretação semântica de imagens tem se mostrado uma das fronteiras mais promissoras da área de Visão Computacional, especificamente aplicada a interpretação imagens. Nas abordagens que estão sendo propostas atualmente, conhecimento visual explicitamente modelado é utilizado com algoritmos de raciocínio simbólico combinados a algoritmos de processamento de imagem a fim de se extrair o conteúdo de imagens e associá-lo a modelos semanticamente ricos. Este trabalho apresenta uma abordagem de interpretação semântica de imagens especificamente voltada para interpretação de gráficos de linhas, chamada S-Chart. Ela consiste um conjunto de modelos de conhecimento e algoritmos que podem ser instanciados para interpretação de gráficos em diversos domínios. Os modelos são representados em três níveis semânticos e aplicam o conceito de ancoramento simbólico (symbol grounding) para mapear as primitivas entre os níveis. Os algoritmos de interpretação propostos fazem a interação entre o raciocínio simbólico de alto nível e os algoritmos de processamento de sinal para os dados brutos dos gráficos analisados. Para demonstrar a aplicabilidade do framework S-Chart, foi desenvolvido o sistema InteliStrata, uma aplicação no domínio da Geologia, voltada para interpretação semântica de gráficos de perfis de poço. Utilizando a aplicação, foram interpretados dois perfis de raios gama capturados em poços de exploração, de modo que o sistema identificasse a presença de Sequências Estratigráficas e superfícies de inundação máximas. Os resultados foram comparados com a interpretação de um geólogo especialista sobre os mesmos dados. O sistema aponta as mesmas sequências já identificadas e oferece outras opções de interpretação compatíveis com as do geólogo utilizando os mesmos dados. O framework S-Chart tem seus pontos fortes nos seus modelos representação de conhecimento visual independentes de domínio, que permitem a utilização do mesmo arcabouço em diferentes aplicações e, em especial, no seu modelo de ancoramento simbólico entre primitivas de representação. / Semantic image interpretation is one of the most promising frontiers in the Computer Vision area, specifically when applied to Image Interpretation. To reach semantic interpretation, visual knowledge explicitly represented is applied by symbolic reasoning algorithms combined with image processing algorithms in order to extract the content of the images and associate it with semantically rich models. This work describes the S-Chart approach, a semantic image interpretation approach designed for interpretation of line charts. It is structured as a set of knowledge models and algorithms that can be instantiated to accomplish chart interpretation in other domains. The models are represented in three semantic levels and apply the concept of symbol grounding in order to map the primitives between the levels. The interpretation algorithms carry out the interaction between the symbolic reasoning in the high level, and the signal processing algorithms in the low level data. In order to demonstrate the applicability of the S-Chart framework, we developed the InteliStrata system, an application in Geology for the semantic interpretation of well log profiles. Using the application, we have interpreted the graphs of two gamma-ray profiles captured in exploration wells, to indicate the position of Stratigraphic Sequences and the maximum flooding surfaces. The results were compared with the interpretation of an experienced geologist using the same data input. The system was able to point the same identified sequences and offered alternative interpretation that were compatible with the geologist interpretation over the data. The S-Chart framework demonstrates its effectiveness on interpretation of pictorial information in knowledge intensive domains. The stronger points of the approach are its domain independent models for visual knowledge representation and, specially, the application of a symbol grounding model to provide a correlation between representation primitives.

Futebol é um esporte fascinante que capta a atenção de milhões de pessoas no mundo. Equipes de futebol profissionais, bem como os meios de comunicação, têm um profundo interesse na análise de partidas de futebol. Análise estatística é a abordagem mais usada para descrever um jogo de futebol, no entanto, muitas vezes eles não conseguem captar a evolução do jogo e as mudanças de estratégias que aconteceram. Neste trabalho, apresentamos Visual Soccer Match Analysis (VSMA), uma ferramenta para a compreensão dos diferentes aspectos relacionados com a evolução de um jogo de futebol. A nossa ferramenta recebe como entrada as coordenadas de cada jogador durante o jogo, bem como os eventos associados. Apresentamos um design visual que permite identificar rapidamente padrões relevantes em jogo. A abordagem foi desenvolvida em conjunto com colegas da área da educação física com experiência em análise de futebol. Validamos a utilidade da nossa abordagem utilizando dados de várias partidas, juntamente com avaliações de especialistas. / Soccer is a fascinating sport that captures the attention of millions of people in the world. Professional soccer teams, as well as the broadcasting media, have a deep interest in the analysis of soccer matches. Statistical summaries are the most-used approach to describe a soccer match. However, they often fail to capture the evolution of the game and changes of strategies that happen. In this work, we present the Visual Soccer Match Analysis (VSMA) system, a tool for understanding the different aspects associated with the evolution of a soccer match. Our tool receives as input the coordinates of each player throughout the match and related events. We present a visual design that allows to quickly identify relevant patterns in the match. Our approach was developed in conjunction with colleagues from the physical education field with expertise in soccer analysis. We validated the system utility using several matches together with expert evaluations.

As estrategias de passes têm sido sempre de interesse para a pesquisa de futebol. Desde os inícios do futebol, os técnicos tem usado olheiros, gravações de vídeo, exercícios de treinamento e feeds de dados para coletar informações sobre as táticas e desempenho dos jogadores. No entanto, a natureza dinâmica das estratégias de passes são bastante complexas para refletir o que está acontecendo dentro do campo e torna difícil o entendimento do jogo. Além disso, existe uma demanda crecente pela deteção de padrões e analise de estrategias de passes popularizado pelo tiki-taka utilizado pelo FC. Barcelona. Neste trabalho, propomos uma abordagem para abstrair as sequências de pases e agrupálas baseadas na geometria da trajetória da bola. Para analizar as estratégias de passes, apresentamos um esquema de visualização interátiva para explorar a frequência de uso, a localização espacial e ocorrência temporal das sequências. A visualização Frequency Stripes fornece uma visão geral da frequencia dos grupos achados em tres regiões do campo: defesa, meio e ataque. O heatmap de trajetórias coordenado com a timeline de passes permite a exploração das formas mais recorrentes no espaço e tempo. Os resultados demostram oito trajetórias comunes da bola para sequências de três pases as quais dependem da posição dos jogadores e os ângulos de passe. Demonstramos o potencial da nossa abordagem com utilizando dados de várias partidas do Campeonato Brasileiro sob diferentes casos de estudo, e reportamos os comentários de especialistas em futebol. / Passing strategies analysis has always been of interest for soccer research. Since the beginning of soccer, managers have used scouting, video footage, training drills and data feeds to collect information about tactics and player performance. However, the dynamic nature of passing strategies is complex enough to reflect what is happening in the game and makes it hard to understand its dynamics. Furthermore, there exists a growing demand for pattern detection and passing sequence analysis popularized by FC Barcelona’s tiki-taka. We propose an approach to abstract passing strategies and group them based on the geometry of the ball trajectory. To analyse passing sequences, we introduce a interactive visualization scheme to explore the frequency of usage, spatial location and time occurrence of the sequences. The frequency stripes visualization provide, an overview of passing groups frequency on three pitch regions: defense, middle, attack. A trajectory heatmap coordinated with a passing timeline allow, for the exploration of most recurrent passing shapes in temporal and spatial domains. Results show eight common ball trajectories for three-long passing sequences which depend on players positioning and on the angle of the pass. We demonstrate the potential of our approach with data from the Brazilian league under several case studies, and report feedback from a soccer expert.

Em domínios com forte conteúdo visual, a interpretação de imagens por raciocínio visual pode ser mais eficaz na solução de problemas do que a interpretação de dados puramente textuais ou numéricos. No entanto, a representação do conhecimento visual é difícil de ser realizada por tratar-se de um conhecimento implícito para o observador. As ontologias de representação possibilitam a criação de estruturas para auxiliar na captura desse tipo de conhecimento, de forma a atribuir uma representação simbólica e significado semântico ao que está sendo visualizado. A formalização do conhecimento visual permite a sua utilização em processos de inferência, resultando na interpretação automática da imagem. O objetivo deste trabalho é a definição de construtos ontológicos que permitam descrever aspectos visuais presentes em uma imagem, com ênfase na atenção visual mais do que nos aspectos físicos dos objetos. Esses aspectos visuais são associados aos objetos físicos da imagem bem como aos objetos descritos no nível do conhecimento de domínio. Para cada um dos níveis foi definida uma ontologia de representação, sendo assim possível atribuir semântica específica a esses objetos através da descrição de seus atributos e manter a independência do conhecimento relativo a cada nível. O nível da imagem descreve os objetos passíveis de serem extraídos por algoritmos de processamento de imagem (embora esses algoritmos não tenham sido foco de estudo neste trabalho). O nível visual descreve objetos que são foco da atenção visual, tais como seções, interstícios e contornos. O nível semântico descreve os objetos da aplicação capturados através de aquisição de conhecimento. A identidade dos objetos modelados é garantida através de relações de mapeamento entre cada dois níveis adjacentes. O domínio de aplicação deste trabalho foi a Petrografia Sedimentar, com o objetivo de extrair por inferência a qualidade em termos de porosidade e permeabilidade de rochas reservatório de petróleo. Com ajuda do especialista, foi modelado um método de solução de problemas para identificação do grau de compactação da rocha, que raciocina sobre os conhecimentos modelados utilizando a ontologia proposta. Foi implementado um sistema que permite a descrição dos objetos individualizados através da segmentação manual da imagem, mapeando os dados descritos para a ontologia e aplicando sobre ela o método de solução de problemas. Esse sistema gera como resultado o grau de compactação da rocha, cuja imagem foi assim descrita. Uma validação preliminar da abordagem foi realizada através da descrição de imagens de rochas fazendo uso do sistema desenvolvido, confrontando os resultados com os obtidos por um geólogo para as mesmas rochas observadas. Na metade das amostras descritas, o sistema atingiu o mesmo resultado do especialista e, na outra metade, obteve grande aproximação dos resultados. / In domains that have strong visual content, the image interpretation applying visual reasoning can be more effective in solving problems than the interpretation of pure textual or numeric data. However, the representation of visual knowledge is hard to be achieved since, most of time, we are dealing with implicit knowledge for the observer. The representation ontologies allow the creation of structures for assisting the capture of this kind of knowledge, in order to associate a symbolic representation and semantic meaning to what it being visualize. The formalization of the visual knowledge allows its application for inference process, resulting in the automatic interpretation of image. The goal of this work is the definition of ontological constructs that allow describing the visual aspects presented in an image, giving more emphasis in the evidences captured by visual attention than in the physical aspects of the objects. These aspects are associated to the physical objects as well as to the objects described in the domain knowledge level. Separate representation ontologies were defined for each level, making possible to associate specific semantic content to the objects through the description of the attributes and to keep the independence of the knowledge related to each level. The image level describes the objects that are possible of being extracted by image processing algorithms (although these algorithms were not studied in this work). The visual knowledge describes the objects that capture the visual attention, such as sections, interstices and borders. The semantic level describes the application objects elicited by knowledge acquisition methods. The identity of the modeled objects is guaranteed through the mapping relation defined between each two adjacent levels. The application domain of this work is the Sedimentary Petrography, with the goal of extracting by inference methods the porosity and permeability quality of petroleum reservoir-rocks. With the aid of the expert, a problem-solving method that reasons over the knowledge formalized through the proposed ontology was modeled for the identification of the compaction level of the rock. Furthermore, it was implemented a system that supports the description of the objects individualized through a manual segmentation of the image. The described data was mapped to the ontology and the problem-solving method was applied to define the level of compaction. A preliminary validation was developed comparing the results achieved by the system with the manual interpretation done by the expert with the same rock samples. With the half of the described samples the system achieved the same results of the expert and has got strong approximation in the other half.

Nos domínios visuais, interpretações são iniciadas pela identificação de feições em imagens que irão, posteriormente, dar suporte aos processos mais abstratos de inferência. Para desenvolver sistemas de conhecimento neste tipo de domínio é necessário buscar a melhor representação do conhecimento visual para ser utilizado pelos métodos de inferência. A representação em formato simbólico deste conhecimento auxilia na captura do conhecimento implícito presente em imagens, permitindo seu uso nos processos de raciocínio, mesmo aceitando que parte desse conhecimento não é externalizado e, em conseqüência, não poderá ser representado adequadamente. Estudos recentes têm utilizado anotação de imagens como uma maneira capaz de auxiliar na explicitação do conhecimento, ampliando a expressividade dos formalismos de representação e permitindo o registro das informações associadas às imagens. Embora anotações de imagens flexibilizem a captura do conhecimento, ontologias são associadas às anotações para garantir a formalização do conhecimento nas imagens, suprindo os termos de domínio que podem ser usados para anotar e auxiliar a uniformização da linguagem nas consultas. O objetivo desse trabalho é capturar e documentar o conhecimento visual que dá suporte à inferência nas tarefas de interpretações. Nesse trabalho é elaborada uma maneira de identificar objetos em imagens que contenham feições diagnósticas através da utilização de uma ontologia de domínio pré-existente. Essa identificação de objetos é explorada para permitir a localização física de uma determinada feição em um objeto real. O resultado disso é a identificação de feições em uma imagem tendo-se um referencial de posição segundo um sistema de coordenadas espacial, possibilitando o seu re-posicionamento. O trabalho ainda explora recursos para a melhor utilização de informações relacionadas a uma imagem. Dessa forma, serve de documentação auxiliar para prover diferencial em interpretações. O domínio de aplicação deste trabalho é a Petrografia Sedimentar que tem como uma das tarefas a descrição quantitativa e qualitativa dos minerais que compõem uma amostra de rocha, visando a análise do potencial de um reservatório de petróleo. As informações são visualizadas em uma amostra de rocha e, assim, um especialista toma decisões quanto à viabilidade de exploração do reservatório. Esse modelo foi validado através da implementação de um módulo de anotação de imagem e de referenciamento de objetos, juntamente com um hardware. O processo de descrição de amostra de rocha é detalhado para se explorar o conhecimento em imagens com a precisão da localização dos objetos nela identificados. Essa abordagem complementa os modelos de representação simbólica, que normalmente são insuficientes para capturar a semântica das feições que dão suporte a inferência em domínios visuais. / Problem solvers in visual domains apply image interpretation to extract evidences to support the reasoning process in the search of solution. In order to develop knowledge systems in this kind of domain, it is necessary to represent the knowledge that is extracted from the scenes in the domain in such way that can be used by the inference methods. The symbolic representation formalisms help in shading light on the implicit knowledge embodied in images, allowing its use in reasoning processes, even accepting that part of this knowledge can not be properly expressed by the experts and, in consequence, it is never going to be adequately represented in knowledge models. Some studies use image annotation to extend the semantic capture of the visual knowledge beyond the expressiveness of representation formalisms, allowing that additional content could be described and stored with the images. Although the annotation is a more flexible way of capturing knowledge, ontologies are used along with it to guarantee the formalization of the knowledge annotated in the images, supplying the domain terms that can be used in the annotation process and helping the uniformization of the language and further consultation. The goal of this work is capturing and documenting the visual knowledge that supports inference on interpretation tasks. The work offer a way of identifying objects in images that correspond to diagnostic features and describing them with the support of a pre-existent domain ontology. The object identification is associated to the physical location of the feature in the real object, with the help of a hardware appliance. The result is the feature identification in the image with the reference of its position in a system of spatial coordinates. The work also explores multimedia resources for the best use of information associated to the image, providing an extra-support for knowledge documentation for interpretation tasks. The application domain of this work is the sedimentary petrography, the formal description of rocks in the scope of Petrological studies. The task in focus is the compositional description of minerals in a rock sample, both in qualitative and quantitative way, in order to evaluate the potential of a petroleum reservoir. Several aspects of the rock are studied by the geologist to suggest better techniques for exploration and production of oil fields. The approach defined in this project was validated through the implementation of an image annotation and referencing modules associated to microscope stage appliance that allows the computer to control the movement of the stage during the description process. The whole process of rock sample analysis using the software and the hardware is detailed in order to expose the visual knowledge and its physical position in the rock sample. This approach complements the symbolic representation models that are usually insufficient to capture the semantic of diagnostic features that support reasoning in visual domains.

Interpretação semântica de imagens tem se mostrado uma das fronteiras mais promissoras da área de Visão Computacional, especificamente aplicada a interpretação imagens. Nas abordagens que estão sendo propostas atualmente, conhecimento visual explicitamente modelado é utilizado com algoritmos de raciocínio simbólico combinados a algoritmos de processamento de imagem a fim de se extrair o conteúdo de imagens e associá-lo a modelos semanticamente ricos. Este trabalho apresenta uma abordagem de interpretação semântica de imagens especificamente voltada para interpretação de gráficos de linhas, chamada S-Chart. Ela consiste um conjunto de modelos de conhecimento e algoritmos que podem ser instanciados para interpretação de gráficos em diversos domínios. Os modelos são representados em três níveis semânticos e aplicam o conceito de ancoramento simbólico (symbol grounding) para mapear as primitivas entre os níveis. Os algoritmos de interpretação propostos fazem a interação entre o raciocínio simbólico de alto nível e os algoritmos de processamento de sinal para os dados brutos dos gráficos analisados. Para demonstrar a aplicabilidade do framework S-Chart, foi desenvolvido o sistema InteliStrata, uma aplicação no domínio da Geologia, voltada para interpretação semântica de gráficos de perfis de poço. Utilizando a aplicação, foram interpretados dois perfis de raios gama capturados em poços de exploração, de modo que o sistema identificasse a presença de Sequências Estratigráficas e superfícies de inundação máximas. Os resultados foram comparados com a interpretação de um geólogo especialista sobre os mesmos dados. O sistema aponta as mesmas sequências já identificadas e oferece outras opções de interpretação compatíveis com as do geólogo utilizando os mesmos dados. O framework S-Chart tem seus pontos fortes nos seus modelos representação de conhecimento visual independentes de domínio, que permitem a utilização do mesmo arcabouço em diferentes aplicações e, em especial, no seu modelo de ancoramento simbólico entre primitivas de representação. / Semantic image interpretation is one of the most promising frontiers in the Computer Vision area, specifically when applied to Image Interpretation. To reach semantic interpretation, visual knowledge explicitly represented is applied by symbolic reasoning algorithms combined with image processing algorithms in order to extract the content of the images and associate it with semantically rich models. This work describes the S-Chart approach, a semantic image interpretation approach designed for interpretation of line charts. It is structured as a set of knowledge models and algorithms that can be instantiated to accomplish chart interpretation in other domains. The models are represented in three semantic levels and apply the concept of symbol grounding in order to map the primitives between the levels. The interpretation algorithms carry out the interaction between the symbolic reasoning in the high level, and the signal processing algorithms in the low level data. In order to demonstrate the applicability of the S-Chart framework, we developed the InteliStrata system, an application in Geology for the semantic interpretation of well log profiles. Using the application, we have interpreted the graphs of two gamma-ray profiles captured in exploration wells, to indicate the position of Stratigraphic Sequences and the maximum flooding surfaces. The results were compared with the interpretation of an experienced geologist using the same data input. The system was able to point the same identified sequences and offered alternative interpretation that were compatible with the geologist interpretation over the data. The S-Chart framework demonstrates its effectiveness on interpretation of pictorial information in knowledge intensive domains. The stronger points of the approach are its domain independent models for visual knowledge representation and, specially, the application of a symbol grounding model to provide a correlation between representation primitives.

O avanço tecnológico de dispositivos capazes de capturar e armazenar volumes significativos de imagens permite o armazenamento de grandes quantidades de informações visuais. Uma área de intensa pesquisa atualmente é a extração e modelagem de conhecimento visual contido nessas bases de informações. O conceito de conhecimento visual e imagem são conceitos disjuntos, mesmo que pareçam intrinsecamente conectados. Conhecimento visual é o conjunto de modelos mentais compostos por imagens de objetos reais ou imaginárias manipuladas pelo cérebro. Esses modelos mentais são aplicados em tarefas cuja solução envolve a análise de informações visuais, como por exemplo, a extração de conteúdo semântico de imagens. Domínios imagísticos são os domínios nos quais a solução de problemas começa com um processo de casamento de padrões que capturam a informação visual e que mais tarde dará suporte ao processo abstrato da interpretação. A proposta desta dissertação é a definição de primitivas alternativas para a representação de conhecimento visual através da combinação de construtos proposicionais e pictóricos. Diferentemente de outras abordagens, o conhecimento visual capturado no modelo aqui proposto não reside nas imagens, mas na mente de especialistas. A captura do conhecimento visual é realizada através de dois metaconstrutos híbridos aplicáveis ao domínio da geologia. Os metaconstrutos são compostos de uma representação proposicional e outra icônica que são utilizadas para fins de comunicação e expressão do conhecimento visual do especialista, respectivamente. O metaconstruto Pictorial Concept representa tipos visuais enquanto que o metaconstruto Pictorial Attribute representa qualidades dos tipos visuais. Os metaconstrutos aqui definidos foram aplicados ao domínio da Estratigrafia Sedimentar, uma subárea da Geologia, na construção de uma ontologia de domínio com conteúdo visual agregado. A construção da ontologia de domínio foi realizada através de um processo de aquisição de conhecimento. O conhecimento visual foi eliciado a partir de um especialista, adquirido através da imersão na literatura do domínio e organizado de acordo com metapropriedades e metaconceitos de uma ontologia de fundamentação unificada. A ontologia é aplicada ao domínio da Estratigrafia Sedimentar para rochas siliciclásticas para a descrição de testemunhos e afloramentos. A ontologia inclui uma hierarquia de rochas, estruturas sedimentares e ambientes deposicionais. Foram modelados 36 conceitos com a adição de 60 ícones. A validação do conhecimento visual organizado foi realizada através de experimento empírico onde 21 geólogos utilizaram os ícones sem legenda para descrição de amostras de rocha. O nível de acertos das associações entre feições geológicas e ícones representam 70% para fácies e 66% para estruturas sedimentares sendo identificada uma conclusão positiva entre a experiência do geólogo e o número de acertos. / The advances in technological devices allow then to capture and store significant amounts of image data. Nowadays, an intense area of research is the extraction and modeling of the existing visual knowledge in image databases. The visual knowledge and image concepts are disjointed concepts, even though they seem intrinsically connected. Visual knowledge is the set of mental models composed by images of real or imaginary objects manipulated by the brain. These mental models are applied in tasks, like the extraction of semantic content of images, where the solution requires the analysis of visual information. Imagistic domains are the domains where the problem-solving process starts with a visual pattern-matching process that captures the information, which will further support the abstract inference process of interpretation. The proposal of this master thesis is the definition of alternative primitives for the visual knowledge representation, by the combination of both propositional and pictorial constructs. Differently from other approaches, the visual knowledge captured in this model is not identifiable in images, but in the mental models of experts. The capture of the visual knowledge is reached through the use of two domainindependent hybrid meta-constructs. The meta-constructs are composed by propositional and iconic representations used for communication and to express the expert’s visual knowledge. The meta-construct Pictorial Concept represents visual kinds while the metaconstruct Pictorial Attribute represents qualities of the visual kinds. The meta-constructs defined here where applied in the Sedimentary Stratigraphy domain, a sub-area of Geology, in the construction of a domain ontology with aggregated visual content. The construction of the domain ontology was done through a knowledge acquisition process. The visual knowledge was elicited from the expert, acquired from the immersion in the literature domain and was organized according to meta-properties and meta-concepts based on a foundational ontology. The resulting ontology is applied in the Sedimentary Stratigraphy domain for the description of well cores and outcrops of siliciclastic rocks. The ontology includes hierarchies of rocks, sedimentary structures and depositional environments. In total, 36 concepts were modeled and associated to 60 icons. The validation of the visual knowledge elicited was done through an empirical experiment where 21 geologists applied the unlabeled icon set to describe rock samples. The level of right associative answers between geological features and their icons was 70% for sedimentary facies and 66% for sedimentary structures. Moreover, it was identified a positive correlation between the expert’s experience and the number of right answers.

As estrategias de passes têm sido sempre de interesse para a pesquisa de futebol. Desde os inícios do futebol, os técnicos tem usado olheiros, gravações de vídeo, exercícios de treinamento e feeds de dados para coletar informações sobre as táticas e desempenho dos jogadores. No entanto, a natureza dinâmica das estratégias de passes são bastante complexas para refletir o que está acontecendo dentro do campo e torna difícil o entendimento do jogo. Além disso, existe uma demanda crecente pela deteção de padrões e analise de estrategias de passes popularizado pelo tiki-taka utilizado pelo FC. Barcelona. Neste trabalho, propomos uma abordagem para abstrair as sequências de pases e agrupálas baseadas na geometria da trajetória da bola. Para analizar as estratégias de passes, apresentamos um esquema de visualização interátiva para explorar a frequência de uso, a localização espacial e ocorrência temporal das sequências. A visualização Frequency Stripes fornece uma visão geral da frequencia dos grupos achados em tres regiões do campo: defesa, meio e ataque. O heatmap de trajetórias coordenado com a timeline de passes permite a exploração das formas mais recorrentes no espaço e tempo. Os resultados demostram oito trajetórias comunes da bola para sequências de três pases as quais dependem da posição dos jogadores e os ângulos de passe. Demonstramos o potencial da nossa abordagem com utilizando dados de várias partidas do Campeonato Brasileiro sob diferentes casos de estudo, e reportamos os comentários de especialistas em futebol. / Passing strategies analysis has always been of interest for soccer research. Since the beginning of soccer, managers have used scouting, video footage, training drills and data feeds to collect information about tactics and player performance. However, the dynamic nature of passing strategies is complex enough to reflect what is happening in the game and makes it hard to understand its dynamics. Furthermore, there exists a growing demand for pattern detection and passing sequence analysis popularized by FC Barcelona’s tiki-taka. We propose an approach to abstract passing strategies and group them based on the geometry of the ball trajectory. To analyse passing sequences, we introduce a interactive visualization scheme to explore the frequency of usage, spatial location and time occurrence of the sequences. The frequency stripes visualization provide, an overview of passing groups frequency on three pitch regions: defense, middle, attack. A trajectory heatmap coordinated with a passing timeline allow, for the exploration of most recurrent passing shapes in temporal and spatial domains. Results show eight common ball trajectories for three-long passing sequences which depend on players positioning and on the angle of the pass. We demonstrate the potential of our approach with data from the Brazilian league under several case studies, and report feedback from a soccer expert.