Domínios imagísticos são os domínios nos quais a resolução de problemas inicia com um processo de reconhecimento dos objetos de domínio a partir da informação visual capturada, suportando interpretações mais abstratas em eventuais etapas subsequentes. A resolução de problemas, em domínio imagísticos, demanda dos especialistas a aplicação intensiva de conhecimento visual, que corresponde ao conjunto de modelos mentais que suportam o processo de raciocínio sobre a informação associada ao arranjo espacial e outros aspectos visuais das entidades do domínio. O conhecimento visual geralmente corresponde à porção tácita do conhecimento dos praticantes do domínio, de modo que ele geralmente é utilizado de modo inconsciente, resistindo à verbalização explícita. Estas características do conhecimento visual são desafiadoras do ponto de vista de Engenharia do Conhecimento. O objetivo geral deste trabalho é delinear uma abordagem integrada para aquisição, modelagem, representação e raciocínio sobre conhecimento visual, do ponto de vista da Engenharia do Conhecimento. A interpretação visual é uma tarefa comum em domínios imagísticos, cuja resolução demanda dos especialistas um raciocínio que envolve a realização de um processo cognitivo que inicia com a percepção visual direta de características dos objetos já conhecidos no domínio, e que resulta em compreensões mais abstratas da cena observada, tais como: comportamentos dinâmicos dos objetos da cena, significado do contexto da cena, causas ou efeitos do estado de coisas capturado pela cena, etc. Desta forma, para realizar o objetivo geral, este trabalho assume como objetivo específico estudar e modelar o processo de raciocínio utilizado pelos especialistas para resolver tarefas de interpretação visual, bem como as próprias estruturas para representação de conhecimento inferencial utilizadas pelos especialistas em domínios imagísticos durante a realização deste tipo de tarefa. Os principais resultados deste trabalho são um modelo de raciocínio para resolução de tarefas de interpretação visual; um modelo de estrutura para representação de conhecimento inferencial, cognitiva e filosoficamente fundamentada, chamada pacote visual; e uma abordagem para aquisição de conhecimento visual e refinamento de ontologias. O estudo foi conduzido no domínio da Estratigrafia Sedimentar, com foco na tarefa de interpretação visual de processos deposicionais geradores de fácies sedimentares. Os modelos desenvolvidos no trabalho foram testados no domínio, alcançando resultados satisfatórios. Para isto, realizou-se também o refinamento de uma ontologia de domínio. Este processo foi realizado através da aplicação de diversas técnicas de aquisição de conhecimento em sessões com o especialista. / Imagistic domains are those in which problem-solving process begins with the recognition of domain objects trough the visual information captured, supporting more abstract interpretations in subsequent steps. The problem-solving process, in imagistic domains, is performed trough intensive application of visual knowledge, which corresponds to the set of mental models that support the process of reasoning about the information of the spatial arrangement and other visual aspects of the domain entities. The visual knowledge corresponds to a tacit kind of knowledge of practitioners in the field, so it is often used unconsciously, resisting to explicit verbalization. These characteristics of visual knowledge are challenging from the standpoint of Knowledge Engineering. The general aim of this work is to outline an integrated approach to acquisition, modeling, representation and reasoning, to handle visual knowledge, from the standpoint of Knowledge Engineering. The visual interpretation is a common task in imagistic domains, whose resolution demands a reasoning that involves a cognitive process that starts with the direct perception of visual features of objects, and results in abstract understandings of observed scene, such as dynamic behavior of objects in the scene, the meaning of the context of the scene, causes or effects of the state of affairs captured in the scene, etc. Thus, to achieve the overall goal, this work takes as a specific aim to study and model the reasoning process used by experts to solve tasks of visual interpretation, as well as the inferential knowledge structures applied by experts in imagistic domains to accomplish this type of task. The main results of this work are a model of reasoning for solving tasks of visual interpretation; a cognitive grounded model of structure for inferential knowledge representation, called visual chunk; and an approach to visual knowledge acquisition and refinement of ontologies, which explores the reasoning used by the expert as a tool to reveal the lack of important terms in the domain ontology. The study was conducted in the field of sedimentary stratigraphy, focusing on the task of visual interpretation of depositional processes responsible by the generation of sedimentary facies. The models developed in this work was tested in the domain, achieving satisfactory results. In order to apply our approach, a refinement of domain ontology was performed. This process was carried out by applying several techniques of knowledge acquisition in sessions with the expert.

O avanço tecnológico de dispositivos capazes de capturar e armazenar volumes significativos de imagens permite o armazenamento de grandes quantidades de informações visuais. Uma área de intensa pesquisa atualmente é a extração e modelagem de conhecimento visual contido nessas bases de informações. O conceito de conhecimento visual e imagem são conceitos disjuntos, mesmo que pareçam intrinsecamente conectados. Conhecimento visual é o conjunto de modelos mentais compostos por imagens de objetos reais ou imaginárias manipuladas pelo cérebro. Esses modelos mentais são aplicados em tarefas cuja solução envolve a análise de informações visuais, como por exemplo, a extração de conteúdo semântico de imagens. Domínios imagísticos são os domínios nos quais a solução de problemas começa com um processo de casamento de padrões que capturam a informação visual e que mais tarde dará suporte ao processo abstrato da interpretação. A proposta desta dissertação é a definição de primitivas alternativas para a representação de conhecimento visual através da combinação de construtos proposicionais e pictóricos. Diferentemente de outras abordagens, o conhecimento visual capturado no modelo aqui proposto não reside nas imagens, mas na mente de especialistas. A captura do conhecimento visual é realizada através de dois metaconstrutos híbridos aplicáveis ao domínio da geologia. Os metaconstrutos são compostos de uma representação proposicional e outra icônica que são utilizadas para fins de comunicação e expressão do conhecimento visual do especialista, respectivamente. O metaconstruto Pictorial Concept representa tipos visuais enquanto que o metaconstruto Pictorial Attribute representa qualidades dos tipos visuais. Os metaconstrutos aqui definidos foram aplicados ao domínio da Estratigrafia Sedimentar, uma subárea da Geologia, na construção de uma ontologia de domínio com conteúdo visual agregado. A construção da ontologia de domínio foi realizada através de um processo de aquisição de conhecimento. O conhecimento visual foi eliciado a partir de um especialista, adquirido através da imersão na literatura do domínio e organizado de acordo com metapropriedades e metaconceitos de uma ontologia de fundamentação unificada. A ontologia é aplicada ao domínio da Estratigrafia Sedimentar para rochas siliciclásticas para a descrição de testemunhos e afloramentos. A ontologia inclui uma hierarquia de rochas, estruturas sedimentares e ambientes deposicionais. Foram modelados 36 conceitos com a adição de 60 ícones. A validação do conhecimento visual organizado foi realizada através de experimento empírico onde 21 geólogos utilizaram os ícones sem legenda para descrição de amostras de rocha. O nível de acertos das associações entre feições geológicas e ícones representam 70% para fácies e 66% para estruturas sedimentares sendo identificada uma conclusão positiva entre a experiência do geólogo e o número de acertos. / The advances in technological devices allow then to capture and store significant amounts of image data. Nowadays, an intense area of research is the extraction and modeling of the existing visual knowledge in image databases. The visual knowledge and image concepts are disjointed concepts, even though they seem intrinsically connected. Visual knowledge is the set of mental models composed by images of real or imaginary objects manipulated by the brain. These mental models are applied in tasks, like the extraction of semantic content of images, where the solution requires the analysis of visual information. Imagistic domains are the domains where the problem-solving process starts with a visual pattern-matching process that captures the information, which will further support the abstract inference process of interpretation. The proposal of this master thesis is the definition of alternative primitives for the visual knowledge representation, by the combination of both propositional and pictorial constructs. Differently from other approaches, the visual knowledge captured in this model is not identifiable in images, but in the mental models of experts. The capture of the visual knowledge is reached through the use of two domainindependent hybrid meta-constructs. The meta-constructs are composed by propositional and iconic representations used for communication and to express the expert’s visual knowledge. The meta-construct Pictorial Concept represents visual kinds while the metaconstruct Pictorial Attribute represents qualities of the visual kinds. The meta-constructs defined here where applied in the Sedimentary Stratigraphy domain, a sub-area of Geology, in the construction of a domain ontology with aggregated visual content. The construction of the domain ontology was done through a knowledge acquisition process. The visual knowledge was elicited from the expert, acquired from the immersion in the literature domain and was organized according to meta-properties and meta-concepts based on a foundational ontology. The resulting ontology is applied in the Sedimentary Stratigraphy domain for the description of well cores and outcrops of siliciclastic rocks. The ontology includes hierarchies of rocks, sedimentary structures and depositional environments. In total, 36 concepts were modeled and associated to 60 icons. The validation of the visual knowledge elicited was done through an empirical experiment where 21 geologists applied the unlabeled icon set to describe rock samples. The level of right associative answers between geological features and their icons was 70% for sedimentary facies and 66% for sedimentary structures. Moreover, it was identified a positive correlation between the expert’s experience and the number of right answers.

Domínios imagísticos são os domínios nos quais a resolução de problemas inicia com um processo de reconhecimento dos objetos de domínio a partir da informação visual capturada, suportando interpretações mais abstratas em eventuais etapas subsequentes. A resolução de problemas, em domínio imagísticos, demanda dos especialistas a aplicação intensiva de conhecimento visual, que corresponde ao conjunto de modelos mentais que suportam o processo de raciocínio sobre a informação associada ao arranjo espacial e outros aspectos visuais das entidades do domínio. O conhecimento visual geralmente corresponde à porção tácita do conhecimento dos praticantes do domínio, de modo que ele geralmente é utilizado de modo inconsciente, resistindo à verbalização explícita. Estas características do conhecimento visual são desafiadoras do ponto de vista de Engenharia do Conhecimento. O objetivo geral deste trabalho é delinear uma abordagem integrada para aquisição, modelagem, representação e raciocínio sobre conhecimento visual, do ponto de vista da Engenharia do Conhecimento. A interpretação visual é uma tarefa comum em domínios imagísticos, cuja resolução demanda dos especialistas um raciocínio que envolve a realização de um processo cognitivo que inicia com a percepção visual direta de características dos objetos já conhecidos no domínio, e que resulta em compreensões mais abstratas da cena observada, tais como: comportamentos dinâmicos dos objetos da cena, significado do contexto da cena, causas ou efeitos do estado de coisas capturado pela cena, etc. Desta forma, para realizar o objetivo geral, este trabalho assume como objetivo específico estudar e modelar o processo de raciocínio utilizado pelos especialistas para resolver tarefas de interpretação visual, bem como as próprias estruturas para representação de conhecimento inferencial utilizadas pelos especialistas em domínios imagísticos durante a realização deste tipo de tarefa. Os principais resultados deste trabalho são um modelo de raciocínio para resolução de tarefas de interpretação visual; um modelo de estrutura para representação de conhecimento inferencial, cognitiva e filosoficamente fundamentada, chamada pacote visual; e uma abordagem para aquisição de conhecimento visual e refinamento de ontologias. O estudo foi conduzido no domínio da Estratigrafia Sedimentar, com foco na tarefa de interpretação visual de processos deposicionais geradores de fácies sedimentares. Os modelos desenvolvidos no trabalho foram testados no domínio, alcançando resultados satisfatórios. Para isto, realizou-se também o refinamento de uma ontologia de domínio. Este processo foi realizado através da aplicação de diversas técnicas de aquisição de conhecimento em sessões com o especialista. / Imagistic domains are those in which problem-solving process begins with the recognition of domain objects trough the visual information captured, supporting more abstract interpretations in subsequent steps. The problem-solving process, in imagistic domains, is performed trough intensive application of visual knowledge, which corresponds to the set of mental models that support the process of reasoning about the information of the spatial arrangement and other visual aspects of the domain entities. The visual knowledge corresponds to a tacit kind of knowledge of practitioners in the field, so it is often used unconsciously, resisting to explicit verbalization. These characteristics of visual knowledge are challenging from the standpoint of Knowledge Engineering. The general aim of this work is to outline an integrated approach to acquisition, modeling, representation and reasoning, to handle visual knowledge, from the standpoint of Knowledge Engineering. The visual interpretation is a common task in imagistic domains, whose resolution demands a reasoning that involves a cognitive process that starts with the direct perception of visual features of objects, and results in abstract understandings of observed scene, such as dynamic behavior of objects in the scene, the meaning of the context of the scene, causes or effects of the state of affairs captured in the scene, etc. Thus, to achieve the overall goal, this work takes as a specific aim to study and model the reasoning process used by experts to solve tasks of visual interpretation, as well as the inferential knowledge structures applied by experts in imagistic domains to accomplish this type of task. The main results of this work are a model of reasoning for solving tasks of visual interpretation; a cognitive grounded model of structure for inferential knowledge representation, called visual chunk; and an approach to visual knowledge acquisition and refinement of ontologies, which explores the reasoning used by the expert as a tool to reveal the lack of important terms in the domain ontology. The study was conducted in the field of sedimentary stratigraphy, focusing on the task of visual interpretation of depositional processes responsible by the generation of sedimentary facies. The models developed in this work was tested in the domain, achieving satisfactory results. In order to apply our approach, a refinement of domain ontology was performed. This process was carried out by applying several techniques of knowledge acquisition in sessions with the expert.

Em domínios com forte conteúdo visual, a interpretação de imagens por raciocínio visual pode ser mais eficaz na solução de problemas do que a interpretação de dados puramente textuais ou numéricos. No entanto, a representação do conhecimento visual é difícil de ser realizada por tratar-se de um conhecimento implícito para o observador. As ontologias de representação possibilitam a criação de estruturas para auxiliar na captura desse tipo de conhecimento, de forma a atribuir uma representação simbólica e significado semântico ao que está sendo visualizado. A formalização do conhecimento visual permite a sua utilização em processos de inferência, resultando na interpretação automática da imagem. O objetivo deste trabalho é a definição de construtos ontológicos que permitam descrever aspectos visuais presentes em uma imagem, com ênfase na atenção visual mais do que nos aspectos físicos dos objetos. Esses aspectos visuais são associados aos objetos físicos da imagem bem como aos objetos descritos no nível do conhecimento de domínio. Para cada um dos níveis foi definida uma ontologia de representação, sendo assim possível atribuir semântica específica a esses objetos através da descrição de seus atributos e manter a independência do conhecimento relativo a cada nível. O nível da imagem descreve os objetos passíveis de serem extraídos por algoritmos de processamento de imagem (embora esses algoritmos não tenham sido foco de estudo neste trabalho). O nível visual descreve objetos que são foco da atenção visual, tais como seções, interstícios e contornos. O nível semântico descreve os objetos da aplicação capturados através de aquisição de conhecimento. A identidade dos objetos modelados é garantida através de relações de mapeamento entre cada dois níveis adjacentes. O domínio de aplicação deste trabalho foi a Petrografia Sedimentar, com o objetivo de extrair por inferência a qualidade em termos de porosidade e permeabilidade de rochas reservatório de petróleo. Com ajuda do especialista, foi modelado um método de solução de problemas para identificação do grau de compactação da rocha, que raciocina sobre os conhecimentos modelados utilizando a ontologia proposta. Foi implementado um sistema que permite a descrição dos objetos individualizados através da segmentação manual da imagem, mapeando os dados descritos para a ontologia e aplicando sobre ela o método de solução de problemas. Esse sistema gera como resultado o grau de compactação da rocha, cuja imagem foi assim descrita. Uma validação preliminar da abordagem foi realizada através da descrição de imagens de rochas fazendo uso do sistema desenvolvido, confrontando os resultados com os obtidos por um geólogo para as mesmas rochas observadas. Na metade das amostras descritas, o sistema atingiu o mesmo resultado do especialista e, na outra metade, obteve grande aproximação dos resultados. / In domains that have strong visual content, the image interpretation applying visual reasoning can be more effective in solving problems than the interpretation of pure textual or numeric data. However, the representation of visual knowledge is hard to be achieved since, most of time, we are dealing with implicit knowledge for the observer. The representation ontologies allow the creation of structures for assisting the capture of this kind of knowledge, in order to associate a symbolic representation and semantic meaning to what it being visualize. The formalization of the visual knowledge allows its application for inference process, resulting in the automatic interpretation of image. The goal of this work is the definition of ontological constructs that allow describing the visual aspects presented in an image, giving more emphasis in the evidences captured by visual attention than in the physical aspects of the objects. These aspects are associated to the physical objects as well as to the objects described in the domain knowledge level. Separate representation ontologies were defined for each level, making possible to associate specific semantic content to the objects through the description of the attributes and to keep the independence of the knowledge related to each level. The image level describes the objects that are possible of being extracted by image processing algorithms (although these algorithms were not studied in this work). The visual knowledge describes the objects that capture the visual attention, such as sections, interstices and borders. The semantic level describes the application objects elicited by knowledge acquisition methods. The identity of the modeled objects is guaranteed through the mapping relation defined between each two adjacent levels. The application domain of this work is the Sedimentary Petrography, with the goal of extracting by inference methods the porosity and permeability quality of petroleum reservoir-rocks. With the aid of the expert, a problem-solving method that reasons over the knowledge formalized through the proposed ontology was modeled for the identification of the compaction level of the rock. Furthermore, it was implemented a system that supports the description of the objects individualized through a manual segmentation of the image. The described data was mapped to the ontology and the problem-solving method was applied to define the level of compaction. A preliminary validation was developed comparing the results achieved by the system with the manual interpretation done by the expert with the same rock samples. With the half of the described samples the system achieved the same results of the expert and has got strong approximation in the other half.

Nos domínios visuais, interpretações são iniciadas pela identificação de feições em imagens que irão, posteriormente, dar suporte aos processos mais abstratos de inferência. Para desenvolver sistemas de conhecimento neste tipo de domínio é necessário buscar a melhor representação do conhecimento visual para ser utilizado pelos métodos de inferência. A representação em formato simbólico deste conhecimento auxilia na captura do conhecimento implícito presente em imagens, permitindo seu uso nos processos de raciocínio, mesmo aceitando que parte desse conhecimento não é externalizado e, em conseqüência, não poderá ser representado adequadamente. Estudos recentes têm utilizado anotação de imagens como uma maneira capaz de auxiliar na explicitação do conhecimento, ampliando a expressividade dos formalismos de representação e permitindo o registro das informações associadas às imagens. Embora anotações de imagens flexibilizem a captura do conhecimento, ontologias são associadas às anotações para garantir a formalização do conhecimento nas imagens, suprindo os termos de domínio que podem ser usados para anotar e auxiliar a uniformização da linguagem nas consultas. O objetivo desse trabalho é capturar e documentar o conhecimento visual que dá suporte à inferência nas tarefas de interpretações. Nesse trabalho é elaborada uma maneira de identificar objetos em imagens que contenham feições diagnósticas através da utilização de uma ontologia de domínio pré-existente. Essa identificação de objetos é explorada para permitir a localização física de uma determinada feição em um objeto real. O resultado disso é a identificação de feições em uma imagem tendo-se um referencial de posição segundo um sistema de coordenadas espacial, possibilitando o seu re-posicionamento. O trabalho ainda explora recursos para a melhor utilização de informações relacionadas a uma imagem. Dessa forma, serve de documentação auxiliar para prover diferencial em interpretações. O domínio de aplicação deste trabalho é a Petrografia Sedimentar que tem como uma das tarefas a descrição quantitativa e qualitativa dos minerais que compõem uma amostra de rocha, visando a análise do potencial de um reservatório de petróleo. As informações são visualizadas em uma amostra de rocha e, assim, um especialista toma decisões quanto à viabilidade de exploração do reservatório. Esse modelo foi validado através da implementação de um módulo de anotação de imagem e de referenciamento de objetos, juntamente com um hardware. O processo de descrição de amostra de rocha é detalhado para se explorar o conhecimento em imagens com a precisão da localização dos objetos nela identificados. Essa abordagem complementa os modelos de representação simbólica, que normalmente são insuficientes para capturar a semântica das feições que dão suporte a inferência em domínios visuais. / Problem solvers in visual domains apply image interpretation to extract evidences to support the reasoning process in the search of solution. In order to develop knowledge systems in this kind of domain, it is necessary to represent the knowledge that is extracted from the scenes in the domain in such way that can be used by the inference methods. The symbolic representation formalisms help in shading light on the implicit knowledge embodied in images, allowing its use in reasoning processes, even accepting that part of this knowledge can not be properly expressed by the experts and, in consequence, it is never going to be adequately represented in knowledge models. Some studies use image annotation to extend the semantic capture of the visual knowledge beyond the expressiveness of representation formalisms, allowing that additional content could be described and stored with the images. Although the annotation is a more flexible way of capturing knowledge, ontologies are used along with it to guarantee the formalization of the knowledge annotated in the images, supplying the domain terms that can be used in the annotation process and helping the uniformization of the language and further consultation. The goal of this work is capturing and documenting the visual knowledge that supports inference on interpretation tasks. The work offer a way of identifying objects in images that correspond to diagnostic features and describing them with the support of a pre-existent domain ontology. The object identification is associated to the physical location of the feature in the real object, with the help of a hardware appliance. The result is the feature identification in the image with the reference of its position in a system of spatial coordinates. The work also explores multimedia resources for the best use of information associated to the image, providing an extra-support for knowledge documentation for interpretation tasks. The application domain of this work is the sedimentary petrography, the formal description of rocks in the scope of Petrological studies. The task in focus is the compositional description of minerals in a rock sample, both in qualitative and quantitative way, in order to evaluate the potential of a petroleum reservoir. Several aspects of the rock are studied by the geologist to suggest better techniques for exploration and production of oil fields. The approach defined in this project was validated through the implementation of an image annotation and referencing modules associated to microscope stage appliance that allows the computer to control the movement of the stage during the description process. The whole process of rock sample analysis using the software and the hardware is detailed in order to expose the visual knowledge and its physical position in the rock sample. This approach complements the symbolic representation models that are usually insufficient to capture the semantic of diagnostic features that support reasoning in visual domains.

Interpretação semântica de imagens tem se mostrado uma das fronteiras mais promissoras da área de Visão Computacional, especificamente aplicada a interpretação imagens. Nas abordagens que estão sendo propostas atualmente, conhecimento visual explicitamente modelado é utilizado com algoritmos de raciocínio simbólico combinados a algoritmos de processamento de imagem a fim de se extrair o conteúdo de imagens e associá-lo a modelos semanticamente ricos. Este trabalho apresenta uma abordagem de interpretação semântica de imagens especificamente voltada para interpretação de gráficos de linhas, chamada S-Chart. Ela consiste um conjunto de modelos de conhecimento e algoritmos que podem ser instanciados para interpretação de gráficos em diversos domínios. Os modelos são representados em três níveis semânticos e aplicam o conceito de ancoramento simbólico (symbol grounding) para mapear as primitivas entre os níveis. Os algoritmos de interpretação propostos fazem a interação entre o raciocínio simbólico de alto nível e os algoritmos de processamento de sinal para os dados brutos dos gráficos analisados. Para demonstrar a aplicabilidade do framework S-Chart, foi desenvolvido o sistema InteliStrata, uma aplicação no domínio da Geologia, voltada para interpretação semântica de gráficos de perfis de poço. Utilizando a aplicação, foram interpretados dois perfis de raios gama capturados em poços de exploração, de modo que o sistema identificasse a presença de Sequências Estratigráficas e superfícies de inundação máximas. Os resultados foram comparados com a interpretação de um geólogo especialista sobre os mesmos dados. O sistema aponta as mesmas sequências já identificadas e oferece outras opções de interpretação compatíveis com as do geólogo utilizando os mesmos dados. O framework S-Chart tem seus pontos fortes nos seus modelos representação de conhecimento visual independentes de domínio, que permitem a utilização do mesmo arcabouço em diferentes aplicações e, em especial, no seu modelo de ancoramento simbólico entre primitivas de representação. / Semantic image interpretation is one of the most promising frontiers in the Computer Vision area, specifically when applied to Image Interpretation. To reach semantic interpretation, visual knowledge explicitly represented is applied by symbolic reasoning algorithms combined with image processing algorithms in order to extract the content of the images and associate it with semantically rich models. This work describes the S-Chart approach, a semantic image interpretation approach designed for interpretation of line charts. It is structured as a set of knowledge models and algorithms that can be instantiated to accomplish chart interpretation in other domains. The models are represented in three semantic levels and apply the concept of symbol grounding in order to map the primitives between the levels. The interpretation algorithms carry out the interaction between the symbolic reasoning in the high level, and the signal processing algorithms in the low level data. In order to demonstrate the applicability of the S-Chart framework, we developed the InteliStrata system, an application in Geology for the semantic interpretation of well log profiles. Using the application, we have interpreted the graphs of two gamma-ray profiles captured in exploration wells, to indicate the position of Stratigraphic Sequences and the maximum flooding surfaces. The results were compared with the interpretation of an experienced geologist using the same data input. The system was able to point the same identified sequences and offered alternative interpretation that were compatible with the geologist interpretation over the data. The S-Chart framework demonstrates its effectiveness on interpretation of pictorial information in knowledge intensive domains. The stronger points of the approach are its domain independent models for visual knowledge representation and, specially, the application of a symbol grounding model to provide a correlation between representation primitives.

Dynamic query expansion is a method of automatically identifying terms relevant to a target domain based on an incomplete query input. With the explosive growth of online media, such tools are essential for efficient search result refining to track emerging themes in noisy, unstructured text streams. It's crucial for large-scale predictive analytics and decision-making, systems which use open source indicators to find meaningful information rapidly and accurately. The problems of information overload and semantic mismatch are systemic during the Information Retrieval (IR) tasks undertaken by such systems. In this dissertation, we develop approaches to dynamic query expansion algorithms that can help improve the efficacy of such systems using only a small set of seed queries and requires no training or labeled samples. We primarily investigate four significant problems related to the retrieval and assessment of event-related information, viz. (1) How can we adapt the query expansion process to support rank-based analysis when tracking a fixed set of entities? A scalable framework is essential to allow relative assessment of emerging themes such as airport threats. (2) What visual knowledge discovery framework to adopt that can incorporate users' feedback back into the search result refinement process? A crucial step to efficiently integrate real-time `situational awareness' when monitoring specific themes using open source indicators. (3) How can we contextualize query expansions? We focus on capturing semantic relatedness between a query and reference text so that it can quickly adapt to different target domains. (4) How can we synchronously perform knowledge discovery and characterization (unstructured to structured) during the retrieval process? We mainly aim to model high-order, relational aspects of event-related information from microblog texts. / Ph. D. / Analysis of real-time, social media can provide critical insights into ongoing societal events. Where consequences and implications of specific events include monetary losses, threats to critical infrastructure and national security, disruptions to daily life, and a potential to cause loss of life and physical property. It is imperative for developing good ‘ground truth’ to develop adequate data-driven information systems, i.e., an authoritative record of events reported in the media cataloged alongside important dimensions. Availability of high-quality ground truth events can support various analytic efforts, e.g., identifying precursors of attacks, developing predictive indicators using surrogate data sources, and tracking the progression of events over space and time. A dynamic search result refinement is useful for expanding a general set of user queries into a more relevant collection. The challenges of information overload and misalignment of context between the user query and retrieved results can overwhelm both human and machine. In this dissertation, we focus our efforts on these specific challenges. With the ever-increasing volume of user-generated data large-scale analysis is a tedious task. Our first focus is to develop a scalable model that dynamically tracks and ranks evolving topics as they appear in social media. Then to simplify the cognitive tasks involving sense-making of evolving themes, we take a visual approach to retrieve situationally critical and emergent information effectively. This visual analytics approach learns from user’s interactions during the exploratory process and then generates a better representation of the data. Thus, improving the situational understanding and usability of underlying data models. Such features are crucial for big-data based decision & support systems. To make the event-focused retrieval process more robust, we developed a context-rich procedure that adds new relevant key terms to the user’s original query by utilizing the linguistic structures in text. This context-awareness allows the algorithm to retrieve those relevant characteristics that can help users to gain adequate information from social media about real-world events. Online social commentary about events is very informal and can be incomplete. However, to get the complete picture and adequately describe these events we develop an approach that models the underlying relatedness of information and iteratively extract meaning and denotations from event-related texts. We learn how to express the high-order relationships between events and entities and group them to identify those attributes that best explain the events the user is trying to uncover. In all the augmentations we develop, our strategy is to allow only very minimal human supervision using just a small set of seed event triggers and requires no training or labeled samples. We show a comprehensive evaluation of these augmentations on real-world domains - threats on airports, cyber attacks, and protests. We also demonstrate their applicability as for real-time analysis that provides vital event characteristics, and contextually consistent information can be a beneficial aid for emergency responders.

The construction industry's environment is continually changing. Employees are now more geographically widespread and diverse, both culturally and educationally, than ever before. A great deal of research has been carried out on knowledge acquisition and storage, but there is still a distinct lack of research into knowledge presentation and communication. Information and knowledge presentation play a significant role in daily decision-making processes, when inappropriate decisions may result from inaccurate or poorly communicated information. The simplified, filtered coherent presentation of explicit knowledge can be instrumental to a successful, profitable and safety conscious business. Wates Construction is a major construction company and employs around 1300 people directly, as well as various subcontractors on different projects. Their current turn over is around £1billion, they are based in the UK and have branches in Ireland and Abu Dhabi. Wates realised their existing information system was inefficiently conveying information to its employees and the need to provide a simplified system, to assist staff's decision-making processes. Earlier IT professionals' attempts to make the system more usable had made no significant difference to its performance.

A proposta artística Objetos Tecnopoéticos: Transmutações de Imagens do Repulsivo aborda a experimentação poética entre a pintura digital, a videoarte, o computador e interfaces de controle. Nesta tese, as tecnopoéticas usam os princípios como a representação numérica, modularidade, automação, variabilidade e transcodificação. A tecnologia é investigada como ferramenta para a criação dos objetos tecnopoéticos. No que tange ao tratamento das imagens, essas operações ocorrem com técnicas de pós-produção, bem como pela aplicação de scripts. Com esses procedimentos, as imagens são pintadas quadro a quadro convertendo-se em “pintura animada”. A iconografia do inseto foi re-apropriada de minha produção artística anterior. Todas as animações foram construídas a partir de pinturas de insetos digitalizadas, vídeos e fotografias de vísceras humanas, retiradas de exames anatomopatológicos. Tanto as animações quanto os vídeos foram tratados com técnicas do croma-key, bem como pelo uso de erros produzidos propositadamente no sinal de vídeo através de métodos recursivos e programáveis como maquilagens digitais e efeitos que criam a ilusão de materialidade na imagem. O resultado da mixagem entre a iconografia e tratamento aplicado às animações e vídeos busca evocar um efeito repulsivo no espectador. A análise abjeta do processo criativo afirma que o mesmo origina-se na paixão e repulsa primordial pela imagem. Sua manifestação estética na produção artística contemporânea decorre de uma afirmação dos aspectos estético-sensoriais e representacionais da arte em negação à arte vista apenas como abstração filosófica. Nesta pesquisa artística o repulsivo se manifesta tanto na escolha de imagens quanto nas operações poéticas. O “tecnorrepulsivo” é a operação artística que busca evitar as soluções prontas dos softwares comerciais. O objeto tecnopoético surge de alguns cruzamentos: primeiro pela característica modular das linguagens de programação e dos produtos dos novos meios focados na noção objeto; segundo porque reativa o conceito de experimento e laboratório reivindicado pela arte de vanguarda que via no objeto a marca diferencial entre o atelier e a fábrica. E, finalmente, o “modo de existência dos objetos técnicos” que pretende enfatizar as singularidades dos dispositivos tecnológicos, apropriando-se disso no contexto artístico. Numa breve abordagem da estética e da filosofia da tecnologia, busca-se reaproximar arte e técnica. Os novos meios, particularmente suas interfaces gráficas de visualização, são produtos históricos de experimentações visuais. Contudo, a computação visual, ao apropriar-se das técnicas de construção da imagem, não enfatiza a continuidade da experimentação artística para a evolução da tecnologia. O ponto de cruzamento é a neuroestética (experiência estética com base biológica), que, através da investigação sobre o “conhecimento visual”, redescobre a experimentação artística como fator crucial para o desenvolvimento da ciência e da tecnologia – a arte é uma expressão da maquinaria cerebral. / The artistic proposal ‘Technopoetic Objects: Transmutations of Images of the Repulsive’ discusses poetic experimentation using digital painting, video art, computer and control interfaces. In this thesis, Technopoetics use principles such as numerical representation, modularity, automation, variability and transcoding. Technology is explored as a tool for the creation of technopoetic objects. Regarding the processing of images, these operations occur as part of post-production techniques and also through the use of scripts. Through the use of these procedures, images are painted frame by frame resulting in their conversion into ‘animated painting’. The iconography of the insect has been reappropriated from my earlier artistic work. All animations were built from digitized pictures of insects, as well as videos and photographs of human viscera taken from anatomopathological examinations. Chroma-key techniques were used in both animations and videos, as well as intentionally produced errors in the video signal through recursive and programmable methods, such as digital makeup and digital effects which grant the picture an illusion of materiality. The result of mixing iconography and digital effects used to produce animations and videos intends to instigate a repulsive reaction on the viewer. The abject analysis of the creative process affirms that it originates from passion and primordial repulsion for the image. Its aesthetic manifestation in contemporary art originates from an affirmation of the representational and sensory-aesthetic aspects of art as a denial of art seen merely as philosophical abstraction. In this artistic research the idea of repulsive is used both in the choice of images and in the poetic operations. Technorepulsive is an artistic operation which endeavours to avoid readymade solutions offered by commercial softwares. The technopoetic object appears as a result of combinations: firstly, by the modular characteristics inherent to the languages used in their programming and by the product of the new media which focus on the object concept; secondly, because it reintroduces the concept of experiment and laboratory practice reclaimed by avantgarde art and which saw in the object a differential mark between the workshop and the factory. And finally, the ‘mode of existence of technical objects’ which aims at emphasizing the singularities of technological devices, appropriating this idea in an artistic context. In a brief discussion of aesthetics and philosophy of technology, I seek to reconnect art and technique. The new media, especially their graphic interfaces for viewing, are historical products of visual experiments. Nevertheless, by appropriating image construction the techniques, visual computing does not emphasize the continuity of artistic experimentation in relation to the evolution of technology. Neuro-aesthetics (the biological basis of aesthetic experience) seems to be the intersecting point in this case. As such, through research on the ‘visual knowledge’ neuro-aesthetics rediscovers artistic experimentation as a crucial element for the development of science and technology - art is an expression of cerebral machine.

A proposta artística Objetos Tecnopoéticos: Transmutações de Imagens do Repulsivo aborda a experimentação poética entre a pintura digital, a videoarte, o computador e interfaces de controle. Nesta tese, as tecnopoéticas usam os princípios como a representação numérica, modularidade, automação, variabilidade e transcodificação. A tecnologia é investigada como ferramenta para a criação dos objetos tecnopoéticos. No que tange ao tratamento das imagens, essas operações ocorrem com técnicas de pós-produção, bem como pela aplicação de scripts. Com esses procedimentos, as imagens são pintadas quadro a quadro convertendo-se em “pintura animada”. A iconografia do inseto foi re-apropriada de minha produção artística anterior. Todas as animações foram construídas a partir de pinturas de insetos digitalizadas, vídeos e fotografias de vísceras humanas, retiradas de exames anatomopatológicos. Tanto as animações quanto os vídeos foram tratados com técnicas do croma-key, bem como pelo uso de erros produzidos propositadamente no sinal de vídeo através de métodos recursivos e programáveis como maquilagens digitais e efeitos que criam a ilusão de materialidade na imagem. O resultado da mixagem entre a iconografia e tratamento aplicado às animações e vídeos busca evocar um efeito repulsivo no espectador. A análise abjeta do processo criativo afirma que o mesmo origina-se na paixão e repulsa primordial pela imagem. Sua manifestação estética na produção artística contemporânea decorre de uma afirmação dos aspectos estético-sensoriais e representacionais da arte em negação à arte vista apenas como abstração filosófica. Nesta pesquisa artística o repulsivo se manifesta tanto na escolha de imagens quanto nas operações poéticas. O “tecnorrepulsivo” é a operação artística que busca evitar as soluções prontas dos softwares comerciais. O objeto tecnopoético surge de alguns cruzamentos: primeiro pela característica modular das linguagens de programação e dos produtos dos novos meios focados na noção objeto; segundo porque reativa o conceito de experimento e laboratório reivindicado pela arte de vanguarda que via no objeto a marca diferencial entre o atelier e a fábrica. E, finalmente, o “modo de existência dos objetos técnicos” que pretende enfatizar as singularidades dos dispositivos tecnológicos, apropriando-se disso no contexto artístico. Numa breve abordagem da estética e da filosofia da tecnologia, busca-se reaproximar arte e técnica. Os novos meios, particularmente suas interfaces gráficas de visualização, são produtos históricos de experimentações visuais. Contudo, a computação visual, ao apropriar-se das técnicas de construção da imagem, não enfatiza a continuidade da experimentação artística para a evolução da tecnologia. O ponto de cruzamento é a neuroestética (experiência estética com base biológica), que, através da investigação sobre o “conhecimento visual”, redescobre a experimentação artística como fator crucial para o desenvolvimento da ciência e da tecnologia – a arte é uma expressão da maquinaria cerebral. / The artistic proposal ‘Technopoetic Objects: Transmutations of Images of the Repulsive’ discusses poetic experimentation using digital painting, video art, computer and control interfaces. In this thesis, Technopoetics use principles such as numerical representation, modularity, automation, variability and transcoding. Technology is explored as a tool for the creation of technopoetic objects. Regarding the processing of images, these operations occur as part of post-production techniques and also through the use of scripts. Through the use of these procedures, images are painted frame by frame resulting in their conversion into ‘animated painting’. The iconography of the insect has been reappropriated from my earlier artistic work. All animations were built from digitized pictures of insects, as well as videos and photographs of human viscera taken from anatomopathological examinations. Chroma-key techniques were used in both animations and videos, as well as intentionally produced errors in the video signal through recursive and programmable methods, such as digital makeup and digital effects which grant the picture an illusion of materiality. The result of mixing iconography and digital effects used to produce animations and videos intends to instigate a repulsive reaction on the viewer. The abject analysis of the creative process affirms that it originates from passion and primordial repulsion for the image. Its aesthetic manifestation in contemporary art originates from an affirmation of the representational and sensory-aesthetic aspects of art as a denial of art seen merely as philosophical abstraction. In this artistic research the idea of repulsive is used both in the choice of images and in the poetic operations. Technorepulsive is an artistic operation which endeavours to avoid readymade solutions offered by commercial softwares. The technopoetic object appears as a result of combinations: firstly, by the modular characteristics inherent to the languages used in their programming and by the product of the new media which focus on the object concept; secondly, because it reintroduces the concept of experiment and laboratory practice reclaimed by avantgarde art and which saw in the object a differential mark between the workshop and the factory. And finally, the ‘mode of existence of technical objects’ which aims at emphasizing the singularities of technological devices, appropriating this idea in an artistic context. In a brief discussion of aesthetics and philosophy of technology, I seek to reconnect art and technique. The new media, especially their graphic interfaces for viewing, are historical products of visual experiments. Nevertheless, by appropriating image construction the techniques, visual computing does not emphasize the continuity of artistic experimentation in relation to the evolution of technology. Neuro-aesthetics (the biological basis of aesthetic experience) seems to be the intersecting point in this case. As such, through research on the ‘visual knowledge’ neuro-aesthetics rediscovers artistic experimentation as a crucial element for the development of science and technology - art is an expression of cerebral machine.