Approved for public release, distribution is unlimited / The U.S. Army uses a Unit Readiness Index to track the combat readiness of systems. The Unit Readiness Index relies on the accuracy of automated and manual testing of the hardware and related software of the Line Replaceable Units (LRUs) that comprise the system. These tests are based on a GO/NOGO scenario. When an LRU fails, vehicle commanders, and commanders up the chain of command, can override the failure and continue with a mission. Overriding the NOGO recommendations produces a false combat readiness status for the unit, and creates a number of problems related to unit combat decisions as well as logistical support. This thesis introduces a new process for more effectively tracking combat readiness. It outlines some of the problems associated with the current GO/NOGO scenario and examines the current tests, artifacts and data available from the current process. It proposes an additional Report process and shows how this new process will eliminate the readiness tracking problems associated with the GO/NOGO scenario. It also presents the design of a Vehicle Database and Master Fault Database to support the proposed process, and presents several sample reports generated from this Master Fault Database. / Civilian, United States Army RDECOM - TARDEC

Teste de software é uma atividade do processo de desenvolvimento de software que busca revelar os defeitos presentes no software. Apesar dos constantes avanços e surgimento de diferentes modelos pedagógicos, este assunto continua sendo ensinado com o modelo tradicional de ensino. A comunidade de educação em computação vem investigando a aplicação de diferentes modelos pedagógicos e, nessa perspectiva, emerge o modelo pedagógico flipped classroom como uma interessante solução. Estudos mencionam sobre a necessidade de investigá-lo, buscando reconhecer seu potencial no ensino de um determinado conteúdo. Além disso, implementar o modelo exige uma intensificação de esforços para o professor, pois ele precisará planejar atividades e mecanismos de apoio ao ensino para cada um dos momentos previstos pelo modelo. Trabalhos relatam que os alunos durante o momento de estudo antes da aula podem ter dificuldade em entender aspectos teóricos sobre o conteúdo, pois esse pode ter conceitos que podem gerar dupla interpretação. Este trabalho de mestrado tem o propósito de contribuir com o ensino de teste de software, investigando o impacto do modelo flipped classroom no ensino de teste de software. O projeto também propõe uma abordagem de apoio ao planejamento e implantação desse modelo e analisa o uso de um agente conversacional como mecanismo de apoio ao flipped classroom. Estudos experimentais foram realizados visando entender o impacto do modelo no processo de aprendizado de teste de software. Na sequência, foram analisados conteúdos de teste de software ensinados em cursos de computação no Brasil, definidos objetivos de aprendizagem para esses conteúdos, selecionados mecanismos de apoio e atividades para contemplar os três momentos previstos pelo modelo e implementado um mecanismo para apoiar a implantação do modelo flipped classroom no ensino de teste. Por fim, um agente conversacional foi proposto e investigado no contexto de uma aula de teste de software em que o modelo flipped classroom foi utilizado. Os resultados deste trabalho indicam que o modelo flipped classroom permite que os alunos tenham melhores resultados no aprendizado, especialmente quando há realização de atividades práticas. Os alunos revelaram que preferem este modelo em detrimento ao tradicional. No entanto, o modelo produz uma carga de trabalho maior para o aluno. Por fim, o uso do agente conversacional como um mecanismo de apoio durante o momento antes da aula indica sua relevância para o flipped classroom. / Software testing is an activity of the development process that aims to reveal the faults present in the software. Despite of constant progress and emergence of different pedagogical models, this subject is still taught with strategies based mainly on the traditional model. Although software testing is considered a relevant subject, some students are not very motivated to learn it. The computer education community has investigated the use of different teaching models and, from this perspective, the Flipped Classroom pedagogical model has emerged as an interesting solution. Several studies mention that is required to investigate this model in order to identify its potential in teaching a specific subject and/or teaching area. In addition, the implementation of this model demands an intensification of efforts from the teacher because he/she needs to plan activities and support mechanisms for all phases of this model: before the class, during the class, and after the class. Results from the literature indicate that students may present difficulties in understand the theory during the phase before the classbecause studying alone can lead to many doubts and misunderstandings. Therefore, this masters thesis investigates the impact of the Flipped Classroom model on teaching of testing techniques and criteria. Experimental studies were initially undertaken aiming to understand the models impact in the learning process of software testing. Following, we analyzed what subjects of software testing are taught in Computer courses in Brazil. Based on the results, we defined learning objectives for these subjects, selected support mechanisms and activities to contemplate the three phases of the Flipped Classroom model. An approach, named FlipClass-STT, to support the implementation of this model was defined and experimentally evaluated. Finally, the conversational agent TOB-STT was proposed and evaluated in context of a software testing class, in which the Flipped Classroom model was employed. The results of this work indicate that Flipped Classroom allows the students to have better learning outcomes, especially when performing practical activities. The students have revealed that they prefer this model against the traditional one. However, it is also observed that model produces a greater workload for the student. The use of TOB-STT how a support mechanism during the phase before the class indicate its relevance and impact for learning software testing.

WEb Services constituem uma tecnologia emergente utilizada para disponibilização de serviços na Web. Devido aos complexos processos de negócio existentes, esses serviços são combinados para que operem seguindo um fluxo de trabalho. Esse processo é chamado de composição de Web Services. Como no processo de desenvolvimento de um software tradicional, a atividade de teste é fundamental no processo de desenvolvimento da composição de Web Services. Neste trabalho é proposta uma estratégia de teste para a composição de Web Services, em que especificações de composições são transformadas para um modelo de teste de programas paralelos baseados em passagem de mensagens. É proposto o conceito de grupos de elementos requeridos para melhorar a cobertura dos critérios. Uma ferramenta de apoio à estratégia de teste foi desenvolvida. Alguns estudos experimentais para avaliar a aplicabilidade da estratégia proposta também são apresentados. Além disso, é proposto um método que utiliza redes de Petri para eliminar sincronizações não-executáveis no envio e recebimento de mensagens / WEb Services constitute an emerging technology for deploying services in the Web. Due to the complex business processes, these services are combined to operate, following a workflow. This process is named Web Services Composition. As in the development process of a traditional software, the testing activity is fundamental in the development process of Web Services Composition. This work proposes a test strategy for Web Services Composition, in that composition specifications are transformed into a test model of message-passing parallel programs. The concept of required elements groups is proposed to improve the criteria coverage. A tool that supports the test strategy was developed. Some experimental studies for evaluating the applicability of proposed strategy are also presented. Furthermore, it presents a method that uses Petri Nets to eliminate non-executable synchronizations in the sending and receiving of messages

Várias pesquisas têm sido conduzidas no contexto de ensino e treinamento, sendo o desenvolvimento de módulos educacionais uma das atividades relevantes investigada. Neste trabalho são discutidos e estabelecidos mecanismos de apoio à atividade de modelagem de conteúdos e ao processo de desenvolvimento de tais módulos. Requisitos e perspectivas para a modelagem conceitual, instrucional e didática são identificadas. Uma abordagem integrada (AIM-CID) envolvendo diferentes aspectos associados à modelagem de conteúdos também é proposta. No nível conceitual, mapas conceituais estendidos são utilizados. No nível instrucional, é estabelecido o modelo HMBS/Instrucional. No nível didático, propõe-se o modelo HMBS/Didático. Quanto ao processo de desenvolvimento, atividades e tarefas sistemáticas são estabelecidas no contexto de um processo padrão para a elaboração de módulos educacionais. Investigam-se ainda aspectos associados às atividades de especialização e instanciação do processo padrão definido. Um modelo de maturidade de processos - CMM/Educacional - é proposto. Além disso, uma instância do processo padrão definido é aplicada no desenvolvimento de um módulo educacional no domínio de Teste de Software / Many research have been conducted regarding to education and learning. In this context, one of the relevant activities is the development of educational modules. In this work, we have discussed and investigated mechanisms to support the content modelling activity and the development process of such modules. Requirements and perspectives for conceptual, instructional and didactic modelling are identified. An integrated approach (IMA-CID) dealing with different perspectives related to the modelling content activity is also proposed. In the conceptual level, extended conceptual maps are applied. In the instructional level, the HMBS/Instructional model is established. In the didactic level, the HMBS/Didactic model is proposed. Regarding to the development process, systematic activities and tasks are established in the context of a standard process for the development of educational modules. Specialization and instantiation activities are also investigated. A maturity model - CMM/Educational - is proposed. Also, an instance of the defined standard process is applied on the development of an educational module for Software Testing knowledge domain

O desenvolvimento de software baseado no paradigma Orientado a Objetos (OO) e baseado em componentes é uma realidade. Este trabalho trata de teste e validação dentro desse contexto. Observa-se que diversos trabalhos relacionados ao teste de programas OO vêm sendo desenvolvidos. Apesar de ser um ponto controverso, alguns pesquisadores consideram que critérios de teste desenvolvidos para o teste de programas procedimentais podem ser facilmente estendidos para o teste de programas OO, pelo menos para o teste de métodos. Ainda são poucas as iniciativas de estender critérios de fluxo de dados e critérios baseados em mutação, tradicionalmente utilizados no teste de programas procedimentais, para o teste de programas OO. O presente trabalho visa a contribuir na identificação e definição de recursos de teste e validação que possam ser utilizados no teste de programas OO, com ênfase nos critérios de teste baseados em fluxo de dados e em mutação, cobrindo as fases do teste de unidade e de integração. Além disso, para apoiar a aplicação desses critérios, é de fundamental importância o desenvolvimento de ferramentas automatizadas que permitam a realização de estudos comparativos e a transferência tecnológica para a indústria. Em suma, o presente trabalho traz contribuições teóricas, com a definição de critérios de teste; empírica, com a realização de estudos empíricos; e de automatização, com a definição e implementação de um ambiente integrado de teste e validação para programas OO. Exemplos são utilizados para ilustrar as idéias e ferramentas apresentadas neste trabalho. / The development of Object-Oriented (OO) and component-based software is a reality. This work investigates software testing and validation in this context. Several studies related with OO testing have been carried out. In spite of being a controversial point, some researchers state that the procedural testing criteria can be easily extended to OO program testing, for instance to the testing of methods. There are few initiatives aiming at applying data-flow and mutation-based criteria, traditionally used for procedural testing, to the test of OO programs. The present work aims at contributing to identify and define resources for OO program testing and validation, considering data-flow and mutation based testing criteria, involving the unit and integration testing phases. An integrated environment for testing and validation has been developed to support the application of these criteria. This environment provides means to comparative studies amongst the criteria and to technology transfer processes. This work provides contributions to the following testing perspectives: theoretical -- with the definition of testing criteria; empirical -- with the conduction of empirical studies; and to testing automation -- with the specification and implementation of an integrated environment for testing and validation of OO programs. Examples are provided to illustrate the ideas and tools presented in this work.

O teste de software é considerado uma atividade importante para a revelação de falhas. Apesar desta vantagem, tem sido pouco explorado no âmbito de aplicações de Realidade Virtual (RV). Dentre as lacunas existentes, a definição e automatização de critérios de teste de software para esse domínio foi identificada, uma vez que esses sistemas possuem características próprias que requerem definição ou adaptação de técnicas de teste, fazendo com que aplicações nesse domínio constituam sistemas de alta complexidade. Diante disso, o objetivo desta tese é apresentar uma abordagem denominada Virtual Reality-Requirements Specification and Testing (VR-ReST) que visa apoiar a especificação de requisitos de aplicações de RV com base na descrição de casos de uso e conceitos do domínio de RV e Grafo de Cena (GC), derivar requisitos de teste e gerar dados de teste a partir dos requisitos especificados. Além disso, é apresentado um apoio ferramental chamado de Virtual Requirements Specification and Testing (ViReST), que permite automatizá-las. A abordagem é composta por três módulos: (i) especificação dos requisitos por meio do auxílio de um modelo denominado Virtual Requirements Specification (ViReS); (ii) mapeamento dos requisitos por meio de uma linguagem semi-formal chamada Behavior Language Requirement Specification (BeLaRS) para garantir uma especificação padronizada; e (iii) geração automática dos requisitos de teste e dos dados de teste. Foi realizado um estudo de caso para avaliar a conformidade e a usabilidade da BeLaRS em auxiliar a especificação de requisitos de uma aplicação de RV. Além disso, também foi realizado um experimento para avaliar a eficácia da abordagem VR-ReST por meio da ferramenta ViReST. Usando teste de mutação neste último experimento, a abordagem VR-ReST alcançou um escore de mutação médio de 15,49% maior que o teste aleatório. Portanto, os resultados mostraram que a abordagem, bem como o apoio ferramental, podem auxiliar o projetista durante a atividade de especificação de requisitos e o testador na geração dos testes para aplicações de RV. / Software testing is considered an important activity towards fault revealing. Despite this advantage, it has been few explored within the scope of Virtual Reality (VR) applications. Among the existing gaps, the definition and automation of software testing criteria for this domain were identified, since these systems have their own characteristics that require definition or adaptation of testing techniques, making applications in this domain constitute highly complex systems. Therefore, a Virtual Reality-Requirements Specification and Testing (VR-ReST) approach is presented to perform the functional test of VR applications using Scene Graph (SG) concepts and a support tool called Virtual Requirements Specification And Testing (ViReST), which allows you to automate them. The approach is composed of three modules: (i) the first consists in specifying the requirements by means of a model called Virtual Requirements Specification (ViReS); (ii) the second involves mapping the requirements through a semi-formal language called Behavior Language Requirement Specification (BeLaRS) to ensure a standardized specification; and (iii) the third is the automatic generation of test requirements and test data. A case study was conducted to evaluate the compliance and usability of BeLaRS in assisting the requirements specification of an RV application. Also, an experiment was also carried out to evaluate the effectiveness of the VR-ReST approach using the ViReST tool. Using mutation testing in this latter experiment, the VR-ResT approach achieved a mean mutation score of 15.49% higher than the random testing. Therefore, the results showed that the approach, as well as tooling support, can assist the designer during the requirement specification activity and the tester in generating the tests for RV applications.

A indústria automotiva vem mudando seu perfil drasticamente na última década, tornando-se mais intensiva em sistemas computacionais, e consequentemente em software, do que em sistemas mecânicos. A maioria das funcionalidades dos veículos modernos é controlada por software distribuído, dentro de muitas Unidades de Controle Eletrônicas (ECUs) interconectadas, de modo que o veículo pode ser considerado como um conjunto de sistemas complexos. Como resultado da integração, os testes para as funções de software distribuído se tornaram um grande desafio. Muitas estratégias têm sido propostas para organizar o multinível de teste de software em sistemas embarcados automotivos, a fim de reduzir custos e melhorar sua eficácia e robustez. Esta investigação pretende estender este conceito de teste de software multinível baseado no modelo em V, projetando uma metodologia sistemática que mapeie cada função dentro do sistema embarcado do veículo, sem a existência de uma especificação detalhada de cada componente e possibilitando a definição de uma estratégia e um planejamento de teste de software antecipadamente. Esta metodologia foi totalmente desenvolvida incorporando as características da aplicação automotiva, incluindo os requisitos de segurança funcional ISO 26262. Desta forma e dentro de rigorosas condições de segurança, a nova metodologia melhora a eficiência dos processos de desenvolvimento de sistemas embarcados, possibilitando a antecipação do planejamento de teste de software. Sendo este, baseado em um mapeamento e codificação da função e das atividades de teste proposto nesta tese, que funciona também como base para futuros desenvolvimento de soluções de rastreabilidade do sistema embarcado. / The automotive industry has been changing its profile drastically in the last decade, becoming more intensive in computer systems, and consequently in software, than in mechanical systems. Most of the functionality of modern vehicles is controlled by distributed software, within many interconnected Electronic Control Units (ECUs), so that the vehicle can be considered as a set of complex systems. As a result of integration, testing for distributed software functions has become a major challenge. Many strategies have been proposed to organize the multilevel software testing in embedded automotive systems in order to reduce costs and improve their effectiveness and robustness. This research intends to extend this concept of multilevel software testing based on the V development model, designing a systematic methodology that maps each function within the embedded system of the vehicle, without the existence of a detailed specification of each component, allowing the definition of a strategy and software testing planning in advance. This methodology was fully developed incorporating the characteristics of the automotive application, including the ISO 26262 functional safety requirements. In this way, the new methodology improves the efficiency of the embedded systems development processes, within strict security conditions, allowing the anticipation of the planning based on a mapping and encoding of the function and test activities proposed in this thesis, which also serves as a basis for future development of embedded system traceability solutions.

A expansão e a popularização da World Wide Web têm incentivado o desenvolvimento de aplicações Web. É crescente a exigência por aplicações Web cada vez mais complexas, cujo desenvolvimento deve ser feito com qualidade e rapidez. Para orientar o ciclo de vida dessas aplicações, diversos métodos de desenvolvimento Web têm sido criados, além de ferramentas de apoio a sua utilização. O emprego de padrões de software no desenvolvimento de aplicações pode aumentar a produtividade e a qualidade. Com o objetivo de minimizar erros e facilitar a utilização, ferramentas de apoio à utilização de padrões têm sido desenvolvidas. No entanto, há uma carência por ambientes e ferramentas que apóiem o emprego de padrões durante as etapas do desenvolvimento de aplicações. Algumas das principais atividades para a garantia da qualidade de software são as de VV&T (Verificação, Validação e Teste). Algumas iniciativas de associação de teste a padrões têm sido estudadas com o intuito de minimizar o tempo despendido em VV&T. Neste trabalho é apresentado o ambiente Peônia com o intuito de apoiar o emprego de padrões de software durante as etapas de um processo de desenvolvimento. Para isso, os padrões de software podem ser previamente associados a essas etapas para que possam ser sugeridos durante a execução de um projeto. Além disso, o ambiente Peônia oferece a possibilidade de associar requisitos de teste a padrôes de software, para auxiliar nas atividades de VV&T. Também é proposto um Método Para Desenvolvimento Utilizando Padrões de Software, formalizando a técnica empregada no ambiente Peônia durante a execução de projetos, onde é incentivada a utilização de padrões de software na criação de artefatos e execução de fases e atividades. O método proposto estimula usuários a empregar padrões de software durante as etapas do processo de desenvolvimento, independentemente de utilizar, ou não, o ambiente Peônia / The expansion and popularization of the World Wide Web have encouraged the development of Web applications. There is an increasing demand for more complex Web applications, whose development must be done with quality and urgency. Several Web development methods have been created to guide the life-cycle of these applications, as well as tools supporting their use. The use of patterns in the development of software applications can enhance productivity and quality. In order to minimize errors and facilitate use, tools supporting the use of patterns have been developed. But there is a lack of environments and tools supporting the use of patterns during all stages of applications development. Some of the main activities to ensuring the quality of software are VV&T (Verification, Validation and Testing). Some initiatives associating test to patterns have been studied in order to minimize the time spent in VV&T. This work presents the Peony environment in order to support the use of software patterns during the development process stages. Therefore, the software patterns can be previously associated with these stages so they can be suggested during project execution. Moreover, the Peony environment offers the possibility to associate test requirements to software patterns, helping VV&T activities. It is also proposed a Method for Development Using Software Patterns, which formalises the technique employed in Peony environment during projects execution, encouraging the use of software patterns in the artifact creation, as well as during phases and activities execution. The proposed method encourages users to employ software patterns during the development process stages, regardless using, or not, the Peony environment

Métodos ágeis são técnicas adequadas para o desenvolvimento de software sujeito a mudanças constantes. Essas mudanças não devem afetar o cronograma, orçamento do projeto e devem assegurar o atendimento às necessidades do cliente. Diversos valores, princípios e boas práticas de desenvolvimento e de condução de projeto são aplicados em projetos ágeis com esse objetivo. Algumas dessas práticas são relacionadas a atividade de teste de software. Este trabalho teve como objetivo caracterizar a atividade de teste de software aplicada dentro de métodos de desenvolvimento ágil, buscando eliminar aspectos de teste não produtivos, identificando boas práticas e, principalmente, criando formas de acompanhar e melhorar continuamente a condução da atividade de teste. A partir da caracterização da atividade foi proposta a adoção de um conjunto de métricas para facilitar o seu acompanhamento e melhoria constante da mesma. Algumas dessas métricas de acompanhamento de testes foram implementadas na ferramenta Agile Testing Metrics Management (ATMM). O objetivo principal da ferramenta é gerenciar as iterações de desenvolvimento do projeto ágil e, também, exibir a evolução das métricas relacionadas ao código que está sendo testado e aos casos de teste desenvolvidos utilizando a ferramenta JUnit. Para validar a ferramenta e as métricas foram conduzidos estudos de casos com dois projetos de software de domínios diferentes que utilizaram métodos ágeis e testes de unidade / Agile methods are appropriate techniques for software development subject to constant changes. These changes should not affect the project schedule, budget and must ensure meeting the clients needs. Several values, principles and practices of project development and driving are applied in agile projects with this goal. Some of these practices are related to software testing activity. This study aimed at characterizing the software testing activity applied to agile development methods, trying to eliminate unproductive testing aspects, identifying good practices and especially creating ways of tracking and continuously improve the test activity. From this activity characterization, it was proposed an adoption of metrics set to facilitate the monitoring and constant improvement of the activity. Some of these testing tracking metrics were implemented in the Agile Testing Metrics Management Tool (ATMM). The main goal of this tool is to manage the iterations of agile project development and, also show the metrics evolutions regarding the code that have been tested and the test cases developed using JUnit. The tool and metrics were validated by case studies that were conducted with two software projects of different domains which used agile methods and unit testing

As atividades de teste automatizado contribuem significativamente para a redução de custos e a produtividade do projeto durante o processo de desenvolvimento de software. O teste automatizado reduz o esforço humano e aumenta a qualidade do produto final. No entanto, a alta complexidade da saída produzida pelos SUT (do inglês, System Under Test) contemporâneos limita, em alguns casos, a aplicação de estratégias de teste automatizadas. Sistemas com saídas gráficas/áudio, imagens tridimensionais, interfaces gráficas com o usuário e alguns aplicativos da Web são exemplos de sistemas com saídas complexas. A falta de oráculos automatizados de teste leva à aplicação de testes executados manualmente pelo próprio testador (oráculo humano), de modo informal, ad-hoc e improdutivo. Uma possível contribuição para aliviar esforços do testador é a implementação de oráculos de teste baseados na extração de características das saídas do SUT. Resultados de trabalhos anteriores mostram que tal abordagem contribui para o aumento da produtividade do teste, mitigando e complementando os esforços manuais. Este trabalho de mestrado propõe e avalia oráculos de teste automatizados para sistemas cujas saídas consistem em imagens médicas tridimensionais. Para tanto, é explorado o framework O-FIm/CO (do inglês, Oracle for Images and Complex Outputs) que utiliza conceitos de Recuperação de Imagens Baseada em Conteúdo (do inglês, Content-Based Image Retrieval CBIR) como uma forma de automatizar oráculos de teste. Além de adaptações e extensões do framework, desenvolveram-se plug-ins que representam extratores de características de imagens médicas tridimensionais de vasos sanguíneos. Para evidenciar a eficácia da abordagem, foram conduzidos dois estudos experimentais objetivando avaliar a eficácia e a precisão dos oráculos de teste baseados em características na avaliação desse tipo de imagem. Além disso, realizou-se um estudo experimental comparando os oráculos de teste baseados em características e oráculos humanos. Os resultados evidenciam a eficácia da abordagem como uma estratégia promissora para automatizar atividades de teste, contribuindo para a redução de tempo e esforços gerados por abordagens manuais durante a avaliação da qualidade de sistemas geradores de imagens médicas tridimensionais. / Automated testing activities significantly contribute to cost reduction and project productivity during the software development process. Automated testing reduces human effort and increases the quality of the final product. However, the high complexity of contemporary SUT outputs limits, in some cases, the application of automated test strategies. Systems with graphical/audio outputs, three-dimensional imaging, graphical user interfaces and some web applications are examples of systems with complex outputs. The lack of automated test oracles leads to the application of manual tests performed by the tester (human oracle) in an informal, ad-hoc and unproductive manner. One possible contribution to alleviate the testers efforts is to implement test oracles based on the extraction of characteristics from the SUT outputs. Results from previous work show that such an approach contributes to increase test productivity, mitigating and complementing manual efforts. This dissertation proposes and evaluates automated test oracles for systems whose outputs consist of three-dimensional medical images. To do so, the framework O-FIm/CO (Oracle for Images and Complex Outputs) that uses CBIR (Content-Based Image Retrieval) concepts is explored as a strategy to automate test oracles. In addition to adaptations and extensions of the framework, plug-ins were developed which represent extractors of three-dimensional medical image characteristics of blood vessels. To demonstrate the efficacy of the approach, two experimental studies were conducted to evaluate the efficacy and accuracy of feature-based test oracles in the evaluation of such images. Moreover, an experimental study was conducted to compare feature-based test oracles with human oracles. The results show the efficacy of the approach as a promising strategy to automate testing activities, contributing to the reduction of time and effort generated by manual approaches during the quality assessment of three-dimensional medical imaging systems.