Today there are many system development projects that break both budget and time plan. Often this depends on defects in the information systems that could have been prevented. The cost of test can in some cases be as high as 50 % of the projects total cost and it's at the same time an important part of development. Test as such has moved its focus from the software it self and its faults to a wider perspective on whole infrastructures of information systems where assure a good quality is important. Sogeti in the Netherlands have developed a test method called TMap (Test Management approach) that can be used for structured testing of information systems. TMap haven't been used as much as desired in the office in Borlänge. Because Microsoft is releasing a new version of their platform Visual Studio Team System (VSTS 2010) some colleges at Sogeti in the Netherlands are about to develop a template that can support the use of TMap in VSTS 2010. When we write this the template is still in development. The goal for Sogeti was to find out the differences between the test functionality in VSTS 2008 and 2010. By using the purpose with this essay, which was to analyze the test process in VSTS 2008 with TMap against the test process in VSTS 2010 together with the template we got much help to achieve the goal. The analysis was done with four different aspects: The TPI and TMMi models, problem and strength analyses and a few question formulations. The TPI and TMMi models where used to analyses and evaluate the test process. The analysis showed that there were differences between the both test processes. VSTS 2010 together with the template gave a better support to use TMap and perform test. In VSTS 2010 the test tool Camano is connected to TFS and the tool is also to make the execution and logging of tests easier. This leads to a test process that is easier to handle and has a better support for TMap.

Made available in DSpace on 2014-06-12T15:56:33Z (GMT). No. of bitstreams: 2 arquivo2954_1.pdf: 1502003 bytes, checksum: 78d97190e617400e07016f4aa1faac70 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2010 / As soluções de software estão cada dia mais presentes no cotidiano das pessoas, e a preocupação com a qualidade desses sistemas cresceu bastante na última década. A exigência do mercado por qualidade levou ao desenvolvimento de modelos para a melhoria do processo de software como o CMMI - o mais conhecido e utilizado atualmente. Como conseqüência dessa busca por remover o maior número possível de erros antes de entregar o software aos clientes, teve início um movimento de especialização de profissionais nas atividades de teste de software (verificação e validação). Atualmente, muitas organizações possuem, inclusive, equipes especializadas em testar o software. Nesse contexto, o processo de testes passou a receber destaque no ciclo de vida de desenvolvimento e manutenção de sistemas. Embora o CMMI, em suas área de processo de Verificação e Validação, defina um guia para a melhoria das mesmas, ele não fornece informações mais detalhadas sobre boas práticas de testes. Assim, é necessário utilizar modelos voltados, especificamente, à melhoria do processo de testes como o Test Maturity Model Integration-TMMi. Nesse trabalho, o TMMi é apresentado como uma ferramenta para alcançar os objetivos definidos pelo CMMI para as áreas de processo de Verificação e Validação (Ver&Val). A partir da proposição de um mapeamento entre as práticas dos dois modelos, realizou-se um estudo prático no qual o processo de desenvolvimento de software de uma organização foi modificado, utilizando práticas do TMMi, com o objetivo de aumentar a capacidade dos processos de Ver&Val segundo o CMMI. Utilizando a abordagem de Pesquisa ação, além de avaliar a utilização conjunta dos dois modelos, foi possível obter resultados em projetos reais da indústria e promover a transferência de conhecimento entre o pesquisador e profissionais

Submitted by Luciana Sebin (lusebin@ufscar.br) on 2016-10-10T18:55:46Z No. of bitstreams: 1 DissAEPS.pdf: 9093309 bytes, checksum: 1d310c56dd7bbae26966b175642a9775 (MD5) / Approved for entry into archive by Marina Freitas (marinapf@ufscar.br) on 2016-10-13T20:33:03Z (GMT) No. of bitstreams: 1 DissAEPS.pdf: 9093309 bytes, checksum: 1d310c56dd7bbae26966b175642a9775 (MD5) / Approved for entry into archive by Marina Freitas (marinapf@ufscar.br) on 2016-10-13T20:33:13Z (GMT) No. of bitstreams: 1 DissAEPS.pdf: 9093309 bytes, checksum: 1d310c56dd7bbae26966b175642a9775 (MD5) / Made available in DSpace on 2016-10-13T20:33:23Z (GMT). No. of bitstreams: 1 DissAEPS.pdf: 9093309 bytes, checksum: 1d310c56dd7bbae26966b175642a9775 (MD5) Previous issue date: 2015-06-16 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / Context: A well-defined testing process is necessary to ensure that the required activities are conducted effectively, supported by maturity models such as TMMi. Even so, for this activities results have real impact on the quality and reliability of the produced artefacts, is fundamental manage the knowledge belonging to the involved individuals. In this context, Knowledge Management (KM) is essential to help software testing professionals acquire and disseminate individual and group expertise. However, existing KM approaches for software testing are still incipient and are driven by different key concepts, such as feedback, lessons learned and knowledge documents. Objective: This work investigates the applicability degree of KM approaches in a streamlined software testing process, from the point of view of professionals with experience in leadership and testing team management in Brazilian companies. Method: A literature search allowed us to identify three KM frameworks for software testing processes. Based on them, we devised their underlying KM processes, upon which we performed two evaluations by means of a critical, in-depth analysis and a survey. An additional investigation explored the combination of the three KM key concepts in a single KM approach for software testing. All evaluations relied on the opinion of experienced software testing professionals. Results: Our results indicate the most applicable KM process, among to the three addressed in our study, to support testing teams in their activities. Such process relies on the concept of feedback provided throughout the software testing lifecycle. Conclusion: Different key concepts applied in KM process leads to diverging opinions regarding their applicability, in the particular scenario of software testing. Combining such concepts into a single KM process may not yield a better solution, possibly due to the augmented complexity and required effort to manage knowledge within testing teams. / Contexto: Para que a atividade de teste seja conduzida de maneira eficaz, deve-se possuir processos bem definidos e apoiados por modelos de maturidade como, por exemplo, o TMMi. Entretanto, para que os resultados obtidos tenham real impacto na qualidade e confiabilidade dos artefatos produzidos, ´e fundamental que exista a administração do conhecimento pertencente aos indivíduos envolvidos. Neste contexto, a Gestão do Conhecimento ´e essencial para ajudar os profissionais de teste de software a adquirirem e compartilharem o conhecimento individual e de grupo. Contudo, ressalta-se que as abordagens de Gestão do Conhecimento para teste de software ainda são incipientes e movidas por diferentes conceitos-chave, tais como feedback, lições aprendidas e documentos de conhecimento. Objetivo: O objetivo deste trabalho é investigar o grau de aplicabilidade de abordagens de Gestão do Conhecimento aplicadas em um processo de teste de software enxuto, segundo o ponto de vista de profissionais com experiência em liderança e gestão de equipes de teste em empresas brasileiras. Metodologia: Por meio de uma pesquisa da literatura, foram identificados três frameworks de Gestão do Conhecimento aplicados em teste de software, e a partir destes foram elaborados três processos de Gestão do Conhecimento. Estes processos de Gestão do Conhecimento foram avaliados por dois métodos, uma Análise Crítica aprofundada e um Survey, tendo como referencial um processo de teste enxuto. Uma avaliação adicional analisou a viabilidade da combinação dos conceitos-chave dos três processos elaborados em um único processo de Gestão do Conhecimento. Todas as avaliações empreendidas contaram com a participação de profissionais com experiência em liderança e gestão de equipes de teste. Resultados: As avaliações realizadas indicam o processo de Gestão do Conhecimento mais aplicável, dentre os três investigados neste trabalho, para apoiar as atividades de uma equipe de teste. Tal processo ´e fundamentado na utilização de feedback ao longo de todo o ciclo de teste de software. Conclusão: A junção de diferentes conceitos-chave aplicados em um processo de Gestão do Conhecimento leva a opiniões divergentes, particularmente em um cenário de teste de software. Combinar estes conceitos em um único processo pode não produzir uma solução melhorada, possivelmente devido à maior complexidade e esforço necessários para gerenciar o conhecimento dentro das equipes de teste.

Made available in DSpace on 2016-06-02T19:06:02Z (GMT). No. of bitstreams: 1 4892.pdf: 2883181 bytes, checksum: 6b4b510decd1413c928602b92eed6f11 (MD5) Previous issue date: 2012-12-10 / Financiadora de Estudos e Projetos / Small companies face barriers to either implement or enhance their software testing processes due to the lack of experts in testing, the lack of resources and difficulties to adapt testing-related maturity models to a particular context. The goal of this research is devising a strategy that can be applied by software companies to the definition of testing processes, or even to the enhancement of the current company s process. The strategy for the definition of testing processes has been built upon the results of a case study of a small software development company. In such case study, we have characterized the company s current testing process and, based on it, we have devised a new process that relies both on the TMMi reference model and on the results of a survey that has gathered the opinion of professionals in software testing. The three main contributions of this research are: (i) a reduced test process model as a result of the mentioned survey; (ii) a newly devised testing process for the case company; and (iii) a strategy for the definition of testing processes devised from the case study, which is based on the TMMi reference model and on the opinion of software testing professionals. The sequence of steps performed in the case study enabled us to establish a testing process that takes into consideration the TMMi model and other company s particularities, thus resulting in a process whose focus is on quality. Performing such steps enables the company to evaluate and enhance its testing process whenever required. / Pequenas empresas encontram algumas barreiras para implementar ou melhorar seus processos de teste devido à falta de profissionais especializados em teste, falta de recursos e também devido à dificuldade em adaptar modelos de maturidade em teste para o contexto específico da empresa. O objetivo deste trabalho é apresentar uma estratégia para que as empresas possam definir um processo de teste, ou melhorar o processo de teste existente. A estratégia para elaboração de um processo de teste para pequenas empresas foi extraída a partir da realização de um estudo prático em uma pequena empresa desenvolvedora de software. Nesse estudo estabeleceu-se como base o processo de teste existente na empresa e definiu-se um novo processo de teste, tendo como referência o TMMi e um survey, que coletou a opinião de profissionais que atuam na área de teste. Os três resultados obtidos neste trabalho são: (i) O modelo de um processo reduzido, resultante do survey; (ii) um novo processo de teste que foi proposto para a empresa; e (iii) uma estratégia para elaboração de processo de teste extraída de um estudo prático, com base no TMMi e na opinião de profissionais de teste. A sequência de passos que foi realizada no estudo prático permitiu chegar a uma proposta de processo de teste que leva em consideração o TMMi, sendo portanto, uma proposta de processo com foco em qualidade. A generalização dos passos executados resultam em uma estratégia que pode ser aplicada por empresas para avaliar e melhorar seu processo de teste sempre que necessário.

Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2016-09-05T12:01:51Z No. of bitstreams: 2 Dissertação - Daniella de Oliveira Costa - 2016.pdf: 1198730 bytes, checksum: 2df25fb32f76f409f638956bd43c727e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-09-05T12:02:27Z (GMT) No. of bitstreams: 2 Dissertação - Daniella de Oliveira Costa - 2016.pdf: 1198730 bytes, checksum: 2df25fb32f76f409f638956bd43c727e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2016-09-05T12:02:27Z (GMT). No. of bitstreams: 2 Dissertação - Daniella de Oliveira Costa - 2016.pdf: 1198730 bytes, checksum: 2df25fb32f76f409f638956bd43c727e (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2016-08-22 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / Background. Test process requires constant follow-ups to evolve their methodologies. To support the improvement of processes, we have the Test Maturity Models such as TMM and TMMi. However, the TMMi model does not provide instruments or framweworks that allows companies to check the adherence about the model, it is necessary the expert advice. For shortage of certifiers in the country, the cost becomes high and hinders to obtainment certification for small businesses. Aim. Propose a methodology of low cost to assess of test process, which shall support in the improvement and quality of testing procedures employed in Small Software Companies Methodology. An exploratory and qualitative research, conducted by: (i) Research instruments or frameworks which are available to assess testing process relative to TMMi levels through Systematic Review; and (ii) abstraction of evidence of the studies, collaborating with test process assessments. From the defined contributions and mandatory guidelines TAMAR define an assessment process with the focus to meet the limitations of small companies. Results. An evaluation process covering Planning activities; Preparation; Application; Analysis of the results; and Closing. The assessment instrument provided a new approach in the presentation of the issues. The questions were given by affinity groups, focusing the respondent to a specific stage of the test process. Conclusion. Perform routine to prepare those involved brought a brief overview of the maturity model and reducing uncertainty for indication of evidence in addition to the new approach to provision of the issues by affinity groups. The validation has shown that the instrument is simple and assistance provided throughout the process enables the evaluation of small business process. / Os processos de teste necessitam de constantes acompanhamentos para evolução de suas metodologias. Para apoiar na melhoria dos processos, temos os Modelos de Maturidade de Teste, tais como TMM e TMMi. No entanto, o modelo TMMi não disponibiliza um instrumento que permite as empresas verificarem a aderência ao modelo, sendo necessário a contratação de consultoria especializada. Por carência de certificadores no país, o custo torna-se elevado e dificulta a obtenção da certificação por empresas de pequeno porte. Objetivo. Propor uma metodologia de avaliação de processos de teste de baixo custo, que contribua na evolução e qualidade dos processos de teste empregados em Pequenas Empresas de Software Metodologia. Uma pesquisa exploratória e qualitativa, realizada pela: (i) investigação de quais instrumentos estão disponíveis para avaliar processos de teste com relação aos níveis do TMMi, por meio de Revisão Sistemática; e (ii) abstração das evidências dos estudos, que colaboravam com avaliações de processo de teste. A partir das contribuições delimitadas e as orientações obrigatórias do TAMAR, construiu-se um processo de avaliação com o foco de atender as limitações das pequenas empresas. Resultados. Um processo de avaliação que abrange atividades de Planejamento; Preparação da avaliação; Aplicação; Análise dos Resultados; e Fechamento da avaliação. O instrumento de avaliação previu uma nova abordagem na apresentação das questões. As questões foram dadas por grupos de afinidade, concentrando o respondente à uma etapa específica do processo de teste. Conclusões. Realizar a rotina de preparar os envolvidos trouxe uma breve visão do modelo de maturidade e reduzindo as incertezas para indicação das evidências, além da nova abordagem para disposição das questões por grupos de afinidade. A validação do processo de avaliação permitiu verificar que o instrumento é simples e o acompanhamento fornecido no decorrer do processo viabiliza a avaliação dos processos de pequenas empresas.

Testförbättringsmodeller har utvecklats och blivit fler sedan 90-talet. Dessa modeller strävar efter att ge team och organisationer struktur inom testarbete. TMM, som är en av de äldsta testförbättingsmodellerna, togs fram i början av 90-talet och har sedan gett inspiration till flera testförbättringsmodeller med mognadsnivåer. Två av dem är TMMi och TIM. Modellerna, som båda ursprungligen är bearbetningar av TMM, har olika strukturer när det kommer till hur olika delar av testfunktionen förbättras. I en fallstudie har TMMi och TIM jämförts mot varandra för att få fram skillnaderna i modellerna samt rekommendationer hos ett team som arbetar med flera konsultuppdrag. TIM utvärderas även om hur aktuell den är i ett agilt konsultföretag.Enkät och intervju användes för att samla in data och modellerna användes för att generera rekommendationer till teamet.Det framkommer att TIM kan appliceras på en agil konsultverksamhet, främst för att TIM lägger fram vad som ska göras och det agila arbetssättet lägger fram hur det ska göras.Den främsta skillnaden som upptäcktes mellan TIM och TMMi ligger i deras struktur gällande mognadsnivåer. TIM uppmuntrar till en balanserad förbättring genom individuell bedömning av testprocessområden (KPA), så att det studerade teamet har en bättre förståelse för vilka av de som främst behöver förbättras, till skillnad från TMMi som är striktare vid sin bedömning.TIM i förhållande till TMMi har rekommendationer som riktar sig till enskilda testare på en lägre mognadsnivå, vilket påverkar graden av självständighet för testning. TMMi:s rekommendationer betonar att röktester bör utföras av teamet i större utsträckning än vad som sker för tillfället. / Test improvement models have evolved and become more common since the 1990s. These models strive to give teams and organizations structure in their testing work. TMM, one of the oldest models, was developed in the early 90's and has since provided inspiration for several test improvement models with maturity levels thereafter. Two of them are TMMi and TIM. Both models, which are further worked on from TMM originally, have two different structures when it comes to how different parts of the test function are improved. In a case study, TMMi and TIM have been compared against each other to identify the differences in the models and recommendations from a team working on several consulting assignments. TIM is also evaluated on how current it is in an agile consulting company. The questionnaire and interview were used to collect data and the models were used to generate recommendations for the team. It appears that TIM can be applied to an agile consulting business, mainly because TIM focuses on what to do and the agile methodology focuses on how to do it. The main difference found between TIM and TMMi lies in their structure regarding maturity levels. TIM encourages balanced improvement through separate assessment of key process areas (KPA), so that the studied team has a better understanding of which of them needs to be improved primarily, unlike TMMi, which is stricter in its assessment. TIM in relation to TMMi has recommendations aimed at individual testers at a lower maturity level, which affects the degree of independence for testing. TMMi's recommendations emphasize that smoke tests should be performed by the team to a greater extent than is currently happening.

Ipendo Systems in Linköping, Sweden, is a small IT consulting firm developing among other things custom portal applications based on Microsoft Sharepoint 2010. The purpose of this thesis is to investigate whether the test tools TestComplete and LoadComplete provide sufficient compatibility for functional and non-functional testing of Ipendo Systems’ Sharepoint based applications, as well as design testing related activities to be incorporated into their existing software development framework. A test process maturity framework was chosen and applied for the design of the testing activities, while the test tool investigation resulted in guidelines on how to apply the tools effectively and circumvent any issues discovered.

Storleken och komplexiteten på dagens system och applikationer ökar. Detta leder till att kraven på system och applikationer ökar också eftersom kunderna kräver av dagens system full funktionalitet inom olika typer av distribuerade miljöer. Kunder är inte bara intresserade av funktionerna i systemen och applikationerna, de förväntar sig också att systemet skall vara av god kvalitet. Av dessa skäl är det mycket viktigt att testa system och applikationer för att säkerställa att de uppfyller kundernas förväntningar. Däremot är det inte bara själva mjukvarans kvalitets frågor som organisationer behöver ha i åtanke, en lika viktig del är själva testprocessens kvalitet. För att öka testprocessens kvalitet  krävs det en utvärdering av processen. Utvärderingen identifierar processens styrkor, svagheter och möjligheter. I detta examensarbete har vi utvärderat tesprocessen på ett utvecklingsföretag. Utvärderingen har baserats på anvisningar och rekommendationer från TMMi-modellen, Test Maturity Model Integrated. Vi hade som mål att lyfta fram förbättringsförslag till företagets testprocess. Efter utvärderingen kom vi fram till vilken mognadsnivå verksamheten utifrån TMMi-modellen samt en mängd förbättringsförslag för att höja mognadsnivån på testprocessen.

Testing often takes between 35 and 50 percent of the total costs of software development projects. Still, the role of testing tends to be underestimated. High costs that are being spent on software testing make a reason for looking for systematical approaches for making the testing processes efficient. Test process improvement models offer such approaches. These models are subject of this thesis. Implementation of process improvement models can be an expensive, long-term activity. Therefore, reasons need to be found, why is important to use such models. Reasons and motivations for using improvement models are demonstrated in the first part of this thesis. It turned out that software testing has, by its historical development, come to the state, when it contains so much theory that companies have a problem absorbing all the knowledge to make testing processes efficient. Therefore, improvement models offer a solution to this problem. This thesis is primarily focused on Test Maturity Model Integration (TMMi), which is being analyzed thoroughly. The work searches for possibilities and limitation of using the model and it summarizes current experiences with the model. Because the TMMi model does not contain a practical assessment method, such method is proposed in this thesis. The assessment method will help organizations using the model. Beside TMMi, the thesis provides an introduction into three other models: Test Process Improvement (TPI), Capability Maturity Model Integration (CMMI) and Critical Testing Processes (CTP). All four models are subject to a comparison based on specified criteria. Results of the comparison are analyzed to identify for which situations individual models suit best. The comparison will help organizations to choose the right model for their needs.