The paper deals with a justifiability of the application of statistics in the process of test development. It also aims to show possibilities of its application on the final test version. The first part of the thesis brings up the fundamentals of test development theory. The second part aims to describe general impact of statistics application on the test qualities. It further focuses on item analysis as one of the tool to evaluate test items qualities. Among others it includes information about reliability and validity analysis so as about the test equating methods. The analytical part contains analysis conducted on the OSP test. The analytical part also deals with predicted test validity and with the quality level of data gained from pre-testing.

Estudo de desenvolvimento metodológico de elaboração e validação de medidas de avaliação em saúde, que teve como finalidade contribuir com novas políticas de controle e prevenção de infecção hospitalar (CIH). Para tanto, foram construídos e validados três indicadores de avaliação de práticas de controle e prevenção da infecção hospitalar do trato urinário associada a cateter, conforme duas etapas metodológicas. Na primeira, tendo como referência bases conceituais de indicadores clínicos e medidas de avaliação em saúde, foram elaborados os indicadores: 1-Indicação e Permanência do Cateterismo Vesical (IUIC); 2- Condições de Manutenção do Cateterismo Vesical (IUMN) e 3- Infra-Estrutura para Procedimento de Cateterismo Vesical (IUIF). Na segunda etapa estes indicadores foram submetidos à validação de conteúdo, por meio de um método de validação opinativa de um grupo de nove especialistas, constituído de médicos e enfermeiras, com conhecimento e experiência em controle de infecção hospitalar, e representantes das áreas hospitalar, acadêmica, órgão governamental e entidades associativas. A validação foi realizada com o julgamento de cada indicador a partir de um instrumento previamente elaborado, que contemplava as seguintes etapas: I- Conteúdo do construto (manual operacional) do indicador; II- Atributos do conjunto do indicador; III- Componentes do indicador. O indicador 3 foi submetido, ainda, a mais uma etapa, referente à valoração, pelos juízes, de cada um de seus componentes. Foi previamente estabelecido um consenso mínimo de 75% de julgamento favorável dos juízes, de cada uma destas etapas. Em cada etapa solicitava-se também comentários e sugestões para ajuste dos indicadores. Nos resultados, os indicadores 1 e 2 obtiveram consenso favorável mínimo na grande maioria dos aspectos sob avaliação de cada etapa. Nos aspectos que não obtiveram consenso favorável mínimo as sugestões e comentários efetuados pelos juízes tornaram possível o ajuste destes indicadores e sua validação de conteúdo, sem necessidade de retorno aos juízes para novo julgamento. O indicador 3, apesar de ter obtido amplo consenso favorável nas etapas II e III, o mesmo não ocorreu em vários aspectos referentes à etapa I, assim como na valoração de relevância dos seus componente individuais. Além disto, os comentários e sugestões efetuados constataram a problemática deste indicador para avaliar adequadamente o que ele se propunha. Por este motivo, ele não pôde ser validado, na forma de construção originalmente apresentada. / This is a study on the methodological development of elaboration and validation of measures to evaluate health aiming to contribute to new control rules and to prevent nosocomial infection (CIH). Then, three evaluation indicators of control and prevention of nosocomial infection in the urinary tract associated to a catheter were built in accordance with two methodological phases. In the first phase, based on the conceptual basis of clinical indicators and evaluation measures in health, the indicators were elaborated: 1 - Indication and Permanence of Vesical Catheterism (IUIC); 2 – Maintenance Conditions of Vesical Catheterism (IUMN) and 3 – Infrastructure for procedures of Vesical Catheterism (IUIF). In the second phase, these indicators were submitted to a content validation by means of a validation method according to one group of nine experts, constitued of physicians and nurses, with knowledge and experience in nosocomial infection and representatives of the hospital, academic and governmental areas and associative institutions. The validation was performed according to judgment of each indicator based on a instrument previously elaborated, consisting of: I- Construct Content (operational guidebook) of the indicator; II- Features of the indicator set; III- Components of the indicator. The indicator 3 was still submitted to one more phase regarding valorization of each component, according to the judges. A minimum consensus of 75% of favorable arbitration from the judges was previously established for each phase. In each phase it was also asked comments and suggestions to adjust indicators. In the results, indicators 1 and 2 obtained a minimum favorable consensus in the great majority of the evaluating aspects for each phase. The aspects which did not obtain the minimum favorable consensus, suggestions and comments made by the judges made possible an adjustment of these indicators and their content validation, with no need of the judges to return for a new arbitration. The indicator 3, in spite of obtaining a comprehensive favorable consensus in the phases II and III, the same did not occur in many aspects of the phase I as well as in the relevance valoration of its individual components. Additionally, the comments and sugestions performed, considered the problematic of this indicator to adequatly evaluate its objective. Therefore, it could not be validated on its original construction.

Estudo de desenvolvimento metodológico de elaboração e validação de medidas de avaliação em saúde, que teve como finalidade contribuir com novas políticas de controle e prevenção de infecção hospitalar (CIH). Para tanto, foram construídos e validados três indicadores de avaliação de práticas de controle e prevenção da infecção hospitalar do trato urinário associada a cateter, conforme duas etapas metodológicas. Na primeira, tendo como referência bases conceituais de indicadores clínicos e medidas de avaliação em saúde, foram elaborados os indicadores: 1-Indicação e Permanência do Cateterismo Vesical (IUIC); 2- Condições de Manutenção do Cateterismo Vesical (IUMN) e 3- Infra-Estrutura para Procedimento de Cateterismo Vesical (IUIF). Na segunda etapa estes indicadores foram submetidos à validação de conteúdo, por meio de um método de validação opinativa de um grupo de nove especialistas, constituído de médicos e enfermeiras, com conhecimento e experiência em controle de infecção hospitalar, e representantes das áreas hospitalar, acadêmica, órgão governamental e entidades associativas. A validação foi realizada com o julgamento de cada indicador a partir de um instrumento previamente elaborado, que contemplava as seguintes etapas: I- Conteúdo do construto (manual operacional) do indicador; II- Atributos do conjunto do indicador; III- Componentes do indicador. O indicador 3 foi submetido, ainda, a mais uma etapa, referente à valoração, pelos juízes, de cada um de seus componentes. Foi previamente estabelecido um consenso mínimo de 75% de julgamento favorável dos juízes, de cada uma destas etapas. Em cada etapa solicitava-se também comentários e sugestões para ajuste dos indicadores. Nos resultados, os indicadores 1 e 2 obtiveram consenso favorável mínimo na grande maioria dos aspectos sob avaliação de cada etapa. Nos aspectos que não obtiveram consenso favorável mínimo as sugestões e comentários efetuados pelos juízes tornaram possível o ajuste destes indicadores e sua validação de conteúdo, sem necessidade de retorno aos juízes para novo julgamento. O indicador 3, apesar de ter obtido amplo consenso favorável nas etapas II e III, o mesmo não ocorreu em vários aspectos referentes à etapa I, assim como na valoração de relevância dos seus componente individuais. Além disto, os comentários e sugestões efetuados constataram a problemática deste indicador para avaliar adequadamente o que ele se propunha. Por este motivo, ele não pôde ser validado, na forma de construção originalmente apresentada. / This is a study on the methodological development of elaboration and validation of measures to evaluate health aiming to contribute to new control rules and to prevent nosocomial infection (CIH). Then, three evaluation indicators of control and prevention of nosocomial infection in the urinary tract associated to a catheter were built in accordance with two methodological phases. In the first phase, based on the conceptual basis of clinical indicators and evaluation measures in health, the indicators were elaborated: 1 - Indication and Permanence of Vesical Catheterism (IUIC); 2 – Maintenance Conditions of Vesical Catheterism (IUMN) and 3 – Infrastructure for procedures of Vesical Catheterism (IUIF). In the second phase, these indicators were submitted to a content validation by means of a validation method according to one group of nine experts, constitued of physicians and nurses, with knowledge and experience in nosocomial infection and representatives of the hospital, academic and governmental areas and associative institutions. The validation was performed according to judgment of each indicator based on a instrument previously elaborated, consisting of: I- Construct Content (operational guidebook) of the indicator; II- Features of the indicator set; III- Components of the indicator. The indicator 3 was still submitted to one more phase regarding valorization of each component, according to the judges. A minimum consensus of 75% of favorable arbitration from the judges was previously established for each phase. In each phase it was also asked comments and suggestions to adjust indicators. In the results, indicators 1 and 2 obtained a minimum favorable consensus in the great majority of the evaluating aspects for each phase. The aspects which did not obtain the minimum favorable consensus, suggestions and comments made by the judges made possible an adjustment of these indicators and their content validation, with no need of the judges to return for a new arbitration. The indicator 3, in spite of obtaining a comprehensive favorable consensus in the phases II and III, the same did not occur in many aspects of the phase I as well as in the relevance valoration of its individual components. Additionally, the comments and sugestions performed, considered the problematic of this indicator to adequatly evaluate its objective. Therefore, it could not be validated on its original construction.