En la actualidad, las áreas de Medición, Evaluación y Análisis son pilares de la Ingeniería de Software ya que brindan información para, principalmente, tomar decisiones sobre cuestiones relacionadas a la calidad de productos, procesos, etc. En estas áreas, como en otras, es deseable garantizar repetibilidad para lograr consistencia en los resultados. Para ello, las organizaciones deben contar con estrategias de Medición y Evaluación (M&E) que integren tres capacidades: i) una especificación de las vistas del proceso de M&E en la cual se documenten, entre otros aspectos, las principales actividades que deben ser planificadas y ejecutadas, ii) un marco conceptual de M&E que permita disponer de un vocabulario común, y iii) métodos y herramientas específicos para llevar a cabo las actividades. En este sentido, hemos desarrollado una estrategia llamada GOCAME (Goal-Oriented Context-Aware Measurement and Evaluation), que integra estas tres capacidades. La presente tesis doctoral se centra en la primera capacidad mencionada, es decir: la especificación de las vistas del proceso de M&E para la estrategia GOCAME. Contar con la especificación del proceso desde diferentes perspectivas permite tener una guía clara y repetible de las actividades que deben llevarse a cabo, como así también detectar puntos de control, identificar los productos de trabajo insumidos y producidos, y escoger adecuadamente los agentes que ocuparán los roles involucrados en la realización de las actividades, entre otros aspectos. Para especificar las diferentes vistas del proceso se utilizarán lenguajes estándares apropiados, permitiendo que exista un entendimiento compartido dentro y fuera de la organización que lo aplique, de modo que cualquier usuario interesado pueda comprender el proceso, hacer uso del mismo y/o plantear mejoras a éste. Si bien existe literatura, e incluso estándares, que describen el proceso de M&E, lo hacen como si fueran dos procesos disjuntos, de hecho muchos ni hablan de Evaluación. Sin embargo, estos procesos están muy relacionados. Además, en la literatura revisada se observa que los procesos de M&E no se especifican desde sus diferentes vistas. Incluso se ha detectado que no existe un consenso respecto de la terminología de proceso utilizada, motivo por el cual aquí se propone una ontología de proceso (genérica). Esta ontología también se utiliza para enriquecer el marco conceptual de M&E (segunda capacidad mencionada). La hipótesis principal de este trabajo es que sin una clara definición de las vistas del proceso, los programas y proyectos de M&E, suelen ser menos repetibles, reproducibles y controlables. Además, poseer un (modelo de) proceso basado en un marco conceptual de M&E no sólo permite contar con programas y proyectos con dichas características, sino que también favorece la robustez y confiabilidad de la información obtenida (datos y metadatos), la cual es utilizada en procesos de toma de decisión. También, un modelo de procesos facilita la definición de métodos y herramientas que permitan llevar a cabo las actividades, ya sea de forma total o parcialmente automatizada. Por otra parte, cabe mencionar que GOCAME es una estrategia de M&E de propósito múltiple, la cual puede ser personalizada para desarrollar estrategias para propósitos específicos. Particularmente, a partir de GOCAME se ha derivado la estrategia SIQinU (Strategy to Improve Quality in Use), la cual se enfoca en mejorar sistemáticamente la Calidad en Uso de las aplicaciones evaluadas. Esta estrategia también cuenta con las tres capacidades de GOCAME, y en este trabajo se abordará la especificación de las vistas del proceso que subyace en SIQinU.

El presente trabajo de tesis proporciona un enfoque para la evaluación de la calidad de aplicaciones Web en el ámbito específico de e-government. Los marcos, metodologías y estándares preexistentes en la industria no aportan aplicaciones particulares a este campo, pero sí pueden ser extendidos o configurados para este medio regido por dinámicas diversas y cambiantes que no siempre pueden asimilarse a experiencias de otros dominios. La gestión de la calidad va lentamente cobrando importancia, y se resalta el rol del usuario que a través de su percepción y opiniones, nos brinda información para realizar direccionamientos hacia un mejor producto, un producto más elegido. Es por ello que se ha llevado a cabo una exhaustiva revisión del estado del arte sobre el concepto general de calidad, y su visión particular desde la Ingeniería de Software. Posteriormente se han analizado los marcos metodológicos y estrategias de M&E preexistentes de los cuales se seleccionó GOCAME para llevar adelante un caso de prueba, basándose en su solidez y numerosos casos de aplicación. Debido a la ausencia de experiencias de medición de calidad en organismos de gobierno, se planteó la necesidad de proponer un modelo de requerimientos de calidad como prototipo para M&E. Como consecuencia se presentó un marco metodológico consistente en el cual desarrollar todas las tareas involucradas en el proceso de evaluación de la calidad, en este caso calidad externa a través de la visión de expertos del dominio, y calidad en uso desde la perspectiva de usuarios reales. El modelo diseñado fue validado conceptualmente a través de la instanciación de la metodología abordada utilizando como caso de estudio una aplicación Web del organismo. Conjuntamente con las mediciones técnicas se planteó la necesidad de caracterizar a los usuarios a través de sus rasgos de preferencias fuertes que fue cruzado con sus opiniones en busca de correlaciones que fundamenten algún patrón o tendencia. Los resultados de la ejecución del plan de evaluación mostraron el estado de situación de la gestión de la calidad desarrollada por el área de IT del organismo, el cual prevé un plan de mejoras, actuación y refinamiento del modelo propuesto para continuar las mediciones extendiéndolo incluso a otras áreas de IT de organismos gubernamentales, reutilizando de esta manera la experiencia adquirida e institucionalizando un proceso de aprendizaje continuo.