Web scraping is an efficient way of gathering data, and it has also become much eas- ier to perform and offers a high success rate. People no longer need to be tech-savvy when scraping data since several easy-to-use platform services exist. This study conducts experiments to see if people can scrape in an undetectable fashion using a popular and intelligent JavaScript library (Puppeteer). Three web scraper algorithms, where two of them use movement patterns from real-world web users, demonstrate how to retrieve information automatically from the web. They operate on a website built for this research that utilizes known semi-security mechanisms, honeypot, and activity logging, making it possible to collect and evaluate data from the algorithms and the website. The result shows that it may be possible to construct a web scraper algorithm with less detectability using Puppeteer. One of the algorithms reveals that it is possible to control computer performance using built-in methods in Puppeteer. / Webbskrapning är ett effektivt sätt att hämta data på, det har även blivit en aktivitet som är enkel att genomföra och chansen att en lyckas är hög. Användare behöver inte längre vara fantaster inom teknik när de skrapar data, det finns idag mängder olika och lättanvändliga plattformstjänster. Den här studien utför experi- ment för att se hur personer kan skrapa på ett oupptäckbart sätt med ett populärt och intelligent JavaScript bibliotek (Puppeteer). Tre webbskrapningsalgoritmer, där två av dem använder rörelsemönster från riktiga webbanvändare, demonstrerar hur en kan samla information. Webbskrapningsalgoritmerna har körts på en hemsida som ingått i experimentet med kännbar säkerhet, honeypot, och aktivitetsloggning, nå- got som gjort det möjligt att samla och utvärdera data från både algoritmerna och hemsidan. Resultatet visar att det kan vara möljligt att skrapa på ett oupptäckbart sätt genom att använda Puppeteer. En av algoritmerna avslöjar även möjligheten att kontrollera prestanda genom att använda inbyggda metoder i Puppeteer.

A partir de uma análise geométrica, do estimador de estado por mínimos quadrados ponderados, propõe-se, neste trabalho, um índice para classificação das medidas de acordo com as suas características de não refletirem grande parcela de seus erros nos resíduos do processo de estimação de estado, por mínimos quadrados ponderados. O índice proposto foi denominado Índice de Não-Detecção de Erros, ou apenas UI (Undetectability Index). As medidas com maiores UI são aquelas cujos erros grosseiros (EGs) são mais difíceis de serem detectados através de métodos que fazem uso da análise dos resíduos. Isto porque os erros dessas medidas são, de certa forma, \"mascarados\", isto é, não são refletidos nos resíduos das mesmas. Nesse sentido, a medida crítica é o caso limite de medidas cujos erros são mascarados, isto é, possui UI infinito e seu resíduo é igual a zero, independente de a mesma ter ou não EG. Para obtenção dos índices UI das medidas, desenvolveu-se um algoritmo simples e de fácil implementação. Tomando por base o índice UI, propõe-se, também, uma metodologia para processamento de EGs e dois algoritmos para projeto ou fortalecimento de sistemas de medição. Esses algoritmos possibilitam a obtenção de sistemas de medição confiáveis (observáveis e isentos de medidas críticas e de conjuntos críticas de medidas), de baixo custo e formados por medidas com índices UI menores que um valor pré-estabelecido. Para validar o índice UI e as suas aplicações propostas neste trabalho, realizaram-se diversas simulações computacionais nos sistemas de 14 e 30 barras do IEEE, tendo sido satisfatórios todos os resultados obtidos. / The present thesis proposes an index, called Undetectability Index (UI), to classify the measurements according to their characteristics of not reflecting their errors into the residuals of the weighted least squares state estimation process from a geometric analysis of this estimator. Gross errors in measurements with higher UIs are very difficult to be detected by methods based on the residual analysis, as the errors in those measurements are \"masked\", i.e., they are not reflected in the residuals. In this sense, critical measurements are the limit case of measurements that mask errors, that is, they have infinite UI and their residuals are always zero independently of their having or not gross errors. Based on the UI a methodology for gross error processing and two algorithms for metering system planning are also proposed in this thesis. These algorithms enable the obtaining of reliable measurement systems (observable and free from critical measurements and critical sets of measurements) with low investment and containing only measurements with UIs lower than a pre-established value. Several simulation results (with IEEE 14-bus and 30-bus systems) have validated the UI and its application.

Esta dissertação trata do problema de processamento de Erros Grosseiros (EGs) com base na aplicação do chamado Índice de Não-Detecção de Erros, ou apenas UI (Undetectability Index), na análise dos resíduos do estimador de estado por mínimos quadrados ponderados. O índice UI foi desenvolvido recentemente e possibilita a classificação das medidas de acordo com as suas características de não refletirem grande parcela de seus erros nos resíduos daquele estimador. As medidas com maiores UIs são aquelas cujos erros são mais difíceis de serem detectados através de métodos que fazem uso da análise dos resíduos, pois grande parcela do erro dessas medidas não aparece no resíduo. Inicialmente demonstrou-se, nesta dissertação, que erros das estimativas das variáveis de estado em um sistema com EG não-detectável (em uma medida de alto índice UI) podem ser mais significativos que em medidas com EGs detectáveis (em medidas com índices UIs baixos). Justificando, dessa forma, a importância de estudos para tornar possível o processamento de EGs em medidas com alto índice UI. Realizou-se, então, nesta dissertação, diversas simulações computacionais buscando analisar a influência de diferentes ponderações de medidas no UI e também nos erros das estimativas das variáveis de estado. Encontrou-se, então, uma maneira que destacou-se como a mais adequada para ponderação das medidas. Por fim, ampliaram-se, nesta dissertação, as pesquisas referentes ao UI para um estimador de estado por mínimos quadrados ponderados híbrido. / This dissertation deals with the problem of Gross Errors processing based on the use of the so-called Undetectability Index, or just UI. This index was developed recently and it is capable to classify the measurements according to their characteristics of not reflecting their errors into the residuals of the weighted least squares state estimation process. Gross errors in measurements with higher UIs are very difficult to be detected by methods based on the residual analysis, as the errors in those measurements are masked, i.e., they are not reflected in the residuals. Initially, this dissertation demonstrates that a non-detectable gross error (error in a measurement with high UI) may affect more the accuracy of the estimated state variables than a detectable gross error (error in a measurement with low UI). Therefore, justifying the importance of studies that make possible gross errors processing in measurements with high UI. In this dissertation, several computational simulations are carried out to analyze the influence of different weights of measurements in the UI index and also in the accuracy of the estimated state variables. It is chosen a way that stood out as the most appropriate for weighing the measurements. Finally, in this dissertation, the studies referring to the UI is extended for a hybrid weighted least squares state estimator.

A partir de uma análise geométrica, do estimador de estado por mínimos quadrados ponderados, propõe-se, neste trabalho, um índice para classificação das medidas de acordo com as suas características de não refletirem grande parcela de seus erros nos resíduos do processo de estimação de estado, por mínimos quadrados ponderados. O índice proposto foi denominado Índice de Não-Detecção de Erros, ou apenas UI (Undetectability Index). As medidas com maiores UI são aquelas cujos erros grosseiros (EGs) são mais difíceis de serem detectados através de métodos que fazem uso da análise dos resíduos. Isto porque os erros dessas medidas são, de certa forma, \"mascarados\", isto é, não são refletidos nos resíduos das mesmas. Nesse sentido, a medida crítica é o caso limite de medidas cujos erros são mascarados, isto é, possui UI infinito e seu resíduo é igual a zero, independente de a mesma ter ou não EG. Para obtenção dos índices UI das medidas, desenvolveu-se um algoritmo simples e de fácil implementação. Tomando por base o índice UI, propõe-se, também, uma metodologia para processamento de EGs e dois algoritmos para projeto ou fortalecimento de sistemas de medição. Esses algoritmos possibilitam a obtenção de sistemas de medição confiáveis (observáveis e isentos de medidas críticas e de conjuntos críticas de medidas), de baixo custo e formados por medidas com índices UI menores que um valor pré-estabelecido. Para validar o índice UI e as suas aplicações propostas neste trabalho, realizaram-se diversas simulações computacionais nos sistemas de 14 e 30 barras do IEEE, tendo sido satisfatórios todos os resultados obtidos. / The present thesis proposes an index, called Undetectability Index (UI), to classify the measurements according to their characteristics of not reflecting their errors into the residuals of the weighted least squares state estimation process from a geometric analysis of this estimator. Gross errors in measurements with higher UIs are very difficult to be detected by methods based on the residual analysis, as the errors in those measurements are \"masked\", i.e., they are not reflected in the residuals. In this sense, critical measurements are the limit case of measurements that mask errors, that is, they have infinite UI and their residuals are always zero independently of their having or not gross errors. Based on the UI a methodology for gross error processing and two algorithms for metering system planning are also proposed in this thesis. These algorithms enable the obtaining of reliable measurement systems (observable and free from critical measurements and critical sets of measurements) with low investment and containing only measurements with UIs lower than a pre-established value. Several simulation results (with IEEE 14-bus and 30-bus systems) have validated the UI and its application.

Esta dissertação trata do problema de processamento de Erros Grosseiros (EGs) com base na aplicação do chamado Índice de Não-Detecção de Erros, ou apenas UI (Undetectability Index), na análise dos resíduos do estimador de estado por mínimos quadrados ponderados. O índice UI foi desenvolvido recentemente e possibilita a classificação das medidas de acordo com as suas características de não refletirem grande parcela de seus erros nos resíduos daquele estimador. As medidas com maiores UIs são aquelas cujos erros são mais difíceis de serem detectados através de métodos que fazem uso da análise dos resíduos, pois grande parcela do erro dessas medidas não aparece no resíduo. Inicialmente demonstrou-se, nesta dissertação, que erros das estimativas das variáveis de estado em um sistema com EG não-detectável (em uma medida de alto índice UI) podem ser mais significativos que em medidas com EGs detectáveis (em medidas com índices UIs baixos). Justificando, dessa forma, a importância de estudos para tornar possível o processamento de EGs em medidas com alto índice UI. Realizou-se, então, nesta dissertação, diversas simulações computacionais buscando analisar a influência de diferentes ponderações de medidas no UI e também nos erros das estimativas das variáveis de estado. Encontrou-se, então, uma maneira que destacou-se como a mais adequada para ponderação das medidas. Por fim, ampliaram-se, nesta dissertação, as pesquisas referentes ao UI para um estimador de estado por mínimos quadrados ponderados híbrido. / This dissertation deals with the problem of Gross Errors processing based on the use of the so-called Undetectability Index, or just UI. This index was developed recently and it is capable to classify the measurements according to their characteristics of not reflecting their errors into the residuals of the weighted least squares state estimation process. Gross errors in measurements with higher UIs are very difficult to be detected by methods based on the residual analysis, as the errors in those measurements are masked, i.e., they are not reflected in the residuals. Initially, this dissertation demonstrates that a non-detectable gross error (error in a measurement with high UI) may affect more the accuracy of the estimated state variables than a detectable gross error (error in a measurement with low UI). Therefore, justifying the importance of studies that make possible gross errors processing in measurements with high UI. In this dissertation, several computational simulations are carried out to analyze the influence of different weights of measurements in the UI index and also in the accuracy of the estimated state variables. It is chosen a way that stood out as the most appropriate for weighing the measurements. Finally, in this dissertation, the studies referring to the UI is extended for a hybrid weighted least squares state estimator.