Nonparametric change point detection algorithms have been applied in intrusion detection problems and network management. Specifically, applications considering denial of service detection and traffic control are focused in this work. The algorithms studied are inspired by the CUSUM (Cumulative Sum) and SP (Shiryaev-Pollak) parametric procedures. New nonparametric sequential and batch-sequential SP inspired algorithms are introduced and they are compared with existent solutions based on CUSUM procedure in terms of the evolution of the test sequences and the detection threshold using real data containing denial of service attacks with different patterns. The results show that our sequential approach generally has better performance concerning the detection delay and false alarm rate, while our batchsequential approach can decrease the false alarm rate when they are compared to their analogous CUSUM inspired procedures. In terms of traffic control, the Leaky Bucket (LB) algorithm, the most popular traffic regulation mechanism, is proved to be a kind of CUSUM procedure. This new interpretation and the mathematical framework introduced provided a simple compact notation for this algorithm. In addition, it was possible to interpret the Fractal LB (FLB), a traffic regulator developed to deal with self-similar traffic, as a sequential test. A modification in the FLB algorithm is made, resulting in an algorithm with improved performance in terms of number of well-behaved cells marked with lower priority or discarded and punishment of bad-behaved cells. Finally, the self-similarity influence on the nonparametric sequential algorithms under study is analyzed. The consideration of the selfsimilar nature of the traffic plays a crucial role in the performance and thresholds of these algorithms. In this work, it is presented an approach to improve the performance of the nonparametric sequential CUSUM based procedure in the presence of self-similar traffic.

Nos últimos anos, as redes locais cabeadas têm sido estendidas através de redes sem fio. A vantagem desse tipo de rede é que as empresas economizam custo em infra-estrutura e conseguem prover mobilidade e flexibilidade para os usuários. Entretanto as redes sem fio estão sujeitas a ataques devido ao uso de ondas de rádio como meio de transmissão. Apesar do IEEE ter definido o WEP como mecanismo de segurança ele não é suficientemente seguro. Algumas soluções como sistemas de detecção de intrusão são desenvolvidas para mitigar as fraquezas do WEP. Um sistema de detecção de intrusão sem fio é uma ferramenta que captura todas as comunicações locais sem fio e gera alertas baseados em assinaturas pré-definidas ou anomalias no tráfego. Os sistemas existentes de código aberto atualmente são pré-definidos em termos de assinatura ou têm restrições nos tipos de ataques que podem detectar. Neste trabalho é proposto um sistema de detecção de intrusão em tempo real que detecta a presença de elementos não autorizados tais como usuários, pontos de acesso, ferramentas de Wardriving e ataques de negação de serviço.

São inegáveis os benefícios proporcionados pelo uso dos computadores e suas redes conectadas a Internet. Com o crescimento significativo dos sistemas computacionais em rede, principalmente os conectados à Internet, é possível constatar pelo portal do Centro de Estudos, Resposta e Tratamento de Incidentes de Segurança no Brasil - CERT. BR, um crescimento exponencial nos incidentes de segurança nos últimos 10 anos. Com o crescimento dos incidentes de segurança têm-se observado que a maioria deles ocorre no sistema operacional Windows, líder mundial em desktop e o segundo na venda de servidores para a Internet. Desta forma, significativas pesquisas na área de detecção de intrusão em host estão sendo realizadas em centros de pesquisa. A proposta desta dissertação é apresentar um Método para a Realização de Medidas em computador que permita distinguir o comportamento de um computador em atividade normal de outro com problemas com infecção ou intrusão. O método, derivado da análise dinâmica de malware, foi concebido em fases representativas do funcionamento de um computador: fase inicial, fase de instalação, fase de conexão de rede, fase de operação e, por fim, fase de infecção. Assim, todas as fases tiveram o seu comportamento medido e os logs foram tratados pelo processo de mineração de dados. O método é empregado, com sucesso, conjuntamente com os algoritmos ADTree e Naive Bayes na fase de experimentação, os quais se mostraram eficientes na detecção de intrusão em host com o sistema operacional Windows.

Since the creation of public exploitation frameworks, advanced payloads are used in computer attacks. The attacks generally employ evasion techniques, have anti-forensics capabilities, and use target machines as pivots to reach other machines in the network. The attacks also use polymorphic malicious code that automatically transforms themselves in semantically equivalent variants, which makes them difficult to be detected. The current approaches that try to detect the attacks, fail because they either generate high number of false positives or require high performance capability to work properly. This thesis proposes an architecture for advanced payload detection structured in layers that employ a variant of techniques. The first layers use less computing intensive techniques while the last layers make use of smarter inspection techniques. Fine-grained checks are possible due to the layered approach. For instance, the first layer employs pattern matching while the last layer uses smart network traffic disassembly. In order to improve performance in the detection of forthcoming attacks, the proposed architecture allows the updates of checking rules for more frequently detected attacks. The proposed architecture addresses the high rate false-positives problem using a confidence level updated accordingly to the threat level observed by each layer. We implemented the architecture using real-life workloads and conventional hardware platforms with acceptable throughput. We also contribute with the creation of the well-known Return Address layer optimizing the instruction emulation.