We investigate extreme studentized and normalized residuals as test statistics for outlier detection in the Gauss-Markov model possibly not of full rank. We show how critical values (quantile values) of such test statistics are derived from the probability distribution of a single studentized or normalized residual by dividing the level of error probability by the number of residuals. This derivation neglects dependencies between the residuals. We suggest improving this by a procedure based on the Monte Carlo method for the numerical computation of such critical values up to arbitrary precision. Results for free leveling networks reveal significant differences to the values used so far. We also show how to compute those critical values for non‐normal error distributions. The results prove that the critical values are very sensitive to the type of error distribution. / Wir untersuchen extreme studentisierte und normierte Verbesserungen als Teststatistik für die Ausreißererkennung im Gauß-Markov-Modell von möglicherweise nicht vollem Rang. Wir zeigen, wie kritische Werte (Quantilwerte) solcher Teststatistiken von der Wahrscheinlichkeitsverteilung einer einzelnen studentisierten oder normierten Verbesserung abgeleitet werden, indem die Irrtumswahrscheinlichkeit durch die Anzahl der Verbesserungen dividiert wird. Diese Ableitung vernachlässigt Abhängigkeiten zwischen den Verbesserungen. Wir schlagen vor, diese Prozedur durch Einsatz der Monte-Carlo-Methode zur Berechnung solcher kritischen Werte bis zu beliebiger Genauigkeit zu verbessern. Ergebnisse für freie Höhennetze zeigen signifikante Differenzen zu den bisher benutzten Werten. Wir zeigen auch, wie man solche Werte für nicht-normale Fehlerverteilungen berechnet. Die Ergebnisse zeigen, dass die kritischen Werte sehr empfindlich auf den Typ der Fehlerverteilung reagieren.

This contribution describes an automatic and robust method, which can be applied to all classical geodetic computation problems. Starting from given input quantities (e.g. coordinates of known points, observations) computation opportunities for all other relevant quantities are found. For redundant input quantities there exists a multitude of different computation opportunities from different minimal subsets of input quantities, which are all found automatically, and their results are computed and compared. If the computation is non-unique, but only a finite number of solutions exist, then all solutions are found and computed. By comparison of the different computation results we may detect outliers in the input quantities and produce a robust final result. The method does not work stochastically, such that no stochastic model of the observations is required. The description of the algorithm is illustrated for a practical case. It is implemented on a webserver and is available for free via internet. / Der Beitrag beschreibt ein automatisches und robustes Verfahren, welches auf alle klassischen geodätischen Berechnungsprobleme angewendet werden kann. Ausgehend von vorgelegten Eingabegrößen (z.B. Koordinaten bekannter Punkte, Beobachtungen) werden Berechnungsmöglichkeiten für alle anderen relevanten Größen gefunden. Bei redundanten Eingabegrößen existiert eine Vielzahl von verschiedenen Berechnungsmöglichkeiten aus verschiedenen minimalen Untermengen von Eingabegrößen, die alle automatisch gefunden und deren Ergebnisse berechnet und verglichen werden. Wenn die Berechnung nicht eindeutig ist, aber nur eine endliche Anzahl von Lösungen existiert, dann werden alle Lösungen gefunden und berechnet. Durch den Vergleich verschiedener Berechnungsergebnisse können Ausreißer in den Eingabegrößen aufgedeckt werden und ein robustes Endergebnis wird erhalten. Das Verfahren arbeitet nicht stochastisch, so dass kein stochastisches Modell der Beobachtungen erforderlich ist. Die Beschreibung des Algorithmus wird an einem praktischen Fall illustriert. Er ist auf einem Webserver installiert und über das Internet frei verfügbar.

We investigate extreme studentized and normalized residuals as test statistics for outlier detection in the Gauss-Markov model possibly not of full rank. We show how critical values (quantile values) of such test statistics are derived from the probability distribution of a single studentized or normalized residual by dividing the level of error probability by the number of residuals. This derivation neglects dependencies between the residuals. We suggest improving this by a procedure based on the Monte Carlo method for the numerical computation of such critical values up to arbitrary precision. Results for free leveling networks reveal significant differences to the values used so far. We also show how to compute those critical values for non‐normal error distributions. The results prove that the critical values are very sensitive to the type of error distribution. / Wir untersuchen extreme studentisierte und normierte Verbesserungen als Teststatistik für die Ausreißererkennung im Gauß-Markov-Modell von möglicherweise nicht vollem Rang. Wir zeigen, wie kritische Werte (Quantilwerte) solcher Teststatistiken von der Wahrscheinlichkeitsverteilung einer einzelnen studentisierten oder normierten Verbesserung abgeleitet werden, indem die Irrtumswahrscheinlichkeit durch die Anzahl der Verbesserungen dividiert wird. Diese Ableitung vernachlässigt Abhängigkeiten zwischen den Verbesserungen. Wir schlagen vor, diese Prozedur durch Einsatz der Monte-Carlo-Methode zur Berechnung solcher kritischen Werte bis zu beliebiger Genauigkeit zu verbessern. Ergebnisse für freie Höhennetze zeigen signifikante Differenzen zu den bisher benutzten Werten. Wir zeigen auch, wie man solche Werte für nicht-normale Fehlerverteilungen berechnet. Die Ergebnisse zeigen, dass die kritischen Werte sehr empfindlich auf den Typ der Fehlerverteilung reagieren.

In the semiconductor industry the reliability of devices is of paramount importance. Therefore, after removing the defective ones, one wants to detect irregularities in measurement data because corresponding devices have a higher risk of failure early in the product lifetime. The paper presents a method to improve the detection of such suspicious devices where the screening is made on transformed measurement data. Thereby, e.g., dependencies between tests can be taken into account. Additionally, a new dimensionality reduction is performed within the transformation, so that the reduced and transformed data comprises only the informative content from the raw data. This simplifies the complexity of the subsequent screening steps. The new approach will be applied to semiconductor measurement data and it will be shown, by means of examples, how the screening can be improved.

The so-called 3σ-rule is a simple and widely used heuristic for outlier detection. This term is a generic term of some statistical hypothesis tests whose test statistics are known as normalized or studentized residuals. The conditions, under which this rule is statistically substantiated, were analyzed, and the extent it applies to geodetic least-squares adjustment was investigated. Then, the efficiency or non-efficiency of this method was analyzed and demonstrated on the example of repeated observations. / Die sogenannte 3σ-Regel ist eine einfache und weit verbreitete Heuristik für die Ausreißererkennung. Sie ist ein Oberbegriff für einige statistische Hypothesentests, deren Teststatistiken als normierte oder studentisierte Verbesserungen bezeichnet werden. Die Bedingungen, unter denen diese Regel statistisch begründet ist, werden analysiert. Es wird untersucht, inwieweit diese Regel auf geodätische Ausgleichungsprobleme anwendbar ist. Die Effizienz oder Nichteffizienz dieser Methode wird analysiert und demonstriert am Beispiel von Wiederholungsmessungen.

The so-called 3σ-rule is a simple and widely used heuristic for outlier detection. This term is a generic term of some statistical hypothesis tests whose test statistics are known as normalized or studentized residuals. The conditions, under which this rule is statistically substantiated, were analyzed, and the extent it applies to geodetic least-squares adjustment was investigated. Then, the efficiency or non-efficiency of this method was analyzed and demonstrated on the example of repeated observations. / Die sogenannte 3σ-Regel ist eine einfache und weit verbreitete Heuristik für die Ausreißererkennung. Sie ist ein Oberbegriff für einige statistische Hypothesentests, deren Teststatistiken als normierte oder studentisierte Verbesserungen bezeichnet werden. Die Bedingungen, unter denen diese Regel statistisch begründet ist, werden analysiert. Es wird untersucht, inwieweit diese Regel auf geodätische Ausgleichungsprobleme anwendbar ist. Die Effizienz oder Nichteffizienz dieser Methode wird analysiert und demonstriert am Beispiel von Wiederholungsmessungen.

The detection of multiple outliers can be interpreted as a model selection problem. Models that can be selected are the null model, which indicates an outlier free set of observations, or a class of alternative models, which contain a set of additional bias parameters. A common way to select the right model is by using a statistical hypothesis test. In geodesy data snooping is most popular. Another approach arises from information theory. Here, the Akaike information criterion (AIC) is used to select an appropriate model for a given set of observations. The AIC is based on the Kullback-Leibler divergence, which describes the discrepancy between the model candidates. Both approaches are discussed and applied to test problems: the fitting of a straight line and a geodetic network. Some relationships between data snooping and information criteria are discussed. When compared, it turns out that the information criteria approach is more simple and elegant. Along with AIC there are many alternative information criteria for selecting different outliers, and it is not clear which one is optimal.

The detection of multiple outliers can be interpreted as a model selection problem. Models that can be selected are the null model, which indicates an outlier free set of observations, or a class of alternative models, which contain a set of additional bias parameters. A common way to select the right model is by using a statistical hypothesis test. In geodesy data snooping is most popular. Another approach arises from information theory. Here, the Akaike information criterion (AIC) is used to select an appropriate model for a given set of observations. The AIC is based on the Kullback-Leibler divergence, which describes the discrepancy between the model candidates. Both approaches are discussed and applied to test problems: the fitting of a straight line and a geodetic network. Some relationships between data snooping and information criteria are discussed. When compared, it turns out that the information criteria approach is more simple and elegant. Along with AIC there are many alternative information criteria for selecting different outliers, and it is not clear which one is optimal.

The concept of outlier detection by statistical hypothesis testing in geodesy is briefly reviewed. The performance of such tests can only be measured or optimized with respect to a proper alternative hypothesis. Firstly, we discuss the important question whether gross errors should be treated as non-random quantities or as random variables. In the first case, the alternative hypothesis must be based on the common mean shift model, while in the second case, the variance inflation model is appropriate. Secondly, we review possible formulations of alternative hypotheses (inherent, deterministic, slippage, mixture) and discuss their implications. As measures of optimality of an outlier detection, we propose the premium and protection, which are briefly reviewed. Finally, we work out a practical example: the fit of a straight line. It demonstrates the impact of the choice of an alternative hypothesis for outlier detection. / Das Konzept der Ausreißererkennung durch statistische Hypothesentests in der Geodäsie wird kurz überblickt. Die Leistungsfähigkeit solch eines Tests kann nur gemessen oder optimiert werden in Bezug auf eine geeignete Alternativhypothese. Als erstes diskutieren wir die wichtige Frage, ob grobe Fehler als nicht-zufällige oder zufällige Größen behandelt werden sollten. Im ersten Fall muss die Alternativhypothese auf das Mean-Shift-Modell gegründet werden, im zweiten Fall ist das Variance-Inflation-Modell passend. Als zweites stellen wir mögliche Formulierungen von Alternativhypothesen zusammen und diskutieren ihre Implikationen. Als Optimalitätsmaß schlagen wir das Premium-Protection-Maß vor, welches kurz überblickt wird. Schließlich arbeiten wir ein praktisches Beispiel aus: Die Anpassung einer ausgleichenden Gerade. Es zeigt die Auswirkung der Wahl einer Alternativhypothese für die Ausreißererkennung.

The concept of outlier detection by statistical hypothesis testing in geodesy is briefly reviewed. The performance of such tests can only be measured or optimized with respect to a proper alternative hypothesis. Firstly, we discuss the important question whether gross errors should be treated as non-random quantities or as random variables. In the first case, the alternative hypothesis must be based on the common mean shift model, while in the second case, the variance inflation model is appropriate. Secondly, we review possible formulations of alternative hypotheses (inherent, deterministic, slippage, mixture) and discuss their implications. As measures of optimality of an outlier detection, we propose the premium and protection, which are briefly reviewed. Finally, we work out a practical example: the fit of a straight line. It demonstrates the impact of the choice of an alternative hypothesis for outlier detection. / Das Konzept der Ausreißererkennung durch statistische Hypothesentests in der Geodäsie wird kurz überblickt. Die Leistungsfähigkeit solch eines Tests kann nur gemessen oder optimiert werden in Bezug auf eine geeignete Alternativhypothese. Als erstes diskutieren wir die wichtige Frage, ob grobe Fehler als nicht-zufällige oder zufällige Größen behandelt werden sollten. Im ersten Fall muss die Alternativhypothese auf das Mean-Shift-Modell gegründet werden, im zweiten Fall ist das Variance-Inflation-Modell passend. Als zweites stellen wir mögliche Formulierungen von Alternativhypothesen zusammen und diskutieren ihre Implikationen. Als Optimalitätsmaß schlagen wir das Premium-Protection-Maß vor, welches kurz überblickt wird. Schließlich arbeiten wir ein praktisches Beispiel aus: Die Anpassung einer ausgleichenden Gerade. Es zeigt die Auswirkung der Wahl einer Alternativhypothese für die Ausreißererkennung.