Zusammenfassung Heutige Ansätze des 3D-Trackings für die Registrierung in der realen Welt zum Einsatz von Augmented Reality lassen sich in modellbasierte und umgebungsbasierte Verfahren unterteilen. Umgebungsbasierte Verfahren nutzen den SLAM-Algorithmus zur Erzeugung dreidimensionaler Punktwolken der Umgebung in Echtzeit. Modellbasierte Verfahren finden Ihren Ursprung im Canny edge detector und nutzen aus den CAD-Modellen abgeleitete Kantenmodelle. Wird das modellbasierte Verfahren über Kantendetektion und das umgebungsbasierte Verfahren über 3DPunktewolken kombiniert, ergibt sich ein robustes, hybrides 3D-Tracking. Die entsprechenden Algorithmen der verschiedenen Verfahren sind in heute verfügbaren AR-Frameworks bereits implementiert. Der vorliegende Betrag zeigt zwar, welche Effizienz das hybride 3D-Tracking aufweist, jedoch auch die Problematik der erforderlichen geometrischen Ähnlichkeit von idealem CAD-Modell, bzw. Kantenmodell, und realem Objekt. Bei unterschiedlichen Montagestufen an verschiedenen Montagestationen und mit wechselnden Anwendern ist beispielsweise eine erneute Initialisierung erforderlich. Somit bedingt das hybride 3D-Tracking zahlreiche Kantenmodell, die zuvor aus der jeweiligen Montagestufe abgeleitet werden müssen. Hinzu kommen geometrische Abweichungen durch die Fertigung, die je nach Größe der branchenspezifischen Toleranzen keine hinreichend hohe Übereinstimmung mit den abgeleiteten Kantenmodellen aus den idealen CAD-Modellen aufweisen. Die Autoren schlagen daher den Einsatz parametrisch aufgebauter Mastermodelle vor, welche durch eine interaktive Initialisierung geometrisch Instanziiert werden. Zum Einsatz kommt hier ein mobiler Tiefensensor für Smart Devices, welcher mit Hilfe des Anwenders eine Relation der realen geometrischen Merkmale mit den Idealen des CAD-Modells ermöglicht. Des Weiteren wird in dem dargestellten Konzept die Nutzung von speziellen Suchalgorithmen basierend auf geometrischen Ähnlichkeiten vorgeschlagen, sodass eine Registrierung und Instanziierung auch ohne hinterlegtes Mastermodell ermöglicht wird. Der Beitrag fokussiert sich bei der Validierung auf die interaktive Initialisierung anhand eines konkreten anwendungsnahen Beispiels, da die Initialisierung die Grundlage für die weitere Entwicklung des Gesamtkonzeptes darstellt.

Zusammenfassung Heutige Ansätze des 3D-Trackings für die Registrierung in der realen Welt zum Einsatz von Augmented Reality lassen sich in modellbasierte und umgebungsbasierte Verfahren unterteilen. Umgebungsbasierte Verfahren nutzen den SLAM-Algorithmus zur Erzeugung dreidimensionaler Punktwolken der Umgebung in Echtzeit. Modellbasierte Verfahren finden Ihren Ursprung im Canny edge detector und nutzen aus den CAD-Modellen abgeleitete Kantenmodelle. Wird das modellbasierte Verfahren über Kantendetektion und das umgebungsbasierte Verfahren über 3DPunktewolken kombiniert, ergibt sich ein robustes, hybrides 3D-Tracking. Die entsprechenden Algorithmen der verschiedenen Verfahren sind in heute verfügbaren AR-Frameworks bereits implementiert. Der vorliegende Betrag zeigt zwar, welche Effizienz das hybride 3D-Tracking aufweist, jedoch auch die Problematik der erforderlichen geometrischen Ähnlichkeit von idealem CAD-Modell, bzw. Kantenmodell, und realem Objekt. Bei unterschiedlichen Montagestufen an verschiedenen Montagestationen und mit wechselnden Anwendern ist beispielsweise eine erneute Initialisierung erforderlich. Somit bedingt das hybride 3D-Tracking zahlreiche Kantenmodell, die zuvor aus der jeweiligen Montagestufe abgeleitet werden müssen. Hinzu kommen geometrische Abweichungen durch die Fertigung, die je nach Größe der branchenspezifischen Toleranzen keine hinreichend hohe Übereinstimmung mit den abgeleiteten Kantenmodellen aus den idealen CAD-Modellen aufweisen. Die Autoren schlagen daher den Einsatz parametrisch aufgebauter Mastermodelle vor, welche durch eine interaktive Initialisierung geometrisch Instanziiert werden. Zum Einsatz kommt hier ein mobiler Tiefensensor für Smart Devices, welcher mit Hilfe des Anwenders eine Relation der realen geometrischen Merkmale mit den Idealen des CAD-Modells ermöglicht. Des Weiteren wird in dem dargestellten Konzept die Nutzung von speziellen Suchalgorithmen basierend auf geometrischen Ähnlichkeiten vorgeschlagen, sodass eine Registrierung und Instanziierung auch ohne hinterlegtes Mastermodell ermöglicht wird. Der Beitrag fokussiert sich bei der Validierung auf die interaktive Initialisierung anhand eines konkreten anwendungsnahen Beispiels, da die Initialisierung die Grundlage für die weitere Entwicklung des Gesamtkonzeptes darstellt.

Bei strukturorientierten, aus relativ großen Holzpartikeln aufgebauten Holzwerkstoffen wie z.B. OSB (oriented strand board) addieren sich die gerichteten Festigkeiten der einzelnen Lagen je nach Orientierung der Partikel und der Verteilung ihrer Größenparameter. Wünschenswert wäre eine Messung der Partikelgeometrie und Orientierung möglichst im Prozess, z.B. am Formstrang vor der Presse direkt durch den „Blick auf das Vlies“. Bisher sind regelmäßige on-line-Messungen der Spangeometrie aber nicht möglich, und Einzelspanmessungen werden nicht vorgenommen, weil sie zu aufwändig wären. Um die Partikelkonturen zunächst hinreichend für die Vermessung zu restaurieren und dann zu vermessen, muss ein mehrstufiges Verfahren angewendet werden, das eine Szene mit Strands und mehr oder weniger deutlichen Kanten zunächst als „Grauwertgebirge“ auffasst. Zur Segmentierung reicht ein Watershed-Algorithmus nicht aus. Auch ein zweistufiger Kantendetektor nach Canny liefert allein noch kein ausreichendes Ergebnis, weil sich keine geschlossenen Objektkonturen ergeben. Hinreichend dagegen ist ein komplexes Verfahren auf der Grundlage der Höhenschichtzerlegung und nachfolgenden Synthese: Nach einer Transformation der Grauwerte des Bildes in eine reduzierte, gleichverteilte Anzahl von Höhenschichten werden zwischen diesen die lokalen morphologischen Gradienten berechnet und herangezogen für die Rekonstruktion der ursprünglichen Spankonturen. Diese werden aus den Höhenschichten aufaddiert, wobei allerdings nur Teilflächen innerhalb eines für die gesuchten Spangrößen plausiblen Größenintervalls einbezogen werden, um Störungen zu unterdrücken. Das Ergebnis der Rekonstruktion wird zusätzlich verknüpft mit den bereits durch einen Canny-Operator im Originalbild detektierten deutlichen Kanten und morphologisch bereinigt. Diese erweiterte Höhenschichtanalyse ergibt ausreichend segmentierte Bilder, in denen die Objektgrenzen weitgehend den Spankonturen entsprechen. Bei der nachfolgenden Vermessung der Objekte werden Standard-Algorithmen eingesetzt, wobei sich die Approximation von Spankonturen durch momentengleiche Ellipsen als sinnvoll erwies. Verbliebene Fehldetektionen können bei der Vermessung unterdrückt werden durch Formfaktoren und zusätzliche Größenintervalle. Zur Darstellung und Charakterisierung der Größenverteilungen für die Länge und die Breite wurden die nach der Objektfläche gewichtete, linear skalierte Verteilungsdichte (q2-Verteilung), die Verteilungssumme und verschiedene Quantile verwendet. Zur Umsetzung und Demonstration des Zusammenwirkens der verschiedenen Algorithmen wurde auf der Basis von MATLAB das Demonstrationsprogramm „SizeBulk“ entwickelt, das Bildfolgen verarbeiten kann und mit dem die verschiedenen Varianten der Bildaufbereitung und Parametrierung durchgespielt werden können. Das Ergebnis des Detektionsverfahrens enthält allerdings nur die vollständigen Konturen der ganz oben liegenden Objekte; Objekte unterhalb der Außenlage sind teilweise verdeckt und können daher nur unvollständig vermessen werden. Zum Test wurden daher synthetische Bilder mit vereinzelten und überlagerten Objekten bekannter Größenverteilung erzeugt und dem Detektions- und Messverfahren unterworfen. Dabei zeigte sich, dass die Größenstatistiken durch den Überlagerungseffekt und auch die Spanorientierung zwar beeinflusst werden, dass aber zumindest die Modalwerte der wichtigsten Größenparameter Länge und Breite meist erkennbar bleiben. Als Versuchsmaterial dienten außer den synthetischen Bildern verschiedene Sortimente von OSB-Strands aus Industrie- und Laborproduktion. Sie wurden sowohl manuell vereinzelt als auch zu einem Vlies arrangiert vermessen. Auch bei realen Strands zeigten sich gleiche Einflüsse der Überlagerung auf die Größenverteilungen wie in der Simulation. Es gilt aber auch hier, dass die Charakteristika verschiedener Spankontingente bei gleichen Aufnahmebedingungen und Auswerteparametern gut messbar sind bzw. dass Änderungen in der gemessenen Größenverteilung eindeutig den geometrischen Eigenschaften der Späne zugeordnet werden können. Die Eignung der Verarbeitungsfolge zur Charakterisierung von Spangrößenverteilungen bestätigte sich auch an Bildern, die ausschließlich am Vlies auf einem Formstrang aufgenommen wurden. Zusätzlich wurde nachgewiesen, dass mit der erweiterten Höhenschichtanalyse auch Bilder von Spanplattenoberflächen ausgewertet werden könnten und daraus auf die Größenverteilung der eingesetzten Deckschichtspäne geschlossen werden kann. Das vorgestellte Verfahren ist daher eine gute und neuartige Möglichkeit, prozessnah an Teilflächen von OSB-Vliesen anhand von Grauwertbildern die Größenverteilungen der Strands zu charakterisieren und eignet sich grundsätzlich für den industriellen Einsatz. Geeignete Verfahren waren zumindest für Holzpartikel bisher nicht bekannt. Diese Möglichkeit, Trends in der Spangrößenverteilung automatisch zu erkennen, eröffnet daher neue Perspektiven für die Prozessüberwachung. / The strength of wood-based materials made of several layers of big and oriented particles like OSB (oriented strand board) is a superposition of the strengths of the layers according to the orientation of the particles and depending from their size distribution. It would be desirable to measure particle geometry and orientation close to the production process, e.g. with a “view onto the mat”. Currently, continuous on-line measurements of the particle geometry are not possible, while measurements of separated particles would be too costly and time-consuming. Before measuring particle shapes they have to be reconstructed in a multi-stage procedure which considers an image scene with strands as “gray value mountains”. Segmentation using a watershed algorithm is not sufficient. Also a two-step edge detector according to Canny does not yield closed object shapes. A multi-step procedure based on threshold decomposition and recombination however is successful: The gray values in the image are transformed into a reduced and uniformly distributed set of threshold levels. The local morphological gradients between these levels are used to re-build the original particle shapes by adding the threshold levels. Only shapes with a plausible size corresponding to real particle shapes are included in order to suppress noise. The result of the reconstruction from threshold levels is then matched with the result of the strong edges in the original image, which had been detected using a Canny operator, and is finally cleaned with morphological operators. This extended threshold analysis produces sufficiently segmented images with object shapes corresponding extensively to the particle shapes. Standard algorithms are used to measure geometric features of the objects. An approximation of particle shapes with ellipses of equal moments of inertia is useful. Remaining incorrectly detected objects are removed by form factors and size intervals. Size distributions for the parameters length and width are presented and characterized as density distribution histograms, weighted by the object area and linearly scaled (q2 distribution), as well as the cumulated distribution and different quantiles. A demonstration software “SizeBulk” based on MATLAB has been developed to demonstrate the computation and the interaction of algorithms. Image sequences can be processed and different variations of image preprocessing and parametrization can be tested. However, the detection procedure yields complete shapes only for those particles in the top layer. Objects in lower layers are partially hidden and cannot be measured completely. Artificial images with separated and with overlaid objects with a known size distribution were generated to study this effect. It was shown that size distributions are influenced by this covering effect and also by the strand orientation, but that at least the modes of the most important size parameters length and width remain in evidence. Artificial images and several samples with OSB strands from industrial and laboratory production were used for testing. They were measured as single strands as well as arrangements similar to an OSB mat. For real strands, the same covering effects to the size distributions revealed as in the simulation. Under stable image acquisition conditions and using similar processing parameters the characteristics of these samples can well be measured, and changes in the size distributions are definitely due to the geometric properties of the strands. The suitability of the processing procedure for the characterization of strand size distributions could also be confirmed for images acquired from OSB mats in a production line. Moreover, it could be shown that the extended threshold analysis is also suitable to evaluate images of particle board surfaces and to draw conclusions about the size distribution of the top layer particles. Therefore, the method presented here is a novel possibility to measure size distributions of OSB strands through the evaluation of partial gray value images of the mat surface. In principle, this method is suitable to be transferred to an industrial application. So far, methods that address the problem of detecting trends of the strand size distribution were not known, and this work shows new perspectives for process monitoring.

Bei strukturorientierten, aus relativ großen Holzpartikeln aufgebauten Holzwerkstoffen wie z.B. OSB (oriented strand board) addieren sich die gerichteten Festigkeiten der einzelnen Lagen je nach Orientierung der Partikel und der Verteilung ihrer Größenparameter. Wünschenswert wäre eine Messung der Partikelgeometrie und Orientierung möglichst im Prozess, z.B. am Formstrang vor der Presse direkt durch den „Blick auf das Vlies“. Bisher sind regelmäßige on-line-Messungen der Spangeometrie aber nicht möglich, und Einzelspanmessungen werden nicht vorgenommen, weil sie zu aufwändig wären. Um die Partikelkonturen zunächst hinreichend für die Vermessung zu restaurieren und dann zu vermessen, muss ein mehrstufiges Verfahren angewendet werden, das eine Szene mit Strands und mehr oder weniger deutlichen Kanten zunächst als „Grauwertgebirge“ auffasst. Zur Segmentierung reicht ein Watershed-Algorithmus nicht aus. Auch ein zweistufiger Kantendetektor nach Canny liefert allein noch kein ausreichendes Ergebnis, weil sich keine geschlossenen Objektkonturen ergeben. Hinreichend dagegen ist ein komplexes Verfahren auf der Grundlage der Höhenschichtzerlegung und nachfolgenden Synthese: Nach einer Transformation der Grauwerte des Bildes in eine reduzierte, gleichverteilte Anzahl von Höhenschichten werden zwischen diesen die lokalen morphologischen Gradienten berechnet und herangezogen für die Rekonstruktion der ursprünglichen Spankonturen. Diese werden aus den Höhenschichten aufaddiert, wobei allerdings nur Teilflächen innerhalb eines für die gesuchten Spangrößen plausiblen Größenintervalls einbezogen werden, um Störungen zu unterdrücken. Das Ergebnis der Rekonstruktion wird zusätzlich verknüpft mit den bereits durch einen Canny-Operator im Originalbild detektierten deutlichen Kanten und morphologisch bereinigt. Diese erweiterte Höhenschichtanalyse ergibt ausreichend segmentierte Bilder, in denen die Objektgrenzen weitgehend den Spankonturen entsprechen. Bei der nachfolgenden Vermessung der Objekte werden Standard-Algorithmen eingesetzt, wobei sich die Approximation von Spankonturen durch momentengleiche Ellipsen als sinnvoll erwies. Verbliebene Fehldetektionen können bei der Vermessung unterdrückt werden durch Formfaktoren und zusätzliche Größenintervalle. Zur Darstellung und Charakterisierung der Größenverteilungen für die Länge und die Breite wurden die nach der Objektfläche gewichtete, linear skalierte Verteilungsdichte (q2-Verteilung), die Verteilungssumme und verschiedene Quantile verwendet. Zur Umsetzung und Demonstration des Zusammenwirkens der verschiedenen Algorithmen wurde auf der Basis von MATLAB das Demonstrationsprogramm „SizeBulk“ entwickelt, das Bildfolgen verarbeiten kann und mit dem die verschiedenen Varianten der Bildaufbereitung und Parametrierung durchgespielt werden können. Das Ergebnis des Detektionsverfahrens enthält allerdings nur die vollständigen Konturen der ganz oben liegenden Objekte; Objekte unterhalb der Außenlage sind teilweise verdeckt und können daher nur unvollständig vermessen werden. Zum Test wurden daher synthetische Bilder mit vereinzelten und überlagerten Objekten bekannter Größenverteilung erzeugt und dem Detektions- und Messverfahren unterworfen. Dabei zeigte sich, dass die Größenstatistiken durch den Überlagerungseffekt und auch die Spanorientierung zwar beeinflusst werden, dass aber zumindest die Modalwerte der wichtigsten Größenparameter Länge und Breite meist erkennbar bleiben. Als Versuchsmaterial dienten außer den synthetischen Bildern verschiedene Sortimente von OSB-Strands aus Industrie- und Laborproduktion. Sie wurden sowohl manuell vereinzelt als auch zu einem Vlies arrangiert vermessen. Auch bei realen Strands zeigten sich gleiche Einflüsse der Überlagerung auf die Größenverteilungen wie in der Simulation. Es gilt aber auch hier, dass die Charakteristika verschiedener Spankontingente bei gleichen Aufnahmebedingungen und Auswerteparametern gut messbar sind bzw. dass Änderungen in der gemessenen Größenverteilung eindeutig den geometrischen Eigenschaften der Späne zugeordnet werden können. Die Eignung der Verarbeitungsfolge zur Charakterisierung von Spangrößenverteilungen bestätigte sich auch an Bildern, die ausschließlich am Vlies auf einem Formstrang aufgenommen wurden. Zusätzlich wurde nachgewiesen, dass mit der erweiterten Höhenschichtanalyse auch Bilder von Spanplattenoberflächen ausgewertet werden könnten und daraus auf die Größenverteilung der eingesetzten Deckschichtspäne geschlossen werden kann. Das vorgestellte Verfahren ist daher eine gute und neuartige Möglichkeit, prozessnah an Teilflächen von OSB-Vliesen anhand von Grauwertbildern die Größenverteilungen der Strands zu charakterisieren und eignet sich grundsätzlich für den industriellen Einsatz. Geeignete Verfahren waren zumindest für Holzpartikel bisher nicht bekannt. Diese Möglichkeit, Trends in der Spangrößenverteilung automatisch zu erkennen, eröffnet daher neue Perspektiven für die Prozessüberwachung. / The strength of wood-based materials made of several layers of big and oriented particles like OSB (oriented strand board) is a superposition of the strengths of the layers according to the orientation of the particles and depending from their size distribution. It would be desirable to measure particle geometry and orientation close to the production process, e.g. with a “view onto the mat”. Currently, continuous on-line measurements of the particle geometry are not possible, while measurements of separated particles would be too costly and time-consuming. Before measuring particle shapes they have to be reconstructed in a multi-stage procedure which considers an image scene with strands as “gray value mountains”. Segmentation using a watershed algorithm is not sufficient. Also a two-step edge detector according to Canny does not yield closed object shapes. A multi-step procedure based on threshold decomposition and recombination however is successful: The gray values in the image are transformed into a reduced and uniformly distributed set of threshold levels. The local morphological gradients between these levels are used to re-build the original particle shapes by adding the threshold levels. Only shapes with a plausible size corresponding to real particle shapes are included in order to suppress noise. The result of the reconstruction from threshold levels is then matched with the result of the strong edges in the original image, which had been detected using a Canny operator, and is finally cleaned with morphological operators. This extended threshold analysis produces sufficiently segmented images with object shapes corresponding extensively to the particle shapes. Standard algorithms are used to measure geometric features of the objects. An approximation of particle shapes with ellipses of equal moments of inertia is useful. Remaining incorrectly detected objects are removed by form factors and size intervals. Size distributions for the parameters length and width are presented and characterized as density distribution histograms, weighted by the object area and linearly scaled (q2 distribution), as well as the cumulated distribution and different quantiles. A demonstration software “SizeBulk” based on MATLAB has been developed to demonstrate the computation and the interaction of algorithms. Image sequences can be processed and different variations of image preprocessing and parametrization can be tested. However, the detection procedure yields complete shapes only for those particles in the top layer. Objects in lower layers are partially hidden and cannot be measured completely. Artificial images with separated and with overlaid objects with a known size distribution were generated to study this effect. It was shown that size distributions are influenced by this covering effect and also by the strand orientation, but that at least the modes of the most important size parameters length and width remain in evidence. Artificial images and several samples with OSB strands from industrial and laboratory production were used for testing. They were measured as single strands as well as arrangements similar to an OSB mat. For real strands, the same covering effects to the size distributions revealed as in the simulation. Under stable image acquisition conditions and using similar processing parameters the characteristics of these samples can well be measured, and changes in the size distributions are definitely due to the geometric properties of the strands. The suitability of the processing procedure for the characterization of strand size distributions could also be confirmed for images acquired from OSB mats in a production line. Moreover, it could be shown that the extended threshold analysis is also suitable to evaluate images of particle board surfaces and to draw conclusions about the size distribution of the top layer particles. Therefore, the method presented here is a novel possibility to measure size distributions of OSB strands through the evaluation of partial gray value images of the mat surface. In principle, this method is suitable to be transferred to an industrial application. So far, methods that address the problem of detecting trends of the strand size distribution were not known, and this work shows new perspectives for process monitoring.