Im Bereich der Industrieisolierung ist das Handaufmaß gängige Praxis, um Rohrleitungsgeometrien zu erfassen und anschließend eine passende Dämmung zu fertigen. Laserbasierte Messverfahren (LiDAR) aus dem geodätischen Bereich konnten sich in der Industrieisolierung nicht durchsetzen. Trotz verschiedener Automationsansätze ist die Modellierung auf Basis der Punktwolken mit Standardsoftware aufwändig und nur geschulten Anwendern vorbehalten. Ergänzt wird diese Tatsache um die Problematik teurer Hardwarekosten. Photogrammetrische Ansätze bilden hierzu eine kostengünstige Alternative. Zugehörige Rekonstruktionsverfahren für Rohrleitungen existieren bereits, sind jedoch wenig automatisiert. In dieser Arbeit werden daher die Automationsmöglichkeiten für eine photogrammetrische Rekonstruktion von Rohrleitungen im industriellen Umfeld thematisiert. Der Forschungsbeitrag dieser Arbeit kann in drei Schwerpunkte gegliedert werden: a) Automationsansätze auf Basis von Objektwissen, b) Automationsansätze mittels Deep Learning und c) ein Ausgleichungsverfahren für Aufnahmen eines Unmanned Aerial System (UAS) zur simultanen Bildorientierung und Rekonstruktion von Rohren im Außenbereich in Anlehnung an eine Bündelblockausgleichung. Ausgehend von bekannten Rohrdurchmessern aus den Normungstexten wird zunächst für eine Kamerakonstellation mit bekannter Orientierung eine abgewandelte Art der Epipolargeometrie für Zylinder präsentiert. Diese erlaubt die Einschränkung des Suchbereichs in den Bildern und kann somit zur Detektion von Zylindern beitragen. Die Suche von Flanschen und Bögen erfolgt über bereits rekonstruierte Objekte. Eine Alternative dazu stellt die Detektion und Rekonstruktion der Rohrleitungsbauteile mithilfe von Deep Learning und Instanzsegmentierung in den Bildern dar. Hierzu werden verschiedene Modelle trainiert und Berechnungsverfahren implementiert. Die Optimierung der Rekonstruktion sowie die Integration des vorhandenen Objektwissens gelingt mithilfe eines Ausgleichungsansatzes. Die entwickelte Methodik wird schließlich für den Einsatz an UAS-Aufnahmen adaptiert. Das Ausgleichungsverfahren wird dazu um die Schätzung der Orientierungsparameter erweitert. Für eine automatisierte Berechnung können die mittels Deep Learning detektierten Rohre als Eingabedaten verwendet werden. Die einzelnen Forschungsbeiträge und neu entwickelten Ansätze werden sowohl an realen Daten zur Ermittlung der Robustheit, wie auch im Rahmen von Labortests zum Zwecke eine Genauigkeitsbeurteilung untersucht. Die Automation anhand von Objektwissen bietet sich vor allem für einfachere Aufnahmen an. Hinsichtlich der Genauigkeit sind die Ergebnisse nach der Ausgleichung mit einer manuellen Rekonstruktion beziehungsweise einer LiDAR-Messung vergleichbar. Bei komplexeren Bildern empfiehlt sich dagegen die Detektion und Rekonstruktion mittels Instanzsegmentierung. Rohre, Flansche und Bögen lassen sich mit einer Erkennungsrate von knapp 60 % gut detektieren und mit einer Genauigkeit von circa 5 mm berechnen. Gegenüber der Rekonstruktion durch Objektwissen ist die Berechnung außerdem unabhängig von anderen Objekten möglich. Eine Aufnahme mittels UAS ist besonders für größere Objekte geeignet. Die erweiterte Ausgleichung zur Bildorientierung liefert in Bezug auf die Orientierungsparameter etwas schlechtere Werte als eine Berechnung über Passpunkte. Nichtsdestotrotz werden, sofern keine groben Abweichungen, zum Beispiel aufgrund von mehrdeutigen Kanten in den Bildern vorliegen, Genauigkeiten von 5-10 mm erreicht. Die Erfüllung der Genauigkeitsanforderungen für den eingangs erwähnten Einsatz in der Industrieisolierung ist damit gegeben.:1 Einführung 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 Rohrleitungsvermessung mittels LiDAR . . . . . . . . . . . . . . . . . . . . . . 3 1.2.2 Rohrleitungsvermessung mittels Photogrammetrie . . . . . . . . . . . . . . . . 6 1.2.3 Rohrleitungsvermessung mittels kombinierter Verfahren . . . . . . . . . . . . . 9 1.2.4 Rohrleitungsvermessung mittels UAS . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.5 Deep Learning in der Photogrammetrie . . . . . . . . . . . . . . . . . . . . . . 10 1.2.6 Alternative photogrammetrische Orientierungsverfahren . . . . . . . . . . . . . 11 1.2.7 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.3 Zielsetzung und Forschungsfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.4 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2 Grundlagen 17 2.1 Bauteile im Anlagenbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.1 Rohre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.2 Flansche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.3 Formstücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.1.4 Armaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.1.5 Druckbehälter und -kessel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.2 Drehung mittels Quaternionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3 Ausgewählte photogrammetrische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.1 Äußere Orientierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.2 Innere Orientierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.3 Abbildung eines Punktes ins Bild - Kollinearitätsgleichungen . . . . . . . . . . 26 2.3.4 Verfahren zur Lösung der Inneren und Äußeren Orientierung . . . . . . . . . . . 26 2.4 Abbildung von 3D-Volumenkörpern . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.4.1 Projektion von Kegeln und Zylindern . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.2 Projektion von Tori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.3 Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.5 Extraktion von Bildkanten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.6 Bildbasierte Zylinderrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3 Entwicklung eines Messsystems zur Rohrleitungsrekonstruktion 35 3.1 Anforderungen an das System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.2 Aufbau und Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3 Systemkalibrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.4 Arbeitsablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.5 Rekonstruktionsverfahren für Rohre und Fittings . . . . . . . . . . . . . . . . . . . . . 39 3.5.1 Rohre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.5.2 Reduzierstücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5.3 Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5.4 Flansche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.5 T-Stücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.6 Armaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.7 Behälter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.6 Optimierung der Rekonstruktion mittels Ausgleichungsrechnung . . . . . . . . . . . . . 44 3.6.1 Formulierung der Beobachtungsgleichungen . . . . . . . . . . . . . . . . . . . 44 3.6.2 Definition der Unbekannten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.6.3 Funktionale Modellierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.6.4 Prozessierung der Rohrleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4 Automationsansätze durch Objektwissen 55 4.1 Rekonstruktion von Zylindern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.1 Vollautomatischer Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.2 Halbautomatischer Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.2 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.3 Detektion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.4 Objektbasierte Transformation mehrerer Standpunkte . . . . . . . . . . . . . . . . . . . 62 4.4.1 Zuordnung korrespondierender Rohrbauteile . . . . . . . . . . . . . . . . . . . 63 4.4.2 Berechnung der Vortransformation . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.4.3 Finale Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.5 Ergebnisse und Genauigkeitsbetrachtung . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.5.1 Zylinderrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.5.2 Bogenrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5.3 Flanschrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5.4 Automatische Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.6 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5 Automation mittels Deep Learning und Instanzsegmentierung 75 5.1 Objekterkennung mittels Instanzsegmentierung . . . . . . . . . . . . . . . . . . . . . . 75 5.1.1 Übersicht über die verschiedenen Modelle . . . . . . . . . . . . . . . . . . . . . 75 5.1.2 Eigene Implementierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.2 Rekonstruktion von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 5.3 Rekonstruktion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5.3.1 Strategie für das Labeln der Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.3.2 Prozessierung und Verschneidung der Masken . . . . . . . . . . . . . . . . . . . 84 5.4 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.5 Ergebnisse und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.5.1 Erkennung von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.5.2 Rekonstruktion von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 5.5.3 Erkennung von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.5.4 Rekonstruktion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.5.5 Erkennung von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.5.6 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 5.6 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6 Objektaufnahme mittels UAS 107 6.1 Zylinderbasierte Bündelausgleichung zur Orientierung und Rekonstruktion . . . . . . . 109 6.1.1 Szenario 1: Bildaufnahme mit einer GNSS-Einzellösung und Passpunkten . . . . 110 6.1.2 Szenario 2: Aufnahme mit differentiellem GNSS und ohne Verknüpfungspunkte 114 6.2 Testmessungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 6.2.1 Feldtest in einer Industrieanlage . . . . . . . . . . . . . . . . . . . . . . . . . . 116 6.2.2 Genauigkeitsuntersuchung im Labor . . . . . . . . . . . . . . . . . . . . . . . . 119 6.3 Ergebnisse und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 6.3.1 Genauigkeit der Bildorientierung im Feldversuch . . . . . . . . . . . . . . . . . 120 6.3.2 Genauigkeit der Rekonstruktion im Feldversuch . . . . . . . . . . . . . . . . . . 122 6.3.3 Qualität der Näherungswerte für die Bildorientierung . . . . . . . . . . . . . . . 124 6.3.4 Genauigkeitsuntersuchung im Labor . . . . . . . . . . . . . . . . . . . . . . . . 125 6.4 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 7 Zusammenfassung und Ausblick 131 7.1 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 7.2 Potenziale für zukünftige Forschungsarbeiten . . . . . . . . . . . . . . . . . . . . . . . 134 7.3 Ausblick zur Integration der Daten in den Fertigungsprozess . . . . . . . . . . . . . . . 135 Literaturverzeichnis 137 / In the field of industrial insulation, manual measurement of pipe geometries is common practice in order to produce exactly fitting insulation. Laser-based measurement methods (LiDAR) from the geodetic sector have not been able to establish themselves in industrial insulation. Despite various automation approaches, modeling on the basis of point clouds with standard software is time-consuming and reserved for skilled users only. This fact is compounded by the problem of expensive hardware costs. Photogrammetric approaches are a cost-effective alternative. Reconstruction methods for pipelines already exist, but are not very automated. This thesis therefore focuses on the automation possibilities for photogrammetric reconstruction of pipelines in an industrial environment. The research contribution of this work can be divided into three main areas: a) automation approaches based on object knowledge, b) automation approaches using deep learning and c) an adjustment method for UAS imagery for simultaneous image orientation and reconstruction of pipes similar to a bundle block adjustment. Based on known pipe diameters from the standardization texts, a modified type of epipolar geometry for cylinders is first presented for a camera constellation with a known orientation. This allows the restriction of the search area in the images and can thus contribute to the detection of cylinders. Flanges and elbows are searched for using already reconstructed objects. Alternatively, pipeline components can be detected in the images using deep learning and instance segmentation. Various models were trained for this purpose. The 3D geometry can then be derived directly from the images. An adjustment approach is used to optimize the reconstruction and to integrate the existing object knowledge. Finally, the developed methodology is adapted for use on UAS imagery. The adjustment is extended to estimate the orientation parameters. For this purpose, the detected pipes can serve as input data to automate the calculation. The individual research contributions and newly developed approaches were examined both using real data to determine robustness and in laboratory tests to assess accuracy. Automation based on object knowledge is particularly suitable for simpler images. In terms of accuracy, the results after the adjustment are comparable with manual reconstruction or LiDAR measurements. For more complex images, however, detection and reconstruction using instance segmentation is recommended. Pipes, flanges and elbows in particular can be recognized well with a precision of almost 60 % and can be calculated with an accuracy of approx. 5 mm Compared to reconstruction using object knowledge, calculation is also possible independently of other objects. UAS imagery is particularly suitable for larger objects. The extended adjustment for image orientation provides slightly worse values for the orientation parameters than a calculation using ground control points. Nevertheless, an accuracy of 5-10 mm can be achieved, provided there are no gross deviations, for example due to ambiguous edges in the images. This therefore meets the accuracy requirements for the aforementioned use in industrial insulation.:1 Einführung 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 Rohrleitungsvermessung mittels LiDAR . . . . . . . . . . . . . . . . . . . . . . 3 1.2.2 Rohrleitungsvermessung mittels Photogrammetrie . . . . . . . . . . . . . . . . 6 1.2.3 Rohrleitungsvermessung mittels kombinierter Verfahren . . . . . . . . . . . . . 9 1.2.4 Rohrleitungsvermessung mittels UAS . . . . . . . . . . . . . . . . . . . . . . . 9 1.2.5 Deep Learning in der Photogrammetrie . . . . . . . . . . . . . . . . . . . . . . 10 1.2.6 Alternative photogrammetrische Orientierungsverfahren . . . . . . . . . . . . . 11 1.2.7 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.3 Zielsetzung und Forschungsfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.4 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2 Grundlagen 17 2.1 Bauteile im Anlagenbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.1 Rohre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.2 Flansche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1.3 Formstücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.1.4 Armaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.1.5 Druckbehälter und -kessel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.2 Drehung mittels Quaternionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.3 Ausgewählte photogrammetrische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.1 Äußere Orientierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.2 Innere Orientierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.3 Abbildung eines Punktes ins Bild - Kollinearitätsgleichungen . . . . . . . . . . 26 2.3.4 Verfahren zur Lösung der Inneren und Äußeren Orientierung . . . . . . . . . . . 26 2.4 Abbildung von 3D-Volumenkörpern . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.4.1 Projektion von Kegeln und Zylindern . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.2 Projektion von Tori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4.3 Sichtbarkeitsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 2.5 Extraktion von Bildkanten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 2.6 Bildbasierte Zylinderrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3 Entwicklung eines Messsystems zur Rohrleitungsrekonstruktion 35 3.1 Anforderungen an das System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 3.2 Aufbau und Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3 Systemkalibrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.4 Arbeitsablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.5 Rekonstruktionsverfahren für Rohre und Fittings . . . . . . . . . . . . . . . . . . . . . 39 3.5.1 Rohre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.5.2 Reduzierstücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5.3 Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.5.4 Flansche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.5 T-Stücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.6 Armaturen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.7 Behälter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.6 Optimierung der Rekonstruktion mittels Ausgleichungsrechnung . . . . . . . . . . . . . 44 3.6.1 Formulierung der Beobachtungsgleichungen . . . . . . . . . . . . . . . . . . . 44 3.6.2 Definition der Unbekannten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.6.3 Funktionale Modellierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.6.4 Prozessierung der Rohrleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4 Automationsansätze durch Objektwissen 55 4.1 Rekonstruktion von Zylindern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.1 Vollautomatischer Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.1.2 Halbautomatischer Ansatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.2 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.3 Detektion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.4 Objektbasierte Transformation mehrerer Standpunkte . . . . . . . . . . . . . . . . . . . 62 4.4.1 Zuordnung korrespondierender Rohrbauteile . . . . . . . . . . . . . . . . . . . 63 4.4.2 Berechnung der Vortransformation . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.4.3 Finale Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.5 Ergebnisse und Genauigkeitsbetrachtung . . . . . . . . . . . . . . . . . . . . . . . . . . 66 4.5.1 Zylinderrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 4.5.2 Bogenrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5.3 Flanschrekonstruktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 4.5.4 Automatische Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.6 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5 Automation mittels Deep Learning und Instanzsegmentierung 75 5.1 Objekterkennung mittels Instanzsegmentierung . . . . . . . . . . . . . . . . . . . . . . 75 5.1.1 Übersicht über die verschiedenen Modelle . . . . . . . . . . . . . . . . . . . . . 75 5.1.2 Eigene Implementierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 5.2 Rekonstruktion von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 5.3 Rekonstruktion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5.3.1 Strategie für das Labeln der Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 83 5.3.2 Prozessierung und Verschneidung der Masken . . . . . . . . . . . . . . . . . . . 84 5.4 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.5 Ergebnisse und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.5.1 Erkennung von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.5.2 Rekonstruktion von Rohren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 5.5.3 Erkennung von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.5.4 Rekonstruktion von Flanschen . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.5.5 Erkennung von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.5.6 Rekonstruktion von Bögen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 5.6 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 6 Objektaufnahme mittels UAS 107 6.1 Zylinderbasierte Bündelausgleichung zur Orientierung und Rekonstruktion . . . . . . . 109 6.1.1 Szenario 1: Bildaufnahme mit einer GNSS-Einzellösung und Passpunkten . . . . 110 6.1.2 Szenario 2: Aufnahme mit differentiellem GNSS und ohne Verknüpfungspunkte 114 6.2 Testmessungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 6.2.1 Feldtest in einer Industrieanlage . . . . . . . . . . . . . . . . . . . . . . . . . . 116 6.2.2 Genauigkeitsuntersuchung im Labor . . . . . . . . . . . . . . . . . . . . . . . . 119 6.3 Ergebnisse und Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 6.3.1 Genauigkeit der Bildorientierung im Feldversuch . . . . . . . . . . . . . . . . . 120 6.3.2 Genauigkeit der Rekonstruktion im Feldversuch . . . . . . . . . . . . . . . . . . 122 6.3.3 Qualität der Näherungswerte für die Bildorientierung . . . . . . . . . . . . . . . 124 6.3.4 Genauigkeitsuntersuchung im Labor . . . . . . . . . . . . . . . . . . . . . . . . 125 6.4 Zwischenfazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 7 Zusammenfassung und Ausblick 131 7.1 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 7.2 Potenziale für zukünftige Forschungsarbeiten . . . . . . . . . . . . . . . . . . . . . . . 134 7.3 Ausblick zur Integration der Daten in den Fertigungsprozess . . . . . . . . . . . . . . . 135 Literaturverzeichnis 137

The UAE Pavilion will be a major attraction at Expo 2020 in Dubai. The roof of the building consists of 28 operable wings made of carbon and glass fiber, having masses ranging from 5 to 18 tons and total lengths in the range of 30 to 65 m that have to be actuated by a dedicated mechanism. In this paper we present the turn-key project for the design, manufacturing, installation, test and commissioning of the Roof Wing Opening System, which represents a unique system world-wide for operating the wings. It consists of one Hydraulic Power Unit with approximately 1 MW of installed power, 2 km of piping working at the nominal pressure of 210 bar, 46 hydraulic cylinders with 1.5 tons of mass each and the complete automation and control subsystem that includes 9 separate PLCs, dedicated software, 2.000 sensors and control points, and over 20 km of harness. One major challenge is the control of the wings. Part of them, due to their huge dimensions and masses, are actuated using two or three hydraulic cylinders that have to be properly synchronized during the movement, preventing unwanted displacements in order to avoid stresses on the wing mechanical structure and ultimately permanent damages. Due to the nature of the project, a final validation of the control algorithms can be done only at system level during the commissioning phase. Therefore, particular care has to be devoted to the verification strategy, anticipating the behavior of the system in the early validation stages and following a V-model approach, in order to identify critical situations and reduce the overall risk. After a brief system description, we will explain how the verification has been approached by using system level simulations and dedicated testing activities on specific subsystems. In particular, we will detail the verification of the control algorithms that has been performed on a dedicated Hardware-Inthe- Loop system first, followed then by dedicated tests on a reduced wing mock-up, allowing the study of the system behavior under the most critical conditions. These include the application of external forces with specified profiles. Finally, we will provide the actual status of the system installation, testing and commissioning activities that have been running in Dubai since January 2019.