131 |
<b>Machine Sound Recognition for Smart Monitoring</b>Eunseob Kim (11791952) 17 April 2024 (has links)
<p dir="ltr">The onset of smart manufacturing signifies a crucial shift in the industrial landscape, underscoring the pressing need for systems capable of adapting to and managing the complex dynamics of modern production environments. In this context, the importance of smart monitoring becomes increasingly apparent, serving as a vital tool for ensuring operational efficiency and reliability. Inspired by the critical role of auditory perception in human decision-making, this study investigated the application of machine sound recognition for practical use in manufacturing environments. Addressing the challenge of utilizing machine sounds in the loud noises of factories, the study employed an Internal Sound Sensor (ISS).</p><p dir="ltr">The study examined how sound propagates through structures and further explored acoustic characteristics of the ISS, aiming to apply these findings in machine monitoring. To leverage the ISS effectively and achieve a higher level of monitoring, a smart sound monitoring framework was proposed to integrate sound monitoring with machine data and human-machine interface. Designed for applicability and cost effectiveness, this system employs real-time edge computing, making it adaptable for use in various industrial settings.</p><p dir="ltr">The proposed framework and ISS deployed across a diverse range of production environments, showcasing a leap forward in the integration of smart technologies in manufacturing. Their application extends beyond continuous manufacturing to include discrete manufacturing systems, demonstrating adaptability. By analyzing sound signals from various production equipment, this study delves into developing machine sound recognition models that predict operational states and productivity, aiming to enhance manufacturing efficiency and oversight on real factory floors. This comprehensive and practical approach underlines the framework's potential to revolutionize operational management and manufacturing productivity. The study progressed to integrating manufacturing context with sound data, advancing towards high-level monitoring for diagnostic predictions and digital twin. This approach confirmed sound recognition's role in manufacturing diagnostics, laying a foundation for future smart monitoring improvements.</p>
|
132 |
Characterization and Optimization of Perception Deep Neural Networks on the Edge for Connected Autonomous VehiclesTang, Sihai 05 1900 (has links)
This dissertation presents novel approaches to optimizing convolutional neural network (CNN) architectures for connected autonomous vehicle (CAV) workload on edge, tailored to surmount the challenges inherent in cooperative perception under the stringent resource constraints of edge devices (an endpoint on the network, the interface between the data center and the real world). Employing a modular methodology, this research utilizes the insights from granular examination of CAV perception workloads on edge platforms, identifying and analyzing critical bottlenecks. Through memory contention-aware neural architecture search (NAS), coupled with multi-objective optimization (MOO) and the Non-dominated Sorting Genetic Algorithm II (NSGA-II), this work dynamically optimizes CNN architectures, focusing on reducing memory cost, layer configuration and parameter optimization to reach set hardware constraints whilst maintaining a target precision performance. The results of this exploration are significant, achieving a 63% reduction in memory usage while maintaining a precision rate above 80% for CAV relevant object classes. This dissertation makes novel contributions to the field of edge computing in CAVs, offering a scalable and automated pipeline framework for dynamically obtaining an optimized model for given constraints, thus enabling CAV workloads on edge. In future research, this dissertation also opens multiple different venues for areas of integration. The modular aspect of the pipeline allows for security, privacy, scalability, and energy constraints to be added natively. Through detailed layer by layer analysis and refinement, this dissertation can ensure that CAVs can fully utilize any suitable edge device for the workload requested to realize autonomous driving for everyone.
|
133 |
Low-power Implementation of Neural Network Extension for RISC-V CPU / Lågeffektimplementering av neural nätverksutvidgning för RISC-V CPULo Presti Costantino, Dario January 2023 (has links)
Deep Learning and Neural Networks have been studied and developed for many years as of today, but there is still a great need of research on this field, because the industry needs are rapidly changing. The new challenge in this field is called edge inference and it is the deployment of Deep Learning on small, simple and cheap devices, such as low-power microcontrollers. At the same time, also on the field of hardware design the industry is moving towards the RISC-V micro-architecture, which is open-source and is developing at such a fast rate that it will soon become the standard. A batteryless ultra low power microcontroller based on energy harvesting and RISC-V microarchitecture has been the final target device of this thesis. The challenge on which this project is based is to make a simple Neural Network work on this chip, i.e., finding out the capabilities and the limits of this chip for such an application and trying to optimize as much as possible the power and energy consumption. To do that TensorFlow Lite Micro has been chosen as the Deep Learning framework of reference, and a simple existing application was studied and tested first on the SparkFun Edge board and then successfully ported to the RISC-V ONiO.zero core, with its restrictive features. The optimizations have been done only on the convolutional layer of the neural network, both by Software, implementing the Im2col algorithm, and by Hardware, designing and implementing a new RISC-V instruction and the corresponding Hardware unit that performs four 8-bit parallel multiply-and-accumulate operations. This new design drastically reduces both the inference time (3.7 times reduction) and the number of instructions executed (4.8 times reduction), meaning lower overall power consumption. This kind of application on this type of chip can open the doors to a whole new market, giving the possibility to have thousands small, cheap and self-sufficient chips deploying Deep Learning applications to solve simple everyday life problems, even without network connection and without any privacy issue. / Deep Learning och neurala nätverk har studerats och utvecklats i många år fram till idag, men det finns fortfarande ett stort behov av forskning på detta område, eftersom industrins behov förändras snabbt. Den nya utmaningen inom detta område kallas edge inferens och det är implementeringen av Deep Learning på små, enkla och billiga enheter, såsom lågeffektmikrokontroller. Samtidigt, även på området hårdvarudesign, går industrin mot RISC-V-mikroarkitekturen, som är öppen källkod och utvecklas i så snabb takt att den snart kommer att bli standarden. En batterilös mikrokontroller med ultralåg effekt baserad på energiinsamling och RISC-V-mikroarkitektur har varit den slutliga målenheten för denna avhandling. Utmaningen som detta projekt är baserat på är att få ett enkelt neuralt nätverk att fungera på detta chip, det vill säga att ta reda på funktionerna och gränserna för detta chip för en sådan applikation och försöka optimera så mycket som möjligt ström- och energiförbrukningen. För att göra det har TensorFlow Lite Micro valts som referensram för Deep Learning, och en enkel befintlig applikation studerades och testades först på SparkFun Edge-kortet och portades sedan framgångsrikt till RISC-V ONiO.zero-kärnan, med dess restriktiva funktioner. Optimeringarna har endast gjorts på det konvolutionerande skikt av det neurala nätverket, både av mjukvara, implementering av Im2col-algoritmen, och av hårdvara, design och implementering av en ny RISC-V-instruktion och motsvarande hårdvaruenhet som utför fyra 8-bitars parallella multiplikation -och-ackumulationsoperationer. Denna nya design minskar drastiskt både slutledningstiden (3,7 gånger kortare) och antalet utförda instruktioner (4.8 gånger färre), vilket innebär lägre total strömförbrukning. Den här typen av applikationer på den här typen av chip kan öppna dörrarna till en helt ny marknad, vilket ger möjlighet att ha tusentals små, billiga och självförsörjande chip som distribuerar Deep Learning-applikationer för att lösa enkla vardagsproblem, även utan nätverksanslutning och utan någon integritetsproblematik.
|
134 |
Analysis of 5G Edge Computing solutions and APIs from an E2E perspective addressing the developer experienceManocha, Jitendra January 2021 (has links)
Edge Computing is considered one of the key capabilities in next generation (5G) networks, which will enable inundation of latency, throughput, and data sensitive edge-native applications. Edge application developers require infrastructure at the edge to host the application workload and network connectivity procedures to connect the application users to the nearest edge where the application workload is hosted. Distributed nature of edge infrastructure and the requirement on network connectivity makes it attractive for communication service providers (CSPs) to become Edge Service providers (ESP); similarly, hyper-scale cloud providers (HCPs) are also planning to expand as ESP building on their cloud presence targeting edge application developers. CSPs across the globe follow a standard approach for building interoperable networks and infrastructure, while HCPs do not participate in telecom standardization bodies. Standards development organizations (SDOs) such as the European Telecommunication Standardization Institute (ETSI) and 3rd Generation Partnership Project (3GPP) are working to provide a standard architecture for edge computing solution for service providers. However, the current focus of SDOs is more on architecture and not much focus on application developer experience and the Application Programming Interfaces (APIs). On the architecture itself, there are different standards and approaches available which overlap with each other. APIs proposed by different SDOs are not easily consumable by edge application developers and require simplification. On the other hand, there are not many widely known standards in the hyper-scale cloud and public cloud industry to integrate with each other except the public application programming interfaces (APIs) offered by cloud providers. To scale and succeed, edge service providers need to focus on interoperability, not only from a cloud infrastructure perspective but from a network connectivity perspective as well. This work analyzes standards defined by different standardization bodies in the 5G edge computing area and the overlaps between the standards. The work then highlights the requirements from an edge application developer perspective, investigates the deficiencies of the standards, and proposes an end-to-end edge solution architecture and a method to simplify the APIs which fulfil the need for edge-native applications. The proposed solution considers CSPs providing multi-cloud infrastructure for edge computing by integrating with HCPs infrastructure. In addition, the work investigates existing standards to integrate cloud capabilities in network platforms and elaborates the way network and cloud computing capabilities can be integrated to provide complete edge service to edge application developers or enterprises. It proposes an alternative way to integrate edge application developers with cloud service providers dynamically by offering a catalog of services. / Edge Computing anses vara en av nyckelfunktionerna i nästa generations (5G) nätverk, vilket möjliggör minskad fördröjning, ökad genomströmning och datakänsliga och kantnära applikationer. Applikationsutvecklare för Edge Computing är beroende av kantinfrastruktur som är värd för applikationen, och nätverksanslutning för att ansluta applikationsanvändarna till närmaste kant där applikationens är placerad. Även om kantapplikationer kan vara värd för vilken infrastruktur som helst, planerar leverantörer av kommunikationstjänster (CSP:er) att erbjuda distribuerad kantinfrastruktur och anslutningar. På liknande sätt planerar även molnleverantörer med hög skalbarhet (HCP) att erbjudakantinfrastruktur. CSP:er följer standardmetoden för att bygga nätverk och infrastruktur medan HCP:er inte deltar i standardiseringsorgan. Standardutvecklingsorganisationer (SDO) som europeisk telekommunikations standardiseringsinstitut (ETSI) och 3rd Generation Partnership Project (3GPP) arbetar för att tillhandahålla en standardarkitektur för Edge Computing för tjänsteleverantörer. Men nuvarande fokus är mer på arkitektur och inte mycket fokus är riktat mot applikationsutvecklares erfarenhet och API:er. I själva arkitekturen finns det olika standarder och tillvägagångssätt som överlappar varandra. API:er föreslagna av olika SDO:er är inte lättillgängliga för utvecklar av kantapplikationer och måste förenklas. Å andra sidan finns det inte många allmänt kända standarder i hyperskalära moln och offentlig molnindustri som går att integrera med varandra förutom de offentliga gränssnitten för applikationsprogrammering (API:er) som erbjuds av molnleverantörer. För att kunna betjäna omfattande applikationsutvecklare måste CSP:er erbjuda multimolnfunktioner och därmed komplettera sin egen infrastruktur med kapaciteten för HCP:er. På liknande sätt kommer HCP:er att behöva integrera anslutningstjänster utöver infrastruktur för att erbjuda kantfunktioner. Den här arbetet beskriver olika standarder definierade av olika standardiseringsorgan i Edge Computing-området för 5G, och analyzerar överlappningar mellan standarderna. Arbetet belyser sedan kraven från ett utvecklingsperspektiv av kantapplikationer, undersöker bristerna i standarderna och föreslår en lösningsarkitektur som uppfyller behovet för kantbyggda applikationer. Den föreslagna lösningen beaktar CSP:er som tillhandahåller flermolnsinfrastruktur för Edge Computing genom att integreras med HCP:s infrastruktur. Arbetet undersöker vidare befintliga standarder för att integrera molnfunktioner i nätverksplattformar och utvecklar på vilket sätt nätverks- och molntjänster kan integreras för att erbjuda kompletta tjänster till utvecklare av kantapplikationer. Arbetet föreslår ett alternativt sätt att dynamiskt integrera utvecklare av kantapplikationer med leverantörer av molntjänster genom att erbjuda en katalog av tjänster.
|
135 |
Evaluation of Scheduling Policies for XR Applications / Utvärdering av schemaläggningspolicyer för XR-applikationerRoy, Neelabhro January 2022 (has links)
Immersion based technologies such as Augmented Reality (AR), Virtual Reality (VR) and Mixed Reality (MR), together falling under the umbrella of Extended Reality (XR) have taken the world by storm in the recent past. However, with the growing market and the increasing number of applications of XR, multiple challenges have arisen. To maintain acceptable levels of motion-to-photon latency, there is a need to serve the users with ultra low latency and with high reliability. To provide high quality rendering, these solutions have traditionally been deployed with wired connections, but severely inhibiting user mobility. Thus, the need to develop wireless solutions promising ultra low latency and high reliability emerges. Cloud/Edge based solutions promise to provide great dividends in this regard but it still remains crucial to understand how different scheduling policies perform against one another in terms of average throughput, mean system time, the number of UEs which can be serviced simultaneously etc. In this thesis, we explore how online packet scheduling policies such as first-come-first-serve, earliestdeadline-first, maximum weight scheduling etc. compare against other Quality of Experience(QoE)/ packet weight aware online scheduling policies and also against optimal offline schemes such as maximum-weighted-bipartitematching. We perform a detailed analysis of how these policies fare by studying various metrics such as the average-packet system time, competitive ratios, packet drop percentages and weight throughput, amongst others. Finally, we also explore how the introduction of multi-layered video encoding impacts XR service. Amongst the findings of the thesis, we conclude that it is possible to come up with solutions such as EDFα (which is a deadline and weight aware derivative of the earliest deadline first scheduling policy), which can either increase the weight throughput when compared to other baselines while also providing lesser packet drops and lower average system times for the scheduled packets. This algorithm can be further tuned by varying α to accordingly alter the weight throughput, system time and packet drop ratio depending on the precise user application. Additionally, we establish with the help of simulations that the introduction of multi-layered video encoding conclusively helps in reducing the average system time and eventually allows for more users to be accommodated in an XR based system at the cost of worsening video quality. / Immersionsbaserade teknologier som Augmented Reality (AR), Virtual Reality (VR) och Mixed Reality (MR), som tillsammans faller under paraplyet Extended Reality (XR) har tagit världen med storm på senare tid. Men med den växande marknaden och det ökande antalet tillämpningar av XR har flera utmaningar uppstått. För att förhindra åksjuka hos användare och för att upprätthålla acceptabla nivåer av rörelse-till-foton-latens, finns det ett behov av att betjäna användarna med ultralåg latens och med hög tillförlitlighet. För att ge högkvalitativ rendering har dessa lösningar traditionellt implementerats med trådbundna anslutningar, men de hämmar kraftigt användarens rörlighet. Därför uppstår behovet av att utveckla trådlösa lösningar som lovar ultralåg latens och hög tillförlitlighet. Moln/Edge-baserade lösningar lovar att ge stor utdelning i detta avseende, men det är fortfarande viktigt att förstå hur olika schemaläggningspolicyer fungerar mot varandra när det gäller genomsnittlig genomströmning, genomsnittlig systemtid, antalet UE:er som kan betjänas samtidigt etc. I den här avhandlingen undersöker vi hur online-paketschemaläggningspolicyer som round robin, först till kvarnförst-kvarn, tidigast-deadline-först, schemaläggning för maximal vikt etc. jämförs med andra Quality of Experience (QoE)/Viktmedvetna onlineschemaläggningspolicyer och även mot optimala offline-scheman såsom maximalt viktad-bipartite-matchning. Vi utför en detaljerad analys av hur dessa policyer klarar sig genom att studera olika mätvärden, såsom den genomsnittliga paketets systemtid, konkurrensförhållanden, procentsatser för paketnedgång och viktad genomströmning, bland annat. Slutligen undersöker vi också hur introduktionen av flerskiktad videokodning påverkar XRtjänsten. Bland resultaten av avhandlingen drar vi slutsatsen att det är möjligt att komma med lösningar som EDFα (som är en deadline- och viktmedveten derivata av Earliest deadline first scheduling policy), som antingen kan öka den viktade genomströmning jämfört med andra baslinjer samtidigt som det ger mindre paketnedgångar och lägre genomsnittliga systemtider för de schemalagda paketen. Denna algoritm kan ställas in ytterligare genom att variera α för att följaktligen ändra den viktade genomströmningen, systemtiden och paketnedgångshastigheten beroende på den exakta användarapplikationen. Dessutom fastställer vi med hjälp av simuleringar att införandet av flerskiktsvideokodning definitivt hjälper till att minska den genomsnittliga systemtiden och så småningom tillåter fler användare att få plats i ett XR-baserat system.
|
136 |
Adaptive traffic management in heterogeneous communication networksJutila, M. (Mirjami) 07 March 2017 (has links)
Abstract
Communication networks are experiencing a significant growth of data traffic posing new challenges to the overall systems that should become more reactive and adaptive towards dynamically changing traffic, connections and network conditions. This thesis examines adaptive traffic management solutions within heterogeneous communication networks, which can be utilized to improve network performance, provide Quality of Service (QoS) for traffic paths and share resources in a fair way. The developed adaptive methods include solutions for fuzzy flow scheduling (AWFQ, FWQ) and regressive admission control (REAC) to provide stable network performance and efficient resource control. Such techniques for adaptive traffic management continuously balance and control traffic usage and recover from network faults and attacks. The results utilize traffic monitoring for estimating the overall network conditions, applying cognition to learn from previous actions, and adapting to the current traffic conditions for resource optimization. The thesis researches how to distribute these computing mechanisms towards network edges closer to the actual application users for more efficient resource usage, and to provide better performance for delay-sensitive applications. The methods developed have been applied to vehicular communications to assess and improve the messaging between vehicles and vulnerable road users (VRUs). These mechanisms are able to react faster to data traffic changes and guarantee better quality for prioritized traffic and users while at the same time they preserve fairness to other flows compared to traditional control and scheduling methods without adaptive characteristics. The overall system reacts to changes in the network QoS by determining decision-making procedures on possible flow rejection, marking, or allowed bandwidth weight assignment, thus bringing cognition to the network path. / Tiivistelmä
Merkittävä liikennemäärien kasvu aiheuttaa tietoverkoille uusia haasteita, minkä vuoksi niiden täytyy tukea reaktiivisuutta ja adaptiivisuutta vastatakseen muuttuviin liikenne- sekä verkko-olosuhteisiin että yhteyksiin. Väitöskirjassa kehitetään heterogeenisten tietoverkkojen adaptiivisia liikenteenhallintaratkaisuja, joita voidaan hyödyntää verkon suorituskyvyn parantamiseen, tarjoamaan liikenteen palvelunlaatua (QoS) sekä tasapuolista resurssien jakoa. Kehitetyt adaptiiviset menetelmät sisältävät ratkaisuja sumeaan logiikkaan perustuvaan skedulointiin sekä regressiiviseen verkon pääsynhallintaan pohjautuen, jotka takaavat vakaamman verkon suorituskyvyn ja resurssien hallinnan. Nämä menetelmät tasapainottavat ja kontrolloivat liikennettä sekä pyrkivät palautumaan verkon häiriöistä ja hyökkäyksistä. Tulokset hyödyntävät liikenteen monitorointia verkon tilan arviointiin, soveltavat kognitiivisuutta oppiakseen aiemmista toiminnoista sekä adaptoituvat nykytilanteeseen resurssien optimoimiseksi. Väitöskirja tutkii, miten kyseisiä laskentamenetelmiä voidaan hajauttaa verkon reunoille lähemmäksi sovellusten käyttäjiä resurssien käytön tehostamiseksi sekä tarjoamaan parempaa suorituskykyä viiveherkille sovelluksille. Kehitettyjä menetelmiä sovelletaan autoverkkoihin autojen sekä suojattomien tienkäyttäjien viestinnän määrittämiseen sekä parantamiseen. Nämä menetelmät reagoivat nopeammin dataliikenteen muutoksiin, takaavat paremman laadun priorisoidulle liikenteelle sekä samalla tasapuolisuutta muulle liikenteelle verrattuna perinteisiin kontrollointi- ja skedulointimenetelmiin. Kehitetty järjestelmä reagoi verkon palvelunlaadun muutoksiin määrittelemällä päätöksentekomalleja mahdolliseen tietovuon hylkäämiseen, merkitsemiseen tai kaistankäytön painokertoimen määrittämiseen, täten luoden kognitiivisuutta verkon reitille.
|
137 |
AI on the Edge with CondenseNeXt: An Efficient Deep Neural Network for Devices with Constrained Computational ResourcesKalgaonkar, Priyank B. 08 1900 (has links)
Indiana University-Purdue University Indianapolis (IUPUI) / Research work presented within this thesis propose a neoteric variant of deep convolutional neural network architecture, CondenseNeXt, designed specifically for ARM-based embedded computing platforms with constrained computational resources. CondenseNeXt is an improved version of CondenseNet, the baseline architecture whose roots can be traced back to ResNet. CondeseNeXt replaces group convolutions in CondenseNet with depthwise separable convolutions and introduces group-wise pruning, a model compression technique, to prune (remove) redundant and insignificant elements that either are irrelevant or do not affect performance of the network upon disposition. Cardinality, a new dimension to the existing spatial dimensions, and class-balanced focal loss function, a weighting factor inversely proportional to the number of samples, has been incorporated in order to relieve the harsh effects of pruning, into the design of CondenseNeXt’s algorithm. Furthermore, extensive analyses of this novel CNN architecture was performed on three benchmarking image datasets: CIFAR-10, CIFAR-100 and ImageNet by deploying the trained weight on to an ARM-based embedded computing platform: NXP BlueBox 2.0, for real-time image classification. The outputs are observed in real-time in RTMaps Remote Studio’s console to verify the correctness of classes being predicted. CondenseNeXt achieves state-of-the-art image classification performance on three benchmark datasets including CIFAR-10 (4.79% top-1 error), CIFAR-100 (21.98% top-1 error) and ImageNet (7.91% single model, single crop top-5 error), and up to 59.98% reduction in forward FLOPs compared to CondenseNet. CondenseNeXt can also achieve a final trained model size of 2.9 MB, however at the cost of 2.26% in accuracy loss. Thus, performing image classification on ARM-Based computing platforms without requiring a CUDA enabled GPU support, with outstanding efficiency.
|
138 |
Internet of Things / Internet of ThingsPiškula, David January 2019 (has links)
This thesis focuses on the Internet of Things and some of the most important problems it faces today. Among these are the overdependence on the Cloud and lack of autonomy, poor security and privacy, complicated initialization and power consumption. The work aims to implement a complex IoT solution that solves the discussed problems. The project is part of a collaboration with NXP Semicondutors and will be used to showcase the company's technologies.
|
139 |
On the Value of Prediction and Feedback for Online Decision Making With Switching CostsMing Shi (12621637) 01 June 2022 (has links)
<p>Online decision making with switching costs has received considerable attention in many practical problems that face uncertainty in the inputs and key problem parameters. Because of the switching costs that penalize the change of decisions, making good online decisions under such uncertainty is known to be extremely challenging. This thesis aims at providing new online algorithms with strong performance guarantees to address this challenge.</p>
<p><br></p>
<p>In part 1 and part 2 of this thesis, motivated by Network Functions Virtualization and smart grid, we study competitive online convex optimization with switching costs. Specifically, in part 1, we focus on the setting with an uncertainty set (one type of prediction) and hard infeasibility constraints. We develop new online algorithms that can attain optimized competitive ratios, while ensuring feasibility at all times. Moreover, we design a robustification procedure that helps these algorithms obtain good average-case performance simultaneously. In part 2, we focus on the setting with look-ahead (another type of prediction). We provide the first algorithm that attains a competitive ratio that not only decreases to 1 as the look-ahead window size increases, but also remains upper-bounded for any ratio between the switching-cost coefficient and service-cost coefficient.</p>
<p><br></p>
<p>In part 3 of this thesis, motivated by edge computing with artificial intelligence, we study bandit learning with switching costs where, in addition to bandit feedback, full feedback can be requested at a cost. We show that, when only 1 arm can be chosen at a time, adding costly full-feedback is not helpful in fundamentally reducing the Θ(<em>T</em>2/3) regret over a time-horizon <em>T</em>. In contrast, when 2 (or more) arms can be chosen at a time, we provide a new online learning algorithm that achieves a significantly smaller regret equal to <em>O</em>(√<em>T</em>), without even using full feedback. To the best of our knowledge, this type of sharp transition from choosing 1 arm to choosing 2 (or more) arms has never been reported in the literature.</p>
|
140 |
The Optimal Hardware Architecture for High Precision 3D Localization on the Edge. : A Study of Robot Guidance for Automated Bolt Tightening. / Den Optimala Hårdvaruarkitekturen för 3D-lokalisering med Hög Precision på Nätverksgränsen.Edström, Jacob, Mjöberg, Pontus January 2019 (has links)
The industry is moving towards a higher degree of automation and connectivity, where previously manual operations are being adapted for interconnected industrial robots. This thesis focuses specifically on the automation of tightening applications with pre-tightened bolts and collaborative robots. The use of 3D computer vision is investigated for direct localization of bolts, to allow for flexible assembly solutions. A localization algorithm based on 3D data is developed with the intention to create a lightweight software to be run on edge devices. A restrictive use of deep learning classification is therefore included, to enable product flexibility while minimizing the computational load. The cloud-to-edge and cluster-to-edge trade-offs for the chosen application are investigated to identify smart offloading possibilities to cloud or cluster resources. To reduce operational delay, image partitioning to sub-image processing is also evaluated, to more quickly start the operation with a first coordinate and to enable processing in parallel with robot movement. Four different hardware architectures are tested, consisting of two different Single Board Computers (SBC), a cluster of SBCs and a high-end computer as an emulated local cloud solution. All systems but the cluster is seen to perform without operational delay for the application. The optimal hardware architecture is therefore found to be a consumer grade SBC, being optimized on energy efficiency, cost and size. If only the variance in communication time can be minimized, the cluster shows potential to reduce the total calculation time without causing an operational delay. Smart offloading to deep learning optimized cloud resources or a cluster of interconnected robot stations is found to enable increasing complexity and robustness of the algorithm. The SBC is also found to be able to switch between an edge and a cluster setup, to either optimize on the time to start the operation or the total calculation time. This offers a high flexibility in industrial settings, where product changes can be handled without the need for a change in visual processing hardware, further enabling its integration in factory devices. / Industrin rör sig mot en högre grad av automatisering och uppkoppling, där tidigare manuella operationer anpassas för sammankopplade industriella robotar. Denna masteruppsats fokuserar specifikt på automatiseringen av åtdragningsapplikationer med förmonterade bultar och kollaborativa robotar. Användningen av 3D-datorseende undersöks för direkt lokalisering av bultar, för att möjliggöra flexibla monteringslösningar. En lokaliseringsalgoritm baserad på 3Ddata utvecklas med intentionen att skapa en lätt mjukvara för att köras på Edge-enheter. En restriktiv användning av djupinlärningsklassificering är därmed inkluderad, för att möjliggöra produktflexibilitet tillsammans med en minimering av den behövda beräkningskraften. Avvägningarna mellan edge- och moln- eller klusterberäkning för den valda applikationen undersöks för att identifiera smarta avlastningsmöjligheter till moln- eller klusterresurser. För att minska operationell fördröjning utvärderas även bildpartitionering, för att snabbare kunna starta operationen med en första koordinat och möjliggöra beräkningar parallellt med robotrörelser. Fyra olika hårdvaruarkitekturer testas, bestående av två olika enkortsdatorer, ett kluster av enkortsdatorer och en marknadsledande dator som en efterliknad lokal molnlösning. Alla system utom klustret visar sig prestera utan operationell fördröjning för applikationen. Den optimala hårdvaruarkitekturen visar sig därmed vara en konsumentklassad enkortsdator, optimerad på energieffektivitet, kostnad och storlek. Om endast variansen i kommunikationstid kan minskas visar klustret potential för att kunna reducera den totala beräkningstiden utan att skapa operationell fördröjning. Smart avlastning till djupinlärningsoptimerade molnresurser eller kluster av sammankopplade robotstationer visar sig möjliggöra ökad komplexitet och tillförlitlighet av algoritmen. Enkortsdatorn visar sig även kunna växla mellan en edge- och en klusterkonfiguration, för att antingen optimera för tiden att starta operationen eller för den totala beräkningstiden. Detta medför en hög flexibilitet i industriella sammanhang, där produktändringar kan hanteras utan behovet av hårdvaruförändringar för visuella beräkningar, vilket ytterligare möjliggör dess integrering i fabriksenheter.
|
Page generated in 0.097 seconds