The emergence of large language models, such as BERT and GPT-3, has revolutionized natural language processing tasks. However, the development and deployment of these models pose challenges, including concerns about computational resources and environmental impact. This study aims to compare discriminative language models for text classification based on their performance and usage cost. We evaluate the models using a hierarchical multi-label text classification task and assess their performance using primarly F1-score. Additionally, we analyze the usage cost by calculating the Floating Point Operations (FLOPs) required for inference. We compare a baseline model, which consists of a classifier chain with logistic regression models, with fine-tuned discriminative language models, including BERT with two different sequence lengths and DistilBERT, a distilled version of BERT. Results show that the DistilBERT model performs optimally in terms of performance, achieving an F1-score of 0.56 averaged on all classification layers. The baseline model and BERT with a maximal sequence length of 128 achieve F1-scores of 0.51. However, the baseline model outperforms the transformers at the most specific classification level with an F1-score of 0.33. Regarding usage cost, the baseline model significantly requires fewer FLOPs compared to the transformers. Furthermore, restricting BERT to a maximum sequence length of 128 tokens instead of 512 sacrifices some performance but offers substantial gains in usage cost. The code and dataset are available on GitHub. / Uppkomsten av stora språkmodeller, som BERT och GPT-3, har revolutionerat språkteknologi. Dock ger utvecklingen och implementeringen av dessa modeller upphov till utmaningar, bland annat gällande beräkningsresurser och miljöpåverkan. Denna studie syftar till att jämföra diskriminativa språkmodeller för textklassificering baserat på deras prestanda och användningskostnad. Vi utvärderar modellerna genom att använda en hierarkisk textklassificeringsuppgift och bedöma deras prestanda primärt genom F1-score. Dessutom analyserar vi användningskostnaden genom att beräkna antalet flyttalsoperationer (FLOPs) som krävs för inferens. Vi jämför en grundläggande modell, som består av en klassifikationskedja med logistisk regression, med finjusterande diskriminativa språkmodeller, inklusive BERT med två olika sekvenslängder och DistilBERT, en destillerad version av BERT. Resultaten visar att DistilBERT-modellen presterar optimalt i fråga om prestanda och uppnår en genomsnittlig F1-score på 0,56 för alla klassificeringsnivåer. Den grundläggande modellen och BERT med en maximal sekvenslängd på 128 uppnår ett F1-score på 0,51. Dock överträffar den grundläggande modellen transformermodellerna på den mest specifika klassificeringsnivån med en F1-score på 0,33. När det gäller användningskostnaden kräver den grundläggande modellen betydligt färre FLOPs jämfört med transformermodellerna. Att begränsa BERT till en maximal sekvenslängd av 128 tokens ger vissa prestandaförluster men erbjuder betydande besparingar i användningskostnaden. Koden och datamängden är tillgängliga på GitHub.

Das Buch gibt eine Einführung in die Digitale Bildverarbeitung. Der Inhalt des Buches gliedert sich in sechs Kapitel. Im ersten Kapitel werden die wichtigsten Definitionen und Anwendungsgebiete der Digitalen Bildverarbeitung sowie wesentliche Komponenten eines digitalen Bildverarbeitungssystems erklärt. Das zweite Kapitel befasst sich mit den Grundlagen digitaler Bilder, den Bilddatenformaten und Kompressionsverfahren. Die Grundlagen der Farbtheorie und ein kurzer Überblick über die wichtigsten Farbsysteme werden im dritten Kapitel vermittelt. Die zwei anschließenden Kapitel beschäftigen sich mit der Manipulation von Grauwerten. Der Schwerpunkt liegt hier auf den Punktoperationen und den Filtertechniken. Das letzte Kapitel behandelt die für die Lehrgebiete Photogrammetrie, Fernerkundung und Geoinformationssysteme überaus wichtigen Grundlagen der geometrischen Transformation.:Vorwort 1. Einführung in die digitale Bildverarbeitung 1.1 Definition der Bildverarbeitung 1.2 Anwendungsgebiete der Digitalen Bildverarbeitung 1.3 Komponenten eines Bildverarbeitungssystems 2. Digitale Bilder 2.1 Entstehung digitaler Bilder 2.2 Bildmatrix und Grauwerte 2.3 Digitale Bilder im Ortsbereich 2.3.1 Bildrepräsentation 2.3.2 Auflösung eines Pixels 2.3.3 Das Pixelkoordinatensystem 2.3.4 Grundsätzliche Festlegungen 2.3.5 Topologien oder Nachbarschaftsrelationen 2.3.6 Distanzen 2.4 Eigenschaften digitaler Bilder 2.4.1 Mittelwert und mittlere quadratische Abweichung 2.4.2 Varianz und Standardabweichung 2.4.3 Histogramm 2.4.4 Stochastische Einflüsse 2.5 Kompressionen und Datenformate 2.5.1 Ausgewählte Verfahren zur Bildkompression 2.5.2 Bilddatenformate 3. Farbtheorie 3.1 Was ist Farbe? 3.2 Farbsysteme 3.2.1 RGB- und CMY- Farbsystem 3.2.2 Das Farbdreieck (Maxwell’sches Dreieck) 3.2.3 Das IHS- Modell 3.2.4 Das CIE- Farbmodell 3.3 Bildwiedergabe 3.4 Farbmanipulation 4. Punktoperationen 4.1 Schwellwertoperation zur Erzeugung von Binärbildern 4.2 Arithmetische Bildoperationen 4.3 Logische oder Boolesche Kombinationen 4.4 Kontrast- und Helligkeitsänderungen 4.4.1 Kontrastübertragungsfunktionen 4.4.2 Kontrastveränderung durch Histogrammanpassungen 4.4.3 Äquidensitenherstellung 5. Filteroperationen 5.1 Lineare Filter 5.1.1 Tiefpassfilter 5.1.2 Hochpassfilter 5.1.2.5 Schärfung 5.2 Morphologische Filter 5.2.1 Medianfilter 5.2.2 Minimum- und Maximumfilter 5.2.3 Dilatation und Erosion im Binärbild 5.2.4 Opening und Closing 6. Geometrische Bildtransformationen 6.1 Koordinatentransformationen im 2D-Raum 6.2 Direkte und indirekte Transformation 6.2.1 Direkte Transformation 6.2.2 Indirekte Transformation 6.3 Resampling 6.3.1 Nächster Nachbar 6.3.2 Bilineare Interpolation 6.3.3 Interpolationen höherer Ordnung 6.3.4 Zusammenfassung der Interpolationsmethoden Quellennachweis Sachregister / The book provides an introduction into digital image processing. The content of the book is divided into six chapters. In the first chapter, the most important definitions and areas of application of digital image processing as well as essential components of a digital image processing system are explained. The second chapter deals with the basics of digital images, image data formats and compression methods. The basics of color theory and a brief overview of the most important color systems are presented in the third chapter. The following two chapters deal with the manipulation of gray values. The focus here is on point operations and filtering techniques. The last chapter deals with the fundamentals of geometric transformation, which are extremely important for the areas of photogrammetry, remote sensing and geographic information systems.:Vorwort 1. Einführung in die digitale Bildverarbeitung 1.1 Definition der Bildverarbeitung 1.2 Anwendungsgebiete der Digitalen Bildverarbeitung 1.3 Komponenten eines Bildverarbeitungssystems 2. Digitale Bilder 2.1 Entstehung digitaler Bilder 2.2 Bildmatrix und Grauwerte 2.3 Digitale Bilder im Ortsbereich 2.3.1 Bildrepräsentation 2.3.2 Auflösung eines Pixels 2.3.3 Das Pixelkoordinatensystem 2.3.4 Grundsätzliche Festlegungen 2.3.5 Topologien oder Nachbarschaftsrelationen 2.3.6 Distanzen 2.4 Eigenschaften digitaler Bilder 2.4.1 Mittelwert und mittlere quadratische Abweichung 2.4.2 Varianz und Standardabweichung 2.4.3 Histogramm 2.4.4 Stochastische Einflüsse 2.5 Kompressionen und Datenformate 2.5.1 Ausgewählte Verfahren zur Bildkompression 2.5.2 Bilddatenformate 3. Farbtheorie 3.1 Was ist Farbe? 3.2 Farbsysteme 3.2.1 RGB- und CMY- Farbsystem 3.2.2 Das Farbdreieck (Maxwell’sches Dreieck) 3.2.3 Das IHS- Modell 3.2.4 Das CIE- Farbmodell 3.3 Bildwiedergabe 3.4 Farbmanipulation 4. Punktoperationen 4.1 Schwellwertoperation zur Erzeugung von Binärbildern 4.2 Arithmetische Bildoperationen 4.3 Logische oder Boolesche Kombinationen 4.4 Kontrast- und Helligkeitsänderungen 4.4.1 Kontrastübertragungsfunktionen 4.4.2 Kontrastveränderung durch Histogrammanpassungen 4.4.3 Äquidensitenherstellung 5. Filteroperationen 5.1 Lineare Filter 5.1.1 Tiefpassfilter 5.1.2 Hochpassfilter 5.1.2.5 Schärfung 5.2 Morphologische Filter 5.2.1 Medianfilter 5.2.2 Minimum- und Maximumfilter 5.2.3 Dilatation und Erosion im Binärbild 5.2.4 Opening und Closing 6. Geometrische Bildtransformationen 6.1 Koordinatentransformationen im 2D-Raum 6.2 Direkte und indirekte Transformation 6.2.1 Direkte Transformation 6.2.2 Indirekte Transformation 6.3 Resampling 6.3.1 Nächster Nachbar 6.3.2 Bilineare Interpolation 6.3.3 Interpolationen höherer Ordnung 6.3.4 Zusammenfassung der Interpolationsmethoden Quellennachweis Sachregister

The interest in using State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) in product development is growing. The fact that developers can use PLM has changed the way to build reliable models, and it is the go-to method for many companies and organizations. Selecting the Natural Language Processing (NLP) model with the highest accuracy is the usual way of deciding which PLM to use. However, with growing concerns about negative climate changes, we need new ways of making decisions that consider the impact on our future needs. The best solution with the highest accuracy might not be the best choice when other parameters matter, such as sustainable development. This thesis investigates how to calculate an approximate total cost considering Operating Expenditure (OPEX) and CO2~emissions for a deployed NLP solution over a given period, specifically the inference phase. We try to predict the total cost with Floating Point Operation (FLOP) and test NLP models on a classification task. We further present the tools to make energy measurements and examine the metric FLOP to predict costs. Using a bottom-up approach, we investigate the components that affect the cost and measure the energy consumption for different deployed models. By constructing this cost model and testing it against real-life examples, essential information about a given NLP implementation and the relationship between monetary and environmental costs will be derived. The literature studies reveal that the derival of a cost model is a complex area, and the results confirm that it is not a straightforward procedure to approximate energy costs. Even if a cost model was not feasible to derive with the resources given, this thesis covers the area and shows why it is complex by examine FLOP. / Intresset att använda State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) i produktutveckling växer. Det faktum att utvecklare kan använda PLM har förändrat sättet att träna tillförlitliga modeller på och det är den bästa metoden för många företag och organisationer att använda SOTA Naturlig Språkbehandling (NLP). Att välja NLP-modellen med högsta noggrannhet är det vanliga sättet att bestämma vilken PLM som ska användas. Men med växande oro för miljöförändringar behöver vi nya sätt att fatta beslut som kommer att påverka våra framtida behov. Denna avhandling undersöker hur man beräknar en ungefärlig totalkostnad med hänsyn till Operating Expenditure (OPEX) och CO2~utsläpp för en utplacerad NLP-lösning under en given period, dvs slutledningsfasen. Vi försöker förutspå den totala kostnaden med flyttalsoperationer och testar mot en klassificerings uppgift. Vi undersöker verktygen för att göra mätningar samt variabeln Flyttalsoperationer för att förutspå energiförbrukning.