The interest in using State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) in product development is growing. The fact that developers can use PLM has changed the way to build reliable models, and it is the go-to method for many companies and organizations. Selecting the Natural Language Processing (NLP) model with the highest accuracy is the usual way of deciding which PLM to use. However, with growing concerns about negative climate changes, we need new ways of making decisions that consider the impact on our future needs. The best solution with the highest accuracy might not be the best choice when other parameters matter, such as sustainable development. This thesis investigates how to calculate an approximate total cost considering Operating Expenditure (OPEX) and CO2~emissions for a deployed NLP solution over a given period, specifically the inference phase. We try to predict the total cost with Floating Point Operation (FLOP) and test NLP models on a classification task. We further present the tools to make energy measurements and examine the metric FLOP to predict costs. Using a bottom-up approach, we investigate the components that affect the cost and measure the energy consumption for different deployed models. By constructing this cost model and testing it against real-life examples, essential information about a given NLP implementation and the relationship between monetary and environmental costs will be derived. The literature studies reveal that the derival of a cost model is a complex area, and the results confirm that it is not a straightforward procedure to approximate energy costs. Even if a cost model was not feasible to derive with the resources given, this thesis covers the area and shows why it is complex by examine FLOP. / Intresset att använda State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) i produktutveckling växer. Det faktum att utvecklare kan använda PLM har förändrat sättet att träna tillförlitliga modeller på och det är den bästa metoden för många företag och organisationer att använda SOTA Naturlig Språkbehandling (NLP). Att välja NLP-modellen med högsta noggrannhet är det vanliga sättet att bestämma vilken PLM som ska användas. Men med växande oro för miljöförändringar behöver vi nya sätt att fatta beslut som kommer att påverka våra framtida behov. Denna avhandling undersöker hur man beräknar en ungefärlig totalkostnad med hänsyn till Operating Expenditure (OPEX) och CO2~utsläpp för en utplacerad NLP-lösning under en given period, dvs slutledningsfasen. Vi försöker förutspå den totala kostnaden med flyttalsoperationer och testar mot en klassificerings uppgift. Vi undersöker verktygen för att göra mätningar samt variabeln Flyttalsoperationer för att förutspå energiförbrukning.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-317036 |
| Date | January 2022 |
| Creators | Axberg, Tom |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS), Stockholm : KTH Royal Institute of Technology |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | English |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2022:228 |
Page generated in 0.0024 seconds