The goal of the thesis was to create several variants of agent systems based on LLM, analyze and compare their results in problems requiring reasoning. Due to time constraints, the research had to be limited to one data set, namely GSM8K. The solution to each problem in it is a single number, which is easy to evaluate. One of the main tasks was to create an agent system based on large language models with a small number of parameters by their standards. To select a candidate for an agent, large language models with open source code starting from 7 billion parameters were considered. As a result of the observations made, it was decided to use llama3 8b. In order for the agent to better understand its place in the multi-agent system, as well as to improve interaction between agents, the agents were assigned the following roles: a student agent, a teacher agent, an agent changing the wording of the text (while maintaining the meaning), an agent checking the final answer, and an agent changing the level of abstraction of the task. As a result of the final qualifying work, twelve different agent systems were created in two versions: with and without the use of thought chains. Most of the systems did not prove to be better than one large language model, but two of them were still able to distinguish themselves: a system of two student agents with different approaches to solving and a teacher agent, as well as a system consisting of two agents changing the level of abstraction of the task and a student agent. / Целью ВКР являлось создание нескольких вариантов систем агентов на основе LLM, анализ и сравнение их результатов в задачах, требующих рассуждений. За счет временных ограничений, исследования пришлось ограничить в рамках одного набора данных, а именно GSM8K. Решение каждой задачи в нем являются единственным числом, что легко оценивать. Одной из основных задач было создание системы агентов на основе больших языковых моделей с небольшим по их меркам количеством параметров. Для выбора кандидата в агенты рассматривались большие языковые модели с кодом в открытом доступе размером начиная от 7 миллиардов параметров. В результате проделанных наблюдений было решено использовать llama3 8b. Чтобы агент лучше понимал своё место в мультиагентной системе, а также для улучшения взаимодействия между агентами, агентам назначались следующие роли: агент-ученик, агент-учитель, агент, меняющий формулировку текста (сохраняя при этом смысл), агент, проверяющий итоговый ответ, а также агент, меняющий уровень абстракции задачи. В результате ВКР было создано двенадцать различных систем агентов в двух версиях: с применением цепей мыслей и без. Большая часть систем не показала себя лучше одной большой языковой модели, однако две из них всё же смогли отличиться: система из двух агентов-учеников с разными подходами к решению и агента учителя, а также система, состоящая из двух агентов, меняющих уровень абстракции задачи, и агента ученика.

Цифровые технологии являются неотъемлемой частью производственного процесса и основой для развития цифровой трансформации предприятия во многих процессах, включая и управление человеческими ресурсами. Функция HR превращается в одну из самых важных и динамичных в любой организации. Адаптация как одна из функций управления человеческими ресурсами является основным инструментом в приспособлении работников к новой для них среде. Предприятия, обладающие компетенциями HR нового поколения, демонстрируют значительно более высокие финансовые показатели, чем более слабые в данном отношении конкуренты. Следовательно, в настоящих условиях стоит вопрос о возможности моментального предоставления доступа к актуальной информации и обеспечения более быстрой и эффективной адаптации для сотрудников предприятия с применением цифровых инструментов, таких как интеллектуальный агент (чат-бот). / Digital technologies are an integral part of the production process and the basis for the development of digital transformation of the enterprise in many processes, including human resource management. The HR function is turning into one of the most important and dynamic in any organization. Adaptation as one of the functions of human resource management is the main tool in adapting employees to a new environment for them. Enterprises with a new generation of HR competencies demonstrate significantly higher financial performance than weaker competitors in this regard. Therefore, in these conditions, there is a question of the possibility of instant access to up-to-date information and ensuring faster and more effective adaptation for employees of the enterprise using digital tools, such as an intelligent agent (chatbot).

Выпускная квалификационная работа на тему «Разработка интеллектуального цифрового двойника для видеоигр на примере использования Unity ML-Agent» посвящена созданию цифрового двойника для видеоигр с использованием технологии Unity ML-Agents. Основная цель работы — сократить время и повысить качество процесса тестирования видеоигр путем использования моделей машинного обучения для создания интеллектуальных двойников.Работа состоит из трех основных разделов: 1. Анализ применения машинного обучения и искусственного интеллекта в видеоиграх В этом разделе рассматриваются основные методы и инструменты, используемые для создания ИИ в видеоиграх, а также анализируются существующие решения и их практическое применение. 2. Практическая реализация создания цифрового двойника для игрового симулятора. Проводится анализ инструмента Unity ML-Agents, описываются его ключевые компоненты и методы обучения агентов. Также описывается процесс разработки прототипа цифрового двойника, и предлагается методология оценки его эффективности. 3. Изучение особенностей внедрения разработанного цифрового двойника и оценка его эффективности для автоматизации процесса тестирования. В этом разделе описывается эксперимент по использованию цифрового двойника для автоматизации тестирования, оценивается его эффективность и рассматриваются условия и ограничения применения данного инструмента. Научная новизна работы заключается в предложении применения методов машинного обучения для автоматизации ручного труда в процессе создания и тестирования видеоигр. В результате исследования было разработано и протестировано решение, позволяющее значительно сократить трудозатраты на тестирование и повысить его качество. / The graduation qualification work on the topic "Development of an Intelligent Digital Twin for Video Games using Unity ML-Agent" is dedicated to creating a digital twin for video games using Unity ML-Agents technology. The main goal of the work is to reduce the time and improve the quality of the video game testing process by using machine learning models to create intelligent twins. The work consists of three main sections: 1. Analysis of the Application of Machine Learning and Artificial Intelligence in Video Games. This section examines the main methods and tools used to create AI in video games, as well as analyzes existing solutions and their practical applications. 2. Practical Implementation of Creating a Digital Twin for a Game Simulator. This section analyzes the Unity ML-Agents tool, describes its key components and methods for training agents. It also outlines the process of developing a digital twin prototype and proposes a methodology for evaluating its effectiveness. 3. Study of the Features of Implementing the Developed Digital Twin and Assessing its Effectiveness for Automating the Testing Process. This section describes an experiment using the digital twin for automated testing, evaluates its effectiveness, and considers the conditions and limitations of applying this tool. The scientific novelty of the work lies in proposing the use of machine learning methods to automate manual labor in the process of creating and testing video games. As a result of the research, a solution was developed and tested, which significantly reduces labor costs for testing and improves its quality.

<p>У дисертацији је дат концепт микро мрежа и описане постојеће методе у управљању и оптимизацији рада микро мрежа. Предложен је нови централизовани контролер микро мрежe заснован на технологији више-агентног система, који омогућава координацију три режима рада (повезани, острвски и хаваријски) и обезбеђује једноставну конфигурацију и комбинацију оптимизационих критеријума, уз уважавање широког скупа ограничења. Предложени модел примењен је на релевантни тест систем и резултати су приказани уз одговарајућу анализу резултата.</p> / <p>U disertaciji je dat koncept mikro mreža i opisane postojeće metode u upravljanju i optimizaciji rada mikro mreža. Predložen je novi centralizovani kontroler mikro mreže zasnovan na tehnologiji više-agentnog sistema, koji omogućava koordinaciju tri režima rada (povezani, ostrvski i havarijski) i obezbeđuje jednostavnu konfiguraciju i kombinaciju optimizacionih kriterijuma, uz uvažavanje širokog skupa ograničenja. Predloženi model primenjen je na relevantni test sistem i rezultati su prikazani uz odgovarajuću analizu rezultata.</p> / <p>Dissertation provides the microgrids concept and describes existing methods for control and optimization of microgrid operation. This paper proposes a novel, centralized, multi-agent-based, microgrid controller architecture, which provides the coordination of all three operation modes (grid-connected, island and emergency) and enables the easy configuration/combination of optimization goals that are subject to a given set of operational constraints.<br />The simulation results are presented for a typical microgrid test example.</p>

Object of the study - development of an environment for training an agent controlling the actions of a robotic manipulator model. Subject of the study - application of Unity ML-Agent technology for training an agent controlling the actions of a robotic manipulator model. The purpose of the work is to develop a system for training the Unity ML-Agents agent controlling the robotic manipulator model to achieve the target object. Research methods: mathematical modeling, data analysis, experimental method. The result of the master's thesis is the successful creation of a machine learning system for controlling a robotic arm in the Unity virtual environment. / Объект исследования – разработка среды для обучения агента, управляющего действиями модели робота-манипулятора. Предмет исследования – применение технологии Unity ML-Agent для обучения агента, контролирующего действия модели робота-манипулятора. Цель работы – разработка системы для обучения агента Unity ML-Agents, управляющего моделью робота-манипулятора, достижению целевого объекта. Методы исследования: математическое моделирование, анализ данных, экспериментальный метод. Результатом магистерской работы является успешное создание системы машинного обучения для управления роботом-манипулятором в виртуальной среде Unity.

The purpose of the work is to develop and test an intelligent agent model for a gaming environment using machine learning methods that can adapt to new conditions. The object of the study is a model of an intelligent agent in a gaming environment. Research methods: analysis, synthesis, modeling, machine learning, testing, observation, comparison, experiment. / Цель работы – разработка и тестирование модели интеллектуального агента для игровой среды с использованием методов машинного обучения, способного адаптироваться к новым условиям. Объект исследования – модель интеллектуального агента в игровой среде. Методы исследования: анализ, синтез, моделирование, машинное обучение, тестирование, наблюдение, сравнение, эксперимент.