Микросервисная архитектура — это неотъемлемая часть распределенных программных систем, требующих постоянного масштабирования и независимого развертывания всех элементов. Преимущества микросервисов позволяют значительно повысить эффективность современных веб-приложений и открывают новые возможности для развития бизнеса. Однако динамическая изменчивость современных интернет-сервисов, эволюция пользовательских потребностей, а также различные внешние факторы могут нивелировать преимущества микросервисной архитектуры. Перспективным способом адаптивного управления ресурсами распределенных программных систем являются алгоритмы машинного обучения, в особенности алгоритмы глубокого обучения с подкреплением. Рассмотрена интеграция микросервисной архитектуры и мультиагентного обучения с подкреплением. Объединение указанных подходов позволяет оптимизировать работу веб-приложений в нестационарных средах, позволяя системе адаптироваться к изменениям и находить оптимальные решения. Приведены результаты обучения мультиагентного алгоритма независимого Q-обучения в сервисе выбора дорожного маршрута на основе текущего состояния погоды. Для оценки эффективности системы разработаны и введены дополнительные параметры качества обслуживания, позволяющие в полной мере оценить потенциал интеграции микросервисной архитектуры с мультиагентным обучением для решения комплексных задач в динамических средах
Идентификаторы и классификаторы
- SCI
- Физика
Активное развитие алгоритмов RL привело к появлению мультиагентного обучения с подкреплением (MARL). С помощью алгоритмов MARL изучают поведение нескольких агентов, помещенных в одну среду и взаимодействующих не только с ней, но и друг с другом. Наличие нескольких агентов позволяет расширить спектр выполняемых задач и открыть новые, более комплексные стратегии, которые агент не смог бы выработать в одиночку. Этот метод обучения используется для решения задач управления поведением, коллективного принятия решений и распределения ресурсов [8]. В недетерминированных динамических системах использование MARL дает следующие преимущества: адаптивность, масштабируемость, инкапсулируемость, эффективность функционирования за счет параллельной обработки данных, а также отказоустойчивость [9]. Ввиду перечисленных преимуществ алгоритмы MARL могут стать оптимальным решением для интеграции с веб-приложениями, обрабатывающими большие объемы данных в режиме реального времени и требующие эффективного распределения ресурсов.
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Nadareishvili I., Mitra R., McLarty M., et al. Microservice architecture. Sebastopol, O’Reilly Media, 2016.
2. Thones J. Microservices. IEEE Softw., 2015, vol. 32, no. 1, p. 116. DOI: 10.1109/MS.2015.11
3. Blinowski G., Ojdowska A., Przybylek A. Monolithic vs. microservice architecture: a performance and scalability evaluation. IEEE Access, 2022, vol. 10, pp. 20357-20374. DOI: 10.1109/ACCESS.2022.3152803 EDN: JHKSCZ
4. Hasselbring W., Steinacker G. Microservice architectures for scalability, agility and reliability in e-commerce. IEEE ICSAW, 2017, pp. 243-246. DOI: 10.1109/ICSAW.2017.11
5. Camero A., Alba E. Smart City and information technology: a review. Cities, 2019, vol. 93, pp. 84-94. DOI: 10.1016/j.cities.2019.04.014 EDN: XKYHYO
6. Jordan M.I., Mitchell T.M. Machine learning: trends, perspectives, and prospects. Science, 2015, vol. 349, no. 6245, pp. 255-260. DOI: 10.1126/science.aaa8415
7. Sutton R.S., Barto A.G. Reinforcement learning. An introduction. London, MIT Press Cambridge, 2018.
8. Canese L., Cardarilli G.C., Di Nunzio L., et al. Multi-agent reinforcement learning: a review of challenges and applications. Appl. Sc., 2021, vol. 11, no. 11, art. 4948. DOI: 10.3390/app11114948 EDN: GKIBBM
9. Lee D., He N., Kamalaruban P., et al. Optimization for reinforcement learning: from a single agent to cooperative agents. IEEE Signal Process. Mag., 2020, vol. 37, no. 3, pp. 123-135. DOI: 10.1109/MSP.2020.2976000 EDN: OUVCTZ
10. Putta P., Mills E., Garg N., et al. Agent Q: advanced reasoning and learning for auto-nomous AI agents. arXiv:2408.07199. DOI: 10.48550/arXiv.2408.07199
11. Niknejad N., Ismail W., Ghani I., et al. Understanding Service-Oriented Architecture (SOA): a systematic literature review and directions for further investigation. Inf. Syst., 2020, vol. 91, art. 101491. DOI: 10.1016/j.is.2020.101491
12. Wang H., Wang X., Hu X., et al. A multi-agent reinforcement learning approach to dynamic service composition. Inf. Sc., 2016, vol. 363, pp. 96-119. DOI: 10.1016/j.ins.2016.05.002
13. Wang H., Gu M., Yu Q., et al. Adaptive and large-scale service composition based on deep reinforcement learning. Knowl.-Based Syst., 2019, vol. 180, no. 10, pp. 75-90. DOI: 10.1016/j.knosys.2019.05.020
14. Wang H., Hu X., Yu Q., et al. Integrating reinforcement learning and skyline computing for adaptive service composition. Inf. Sc., 2020, vol. 519, pp. 141-160. DOI: 10.1016/j.ins.2020.01.039 EDN: YQRIUR
15. Collier R., O’Neill E., Lillis D., et al. MAMS: multi-agent microservices. WWW’19, 2019, pp. 655-662. DOI: 10.1145/3308560.3316509
16. O’Neill E., Lillis D., O’Hare G.M., et al. Delivering multi-agent MicroServices using CArtAgO. In: Engineering multi-agent systems. Cham, Springer International Publishing, 2020, pp. 1-20. DOI: 10.1007/978-3-030-66534-0_1
17. Zhu Y., Zhan Y., Huang X., et al. OFCOURSE: a multi-agent reinforcement learning environment for order fulfillment. NeurIPS, 2024, vol. 36. URL: https://proceedings.nips.cc/paper_files/paper/2023/hash/6d0cfc5db3feeabf6762129ba91bd3a1-Abstract-Datasets_and_Benchmarks.html (дата обращения: 15.02.2025).
18. Newman S. Building microservices. Sebastopol, O’Reilly Media, 2021.
19. Li S., Zhang H., Jia Z., et al. Understanding and addressing quality attributes of microservices architecture: a systematic literature review. Inf. Softw. Technol., 2021, vol. 131, art. 106449. DOI: 10.1016/j.infsof.2020.106449
20. Velepucha V., Flores P. A survey on microservices architecture: principles, patterns and migration challenges. IEEE Access, 2023, vol. 11, pp. 88339-88358. DOI: 10.1109/ACCESS.2023.3305687 EDN: SIBEDO
21. Newman S. Monolith to microservices. Sebastopol, O’Reilly Media, 2019.
22. Waseem M., Liang P., Shahin M. A systematic mapping study on microservices architecture in devops. J. Syst. Softw., 2020, vol. 170, art. 110798. DOI: 10.1016/j.jss.2020.110798 EDN: UHKVRD
23. Leroy P., Morato P.G., Pisane J., et al. IMP-MARL: a suite of environments for large-scale infrastructure management planning via MARL. NeurIPS, 2024. URL: https://proceedings.neurips.cc/paper_files/paper/2023/hash/a7a7c0c92f195cce85f99768621ac6c0-Abstract-Datasets_and_Benchmarks.html (дата обращения: 15.02.2025).
24. Bacchiani L., Bravetti M., Giallorenzo S., et al. Microservice dynamic architecture-level deployment orchestration. In: Coordination Models and Languages. Cham, Springer Nature, 2021, pp. 257-275. DOI: 10.1007/978-3-030-78142-2_16
25. Vinyals O., Ewalds T., Bartunov S., et al. Starcraft II: a new challenge for reinforcement learning. arXiv:1708.04782. DOI: 10.48550/arXiv.1708.04782
26. Terry J., Black B., Grammel N., et al. Pettingzoo: gym for multi-agent reinforcement learning. NeurIPS, 2021, vol. 34, pp. 15032-15043.
27. Fan J., Wang Z., Xie Y., et al. A theoretical analysis of deep Q-learning. Proc. 2nd Conf. on Learning for Dynamics and Control, 2020, pp. 486-489.
28. Bolshakov V.E., Alfimtsev A.N. Hierarchical method for cooperative multiagent reinforcement learning in Markov decision processes. Dokl. Math., 2023, vol. 108, no. 2S, pp. S382-S392. DOI: 10.1134/S1064562423701132 EDN: TTLPCF
29. Ozdaglar A., Sayin M.O., Zhang K. Independent learning in stochastic games. In: International Congress of Mathematicians, 2021, pp. 5340-5373. DOI: 10.4171/icm2022/152
30. Zhang Z., Yang J., Zha H. Integrating independent and centralized multi-agent reinforcement learning for traffic signal network optimization. arXiv:1909.10651. DOI: 10.48550/arXiv.1909.10651
31. Morgunov E.F., Alfimtsev A.N. The “stag hunt” social dilemma in multi-agent reinforcement learning. REEPE, 2024. DOI: 10.1109/REEPE60449.2024.10479770
32. Zheng H., Zhao W., Yang J., et al. QoS analysis for web service compositions with complex structures. IEEE Trans. Serv. Comput., 2013, vol. 6, no. 3, pp. 373-386. DOI: 10.1109/TSC.2012.7
33. Kuba J.G., Feng X., Ding S., et al. Heterogeneous-agent mirror learning: a continuum of solutions to cooperative marl. arXiv:2208.01682. DOI: 10.48550/2208.01682
34. Leibo J.Z., Zambaldi V., Lanctot M., et al. Multi-agent reinforcement learning in sequential social dilemmas. arXiv:1702.03037. DOI: 10.48550/arXiv.1702.03037
Выпуск
Другие статьи выпуска
Рассмотрена проблема повышения эффективности генетических алгоритмов оптимизации за счет применения методов самонастройки, которые изменяют параметры и поведение алгоритма в процессе поиска решения. Приведен обзор актуальных и наиболее эффективных методов самонастройки и адаптации, в рамках которого выделены их преимущества и недостатки. Предложен новый алгоритм, позволяющий объединить лучшие стороны отдельных методов. Он представляет собой расширенную версию SHAGA с усовершенствованной процедурой скрещивания, которая позволяет адаптировать его интенсивность, применять селективное давление на данном этапе и использовать многородительское скрещивание. Предложены различные варианты оператора скрещивания и метод самоконфигурирования генетических операторов на основе SelfCEA, который динамически корректирует вероятности их применения в зависимости от успешности. Предложенный алгоритм протестирован с применением статистических критериев для проверки значимости различий результатов и сравнения с другими подходами в задачах оптимизации с вещественными и булевыми переменными. В результате тестирования новый генетический алгоритм продемонстрировал более высокую эффективность и значительное улучшение надежности в большинстве тестовых задач
Предложен подход, позволяющий учитывать сферичность Земли при решении задач оптимизации маршрута полета летательного аппарата и обработки матрицы высот рельефа, используя исходную информацию на гномонической проекции. Применение основного свойства гномонической проекции — представление ортодромий в виде прямых — позволяет использовать общепринятые алгоритмы и подходы при оптимизации маршрутов и решать данные задачи в условиях ограниченных вычислительных возможностей на бортовых вычислителях летательных аппаратов, например, с использованием методов теории графов, широко применяемых при решении аналогичных задач на плоскости. Необходимость учета сферичности Земли в алгоритмах оптимизации маршрута вызвана особенностями траекторного управления летательным аппаратом (а именно, движением вдоль ортодромии) между поворотными пунктами маршрута. Приведены алгоритмы и зависимости, позволяющие обрабатывать исходную информацию, в том числе матрицы высот рельефа, на гномонической проекции: формулы для решения прямой и обратной геодезической задачи, упрощенная, с точки зрения вычислительных ресурсов, зависимость для определения расстояния между двумя точками на проекции, решения для выборки ячеек, принадлежащих заданному полигону или окружности. Для демонстрации применения полученных зависимостей при решении практической задачи определения кратчайшего пути между двумя точками на земной поверхности с обходом запретных зон, образованных путем анализа матрицы высот рельефа в рассматриваемой области, рассмотрен пример ее решения с помощью методов теории графов (алгоритма Дейкстры)
В настоящее время в космической отрасли применяется множество специализированных интерфейсов передачи данных, предназначенных для решения частных задач с учетом возможностей элементной базы. Такая ситуация приводит к необходимости использовать различные преобразователи интерфейсов при сопряжении разнородных линий передачи информации. Вследствие этого снижаются отдельные характеристики создаваемых систем, возрастают структурная сложность и длительность отработки. Таким образом, существует необходимость применения унифицированного высокоскоростного сетевого интерфейса в составе бортовой аппаратуры и при наземной отработке изделий. С учетом изложенного наиболее перспективно выглядят сетевые интерфейсы семейства SpaceWire. В связи со вступлением в силу отечественного стандарта рассмотрен реализованный в новейшей отечественной элементной базе высокоскоростной интерфейс GigaSpaceWire —- расширение интерфейса SpaceWire с улучшенными характеристиками. В целях оценки возможности использования GigaSpaceWire в качестве надежного интерфейса передачи данных создано рабочее место, разработано программное обеспечение и проведена серия экспериментов. Установлено, что реальные характеристики контроллера интерфейса GigaSpaceWire не полностью соответствуют заявленным в стандарте, а практическое применение соответствующей элементной базы связано с рядом особенностей
Повышена эффективность эволюционных алгоритмов решения дорогостоящих многокритериальных задач оптимизации путем внедрения эффективных регрессионных моделей машинного обучения, аппроксимирующих целевые функции, для ускорения сходимости к истинному фронту Парето при ограниченном числе вычислений критериев (так называемый суррогатный подход). За основу разработанного метода многокритериальной оптимизации с суррогатным подходом взят эволюционный алгоритм MOEA/D. В качестве суррогатных моделей рассмотрены метод регрессионного анализа, основанный на гауссовых процессах, — кригинг (KRG), и метод опорных векторов (SVM), предназначенный для решения задач классификации и регрессии. Показано, что модифицированный эволюционный алгоритм многокритериальной оптимизации MOEA/D демонстрирует сравнимые или лучшие результаты на всех тестовых задачах международного соревнования алгоритмов многокритериальной оптимизации. Сравнение эволюционного алгоритма MOEA/D с другими участниками соревнования не проводилось, в частности, из-за уменьшенного вычислительного ресурса. Предложенный подход с кригингом показал лучшие средние результаты по метрике IGD, которая предназначена для оценки качества работы алгоритмов многокритериальной оптимизации. Разработанный подход с кригингом также показывает более разнообразные решения по сравнению с методами опорных векторов и алгоритмом MOEA/D
Исследован диодный субгармонический смеситель частот СВЧ-диапазона на второй гармонике гетеродина. В качестве нелинейного элемента применен AlGaAs резонансно-туннельный диод. Показано, что, используя резонансно-туннельный диод, можно повысить показатели назначения — мощность однодецибельной компрессии, точку пересечения продуктов интермодуляции 3-го порядка, верхнюю границу рабочего диапазона частот — по сравнению со смесителем частот на базе двух диодов с барьером Шоттки. Исследованы вероятностные характеристики и кинетика электрических параметров смесителя в результате действия технологических и эксплуатационных факторов для получения оценки гамма-процентного ресурса. В качестве технологических факторов рассмотрены конструкторско-технологические погрешности на этапах производства диода и смесителя, а также деградационные процессы в элементах конструкции диода, в качестве дестабилизирующего фактора эксплуатации — высокая температура. Необратимые изменения электрических характеристик смесителя приведены как результат деградационных процессов, протекающих в многослойной полупроводниковой гетероструктуре диода, вследствие чего меняются форма его вольт-амперной характеристики и параметры смесителя. Построена кинетика вольт-амперной характеристики диода и электрических характеристик смесителя с учетом их технологического разброса. Получена оценка гамма-процентного ресурса смесителя для заданных условий эксплуатации. Даны рекомендации по повышению надежности смесителя посредством конструкторско-технологической оптимизации параметров конструкции диода и смесителя
Увеличение объема грузоперевозок и скорости движения поездов требует создания средств контроля состояния железнодорожного пути для своевременного выявления дефектов. Описаны принципы действия высокоскоростной прецизионной аппаратуры для оперативного контроля прямолинейности поверхности катания железнодорожных рельсов, выполнена экспериментальная оценка погрешности аппаратуры, основанной на этих принципах. Высокая производительность процедуры контроля обеспечивается за счет регистрации изображений структурированной подсветки в поперечных сечениях рельса линейной камерой основного канала. При скорости движения путеизмерительного вагона 180 км/ч практически исключаются пропуски коротких дефектов поверхности, в том числе дефектов в виде ступенек на стыках рельсов. Предложен метод компенсации погрешностей при колебаниях путеизмерительного вагона, основанный на информации о его вертикальных колебаниях в дополнительном канале, регистрирующем смещение изображения головки рельса относительно установочной базы аппаратуры регистрации, и использовании методики тарировки системы контроля. Приведено описание методики тарировки двухканальной оптико-электронной системы. Результатами натурных испытаний опытного образца оптико-электронной системы контроля прямолинейности железнодорожных рельсов подтверждена правильность технических решений, положенных в ее основу
Рассмотрена методика алгоритмической коррекции, применяемая для совмещения базисов инерциального измерительного блока и звездного датчика в составе астроинерциальной навигационной системы. Описаны принципы построения астронавигационной системы. Отмечены различия в характере погрешностей определяемых навигационных параметров и преимущества применения звездных датчиков в качестве средств получения дополнительной информации для коррекции навигационных параметров. Определены и описаны системы координат астронавигационной системы. Предложены математические соотношения, методика проведения алгоритмической коррекции на основе преобразования координат через углы Эйлера, матрица сопряжения приборных базисов инерциального измерительного блока и звездного датчика, а также условия выполнения необходимых измерений. Рассмотрена последовательность действий в ходе эксперимента. Выполнено сравнение результатов эксперимента, полученных с помощью алгоритмической коррекции и без нее. Экспериментально оценены результирующие погрешности астроинерциальной навигационной системы. Показано, что алгоритмическая коррекция позволяет достичь погрешностей определения географических координат не более 0,03… deg;. Приведен вывод о необходимости процедуры алгоритмического сопряжения базисов составных частей астроинерциальной системы для достижения точностных и эксплуатационных характеристик
Издательство
- Издательство
- МГТУ им. Н.Э. Баумана
- Регион
- Россия, Москва
- Почтовый адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- Юр. адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- ФИО
- Гордин Михаил Валерьевич (Ректор)
- E-mail адрес
- bauman@bmstu.ru
- Контактный телефон
- +7 (499) 2636377
- Сайт
- https://bmstu.ru/