Способность больших языковых моделей справляться с интеллектуальными задачами является крайне важным навыком в различных средах, для которых требуется принимать решения на основе общедоступной информации. В обучении с подкреплением, особенно в мультиагентном, независимо от сложности среды, крайне важно на основе простых действий достигать значимых результатов, которые с точки зрения ретроспективы могли казаться невыполнимыми. Рассмотрена возможность использования большой языковой модели Mistral-7B Instruct-v0.3 для применения в задаче мультиагентного обучения с подкреплением. Разработан метод взаимодействия с Large Language Model (LLM) для использования рассуждения большой языковой модели для задачи планирования и распределения действий. Проведена оценка рефлексии большой языковой модели в результате действий, которые обозначены как необходимые для достижения поставленной в среде цели. Реализуемый трансфер знаний из LLM позволяет использовать успешные подходы для задач мультиагентного обучения с подкреплением в среде мира-сетки. Выполнено экспериментальное сравнение алгоритмов машинного обучения, которые могут эффективно взаимодействовать с предоставляемой им информацией, полученной в результате взаимодействия с большой языковой моделью. Предлагаемый метод позволяет встроить в обучение мультиагентной системы структуру рассуждения LLM
Идентификаторы и классификаторы
- SCI
- Физика
Современные большие языковые модели (Large Language Models, LLM) демонстрируют возможности при решении различных задач, требующих анализа информации, логического вывода и принятия решений. Способности, позволяющие обобщать знания и выстраивать цепочки последовательных действий, открывают новые перспективы для областей, где критически важно эффективно использовать общедоступные данные. Вместе с этим изменяются и принципы разработки программного обеспечения. Большие языковые модели способны заменить многие существующие компьютерные приложения и настольные элементы программных систем. Для развития программного проектирования требуются инструменты дополнительного планирования, позволяющие использовать способности LLM так, чтобы была возможность создания новых конкурентно способных цифровых продуктов.
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Морозов К.А. Баланс между использованием большой языковой модели и обучением с подкреплением. Наука, технологии и бизнес. VI Межвуз. конф. аспирантов, соискателей и молодых ученых. М., Изд-во МГТУ им. Н.Э. Баумана, 2024, с. 328-334. EDN: DMFWXA
2. Jiang A.Q., Sablayrolles A., Mensch A., et al. Mistral 7B. arXiv:2310.06825. DOI: 10.48550/arXiv.2310.06825
3. Морозов К.А. Особенности алгоритма обучения с подкреплением в мультиагентных средах на основе нейронных сетей трансформеров. ИИАСУ’23. Сб. ст. II Всерос. науч. конф. Т. 1. М., КДУ, Добросвет, 2023, с. 188-195. DOI: 10.31453/kdu.ru.978-5-7913-1351-5-2023-435 EDN: ZIYZWI
4. Velichko N.A. Distributed multi-agent reinforcement learning based on feudal networks. 6th REEPE, 2024. DOI: 10.1109/REEPE60449.2024.10479775
5. Morgunov E.F., Alfimtsev A.N. The “Stag Hunt” social dilemma in multi-agent reinforcement learning. 6th REEPE, 2024. DOI: 10.1109/REEPE60449.2024.10479770
6. Morozov K.A. Models as a key factor of environments design in multi-agent reinforcement learning. 6th REEPE, 2024. DOI: 10.1109/REEPE60449.2024.10479882
7. Zhu Z., Lin K., Jain A.K., et al. Transfer learning in deep reinforcement learning: a survey. IEEE Trans. Pattern Anal. Mach. Intell., 2023, vol. 45, pp. 13344-13362. DOI: 10.1109/TPAMI.2023.3292075
8. Kostrikov I., Nair A., Levine S. Offline reinforcement learning with implicit Q-learning. arXiv:2110.06169. DOI: 10.48550/arXiv.2110.06169
9. Mnih V., Kavukcuoglu K., Silver D., et al. Human-level control through deep reinforcement learning. Nature, 2015, vol. 518, pp. 529-533. DOI: 10.1038/nature14236
10. Lowe R., Wu Y., Tamar A., et al. Multi-agent actor-critic for mixed cooperative-competitive environments. arXiv:1706.02275. DOI: 10.48550/arXiv.1706.02275
11. Leike J., Martic M., Krakovna V., et al. AI safety gridworlds. arXiv:1711.09883. DOI: 10.48550/arXiv.1711.09883
12. Wei J., Wang X., Schuurmans D., et al. Chain-of-thought prompting elicits reasoning in large language models. arXiv:2201.11903. DOI: 10.48550/arXiv.2201.11903
13. Lightman H., Kosaraju V., Burda Y., et al. Let’s verify step by step. arXiv 2305.20050. DOI: 10.48550/arXiv.2305.20050
14. Huang L., Yu E., Ma W., et al. A survey on hallucination in large language models: principles, taxonomy, challenges, and open questions. ACM Trans. Inf. Syst., 2025, no. 2, vol. 43, pp. 1-55. DOI: 10.1145/3703155 EDN: FHGSXF
15. Pawitan Y., Holmes C. Confidence in the reasoning of large language models. arXiv:2412.15296. DOI: 10.48550/arXiv.2412.15296
16. Xue Y., Kudenko D., Khosla M. Graph learning-based generation of abstractions for reinforcement learning. Neural Comput. Applic., 2025, vol. 37, no. 19, pp. 13187-13207. DOI: 10.1007/s00521-023-08211-x EDN: SRXJVG
17. Величко Н.А., Голубев Е.Ж., Моргунов Е.Ф. и др. Пешеходные ловушки как социальные дилеммы умного города и их решение алгоритмом WoLF-PHC. ИИАСУ’22. Сб. ст. Всерос. науч. конф. Т. 1. М., Изд-во МГТУ им. Н.Э. Баумана, 2022, с. 181-191. EDN: HWZUKR
18. Моргунов Е.Ф., Алфимцев А.Н. Распознавание и решение социальной дилеммы “охота на оленя” с помощью мультиагентного обучения с подкреплением. ИИАСУ’23. Сб. ст. II Всерос. науч. конф. Т. 1. М., КДУ, Добросвет, 2023, с. 182-187. DOI: 10.31453/kdu.ru.978-5-7913-1351-5-2023-435 EDN: HDRIKQ
19. Zhang Y., Mao S., Ge T., et al. LLM as a mastermind: a survey of strategic reasoning with large language models. arXiv:2404.01230. DOI: 10.48550/arXiv.2404.01230
20. Liu I.J., Jain U., Yeh R.A., et al. Cooperative exploration for multi-agent deep reinforcement learning. Proc. PMLR, 2021, vol. 139, pp. 6826-6836. URL: https://proceedings.mlr.press/v139/liu21j.
21. Алфимцев А.Н. Нечеткое агрегирование мультимодальной информации в интеллектуальном интерфейсе. Программные продукты и системы, 2011, № 3, с. 44-48. EDN: OWJLVH
22. Vidmanov D.A., Alfimtsev A.N. MARLMUI: multi-agent reinforcement learning approach in mobile adaptive user interface. 5th REEPE, 2023. DOI: 10.1109/REEPE57272.2023.10086785
23. Qiu W., Wang X., Yu R., et al. RMIX: learning risk-sensitive policies for cooperative reinforcement learning agents. arXiv:2102.08159. DOI: 10.48550/arXiv.2102.08159
Выпуск
Другие статьи выпуска
Рассмотрен метод повышения эффективности онтологического моделирования при разработке и изготовлении оптических микроэлектромеханических систем на основе разработки паттерна содержания онтологии. Паттерн позволяет наглядно представлять логические взаимосвязи между элементами, из которых состоит изделие, и их характеристиками; изделиями, которые можно изготовлять с использованием определенных процессов и материалов; процессами и материалами, необходимыми для изготовления нескольких изделий. Паттерн также дает возможность через систему запросов определять необходимый набор операций и материалов для получения конкретных изделий. На примере оптического переключателя показана процедура применения паттерна содержания начиная с конструктивно-технологического анализа изделия, включая описание конструктивных элементов изделия, их материалов и взаимосвязей с технологическими процессами. Сформированная онтология в редакторе Protege содержит информацию о 20 видах микросистем с выделением логических связей оптического переключателя микроэлектромеханических систем с индивидами основных классов паттерна. Предложенный метод повышает эффективность управления знаниями в цифровой среде и открывает перспективу для дальнейшего применения онтологического моделирования. Представленная модель предусматривает расширение ее структуры и увеличение степени детализации описания ее элементов
Представлены результаты комплексного анализа методов квантования, направленных на оптимизацию моделей машинного обучения для развертывания в условиях ограниченных ресурсов TinyML. Рассмотрены различные схемы квантования, включая равномерное, логарифмическое и обученное квантование и оценено их влияние на производительность разных нейросетевых архитектур, таких как MobileNetV1/V2, ResNet-50, ShuffleNetV2 и Mamba. Результаты экспериментов показывают, что переход от 32-битных чисел с плавающей запятой к 8-битным целочисленным представлениям позволяет уменьшить размер моделей в 4 раза, при этом потеря точности составляет менее 2 %. Гибридные схемы смешанной точности демонстрируют оптимальный баланс между степенью сжатия и сохранением точности. Измерения, проведенные на платформе STM32U5, подтверждают значительное снижение энергопотребления (в 4,3 раза) при использовании 8-битного квантования. Предложены практические рекомендации по выбору оптимальных схем квантования в зависимости от аппаратных ограничений и специфики решаемой задачи. Обозначены перспективные направления дальнейших исследований, в частности, интеграция алгоритмов обучения с подкреплением для динамического выбора битности и разработка методов аппаратно-программной ко-оптимизации для отечественных микроконтроллеров (К1879ВГ1Т)
Использование методов глубокого обучения для обработки сигналов sEMG широко распространилось в последнее десятилетие, что дало многообещающие результаты, касающиеся повышения производительности в обоих направлениях: значений показателей оценки и скорости прохождения этапов обучения и тестирования. Одним из наиболее распространенных методов в этой области является RNN, поскольку их структура соответствует природе сигнала sEMG как сигнала временного ряда. В этой статье мы разработали две модели с использованием RNN; одна была однослойной, а другая - многослойной. Мы использовали исходные значения сигналов в качестве характеристик, а не извлекали какие-либо другие функции, такие как RMS, с целью снижения сложности обработки.
Рассмотрены вопросы эффективности применения фотокаталитических пленок диоксида титана в устройствах для очистки воды. Несмотря на множество работ, опубликованных по этой тематике, информация о влиянии фотокатализа на характеристики обеззараживаемой воды довольно противоречива и не систематизирована: связано это с большим числом параметров, по которым оценивается качество воды. К важнейшим из таких параметров можно отнести мутность и цветность. Для их определения оптическое пропускание является фундаментальным параметром. Методом импульсного реактивного магнетронного распыления сформирована фотокаталитическая пленка TiO2 на внешней поверхности кварцевой колбы, защищающей УФ-лампу устройства для очистки воды от механических повреждений. Предложенное решение позволяет избежать потерь УФ-излучения на преодоление слоя воды, что положительно сказывается на интенсивности фотокаталитической реакции. Апробирована экспериментальная установка, состоящая из проточного обеззараживателя, в котором осуществляется разложение органических загрязнителей, резервуара с очищаемой жидкостью и насоса. Эта установка позволяет провести оценку эффективности применения фотокаталитических элементов в устройствах для очистки воды. Экспериментально показано, что применение фотокаталитического элемента в проточном реакторе для очистки воды позволяет увеличить минимальное оптическое пропускание 0,005 % раствора метиленового синего в диапазоне длин волн 500…700 нм от 40…45 % при разложении УФ-обеззараживателем без фотокаталитического элемента до 58…65 % при использовании фотокаталитического элемента
Предложена методика обработки данных, полученных с применением дифференциально-сканирующей калориметрии при экспериментальных исследованиях кинетики процессов с высоким тепловыделением в условиях термогравиметрического анализа. Ввиду нелинейной зависимости скорости химической реакции от температуры регулирование условий теплообмена требует специальных условий проведения измерений, в том числе предполагающих изменение температурной программы во время протекания исследуемого процесса. Более простой подход заключается в оценке разности температуры реагирующего образца и газовой среды. Существенный недостаток этого подхода — отсутствие прямой зависимости интенсивности тепловыделения от температуры образца. В связи с этим обработка измерений должна включать в себя большее число свободных параметров, в том числе коэффициенты теплообмена. Вместо этого предложено решение обратной задачи для оценки неизвестных параметров, включая отклонение температуры образца от температуры печи. Основное допущение — выбор упрощенной одностадийной схемы химического превращения, которая позволяет сократить число независимых коэффициентов кинетической модели. Для схемы проведен перебор вариантов на сетке параметров с отбором по статистическим критериям. Полученные значения параметров позволяют оценить температуру горения образца. Результаты расчетов показывают, что температура углеродных образцов при окислении смесями воздуха с аргоном может существенно превышать температуру печи для малых навесок, поэтому кинетический анализ полученных кривых без учета перегрева может приводить к погрешностям определения параметров реакционной способности. Предложен выбор дополнительных ограничений, позволяющих получить однозначное решение
Приведены результаты измерения спектров отражения незагрязненных и загрязненных нефтепродуктами водных объектов на земной поверхности в ближнем ИК-диапазоне. В качестве загрязнителей использованы различные типы нефтепродуктов (товарная нефть Московского и Рязанского НПЗ, керосин, дизельное топливо, газовый конденсат, различные марки бензина, моторных масел). Исследуемые образцы — лабораторные модели водных объектов (болота, лужи на земной поверхности). Полученные результаты показывают, что для обнаружения загрязнений нефтью и нефтепродуктами водных объектов на земной поверхности в ближнем ИК-диапазоне перспективно использовать спектры отражения в диапазоне значений 1,6…1,8 мкм. Применение аппаратуры с тремя широкими спектральными каналами шириной 50 нм и центральными длинами волн 1696, 1734 и 1775 нм позволяет с высокой надежностью обнаруживать загрязнения нефтью и моторными маслами водных объектов при низкой вероятности неправильного обнаружения загрязнений. Обнаружение загрязнений водных объектов более легкими нефтепродуктами (бензины, керосины, дизельное топливо) возможно, однако вероятность обнаружения загрязнений существенно ниже
Издательство
- Издательство
- МГТУ им. Н.Э. Баумана
- Регион
- Россия, Москва
- Почтовый адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- Юр. адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- ФИО
- Гордин Михаил Валерьевич (Ректор)
- E-mail адрес
- bauman@bmstu.ru
- Контактный телефон
- +7 (499) 2636377
- Сайт
- https://bmstu.ru/