СРАВНИТЕЛЬНЫЙ АНАЛИЗ АЛГОРИТМОВ ГЛУБОКОГО ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ DDPG, PPO И SAC ДЛЯ УПРАВЛЕНИЯ БЕСПИЛОТНЫМ АВТОМОБИЛЕМ В СИМУЛЯТОРЕ CARLA (2024)
В данной статье представлен сравнительный анализ трех передовых алгоритмов глубокого обучения с подкреплением: Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) и Soft Actor-Critic (SAC), реализованных в библиотеке Stable Baselines 3. Целью исследования является оценка эффективности и применимости каждого из алгоритмов для задачи управления беспилотным автомобилем в сложной и динамичной среде, предоставляемой симулятором CARLA, с акцентом на такие ключевые показатели, как суммарная дистанция, суммарное вознаграждение, средняя скорость, отклонение от центра дорожной полосы и доля успешных эпизодов. Авторы подробно описывают методологию экспериментального тестирования, включая настройку параметров обучения и критерии оценки производительности. Результаты экспериментов демонстрируют различия в производительности алгоритмов, выявляя их сильные и слабые стороны в контексте автономного вождения. Статья вносит вклад в понимание преимуществ и ограничений каждого алгоритма в контексте автономного вождения и предлагает рекомендации по их практическому применению.
Идентификаторы и классификаторы
В последние годы прогресс в области искусственного интеллекта и машинного обучения
привел к значительным достижениям в разработке автономных транспортных средств. Одним из ключевых направлений в этой области является разработка и совершенствование алгоритмов глубокого обучения с подкреплением (Deep Reinforcement Learning, DRL), которые позволяют беспилотным автомобилям самостоятельно изучать и оптимизировать своё поведение в сложных и динамичных дорожных условиях. Среди множества алгоритмов DRL особое внимание заслуживают Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) и Soft Actor-Critic (SAC), которые демонстрируют высокую эффективность в различных задачах управления и навигации.
Список литературы
- Lillicrap T.P. et al. Continuous control with deep reinforcement learning // arXiv preprint arXiv:1509.02971. – 2015.
- Chang C.C. et al. Autonomous driving control using the ddpg and rdpg algorithms // Applied Sciences. – 2021. – Т. 11. – №. 22. – С. 10659.
- Schulman J. et al. Proximal policy optimization algorithms // arXiv preprint arXiv:1707.06347. – 2017.
- Emuna R., Borowsky A., Biess A. Deep reinforcement learning for human-like driving policies in collision avoidance tasks of self-driving cars // arXiv preprint arXiv:2006.04218. – 2020.
- Haarnoja T. et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor // International conference on machine learning. – PMLR, 2018. – P. 1861-1870.
- Ke P., Yanxin Z., Chenkun Y. A decision-making method for Self-driving based on deep reinforcement learning // Journal of Physics: Conference Series. – IOP Publishing, 2020. – Т. 1576. – №. 1. – P. 012025.
- Youssef F., Houda B. Comparative study of end-to-end deep learning methods for self-driving car // International Journal of Intelligent Systems and Applications. – 2020. – Т. 12. – P. 15-27.
- Li D., Okhrin O. Modified DDPG car-following model with a real-world human driving experience with CARLA simulator // Transportation research part C: emerging technologies. – 2023. – Т. 147. – P. 103987.
Выпуск
Другие статьи выпуска
В условиях высокой конкурентности, а также активизации внутреннего производственного рынка предприятиям нужно быстро адаптироваться к современным условиям. Очевиден рост количества малых производственных предприятий, которые участвуют в тендерах на электронных торговых площадках и предлагают свои услуги крупным предприятиям, особенно этот рост заметен в области военно-промышленного комплекса. Заказчики предпочитают сотрудничать с малыми предприятиями, которые адаптивны к условиям заказа, а также имеют не только короткие сроки исполнения заказа, но еще и гибкую систему ценообразования благодаря низким административным и бюрократическим издержкам. Такие предприятия при росте объема заказов сталкиваются с проблемами в части организации бизнес-процессов. В работе авторами построена модель процесса «Контроль качества» с использованием метода BPMN на основе практики малого предприятия, которая может являться основой для обучения системы машинного обучения по построению модели бизнес-процессов. В качестве области искусственного интеллекта предложена обработка текстов на естественном языке, что позволит предприятиям использовать данную унифицированную технологию для сокращения издержек на разработку и описание бизнес-процессов.
В данной статье представлены результаты анализа актуальных исследований применения холакратических моделей управления для высокотехнологичных отраслей экономики как Российской Федерации, так и за её пределами. Актуальность исследований в области применения концептуальных моделей управления в организационных системах обусловлена вызовами конкуренции эффективных бизнес-моделей и непрерывной оптимизации внутренних издержек высокотехнологичных предприятий. Проблема быстрого перехода от классических каскадных и дивизионных моделей к холакратическим обусловлена потребностями экономики в появлении методов и моделей управления, которые обеспечат качественные процессные и экономические изменения без негативного влияния на цепочку поставок и процесс создания товаров или услуг с высокой добавленной стоимостью. В рамках настоящего исследования представлено сравнение классических методов управления в организационных системах против холакратических. Проблемный анализ также учитывал математические особенности сравнения существующих моделей управления. Результаты исследования, представленные в настоящей статье, говорят о том, что начинает формироваться потребность в методологии быстрого перехода на холакратические модели управления в организационных системах, а также создание концептуальной математической модели идеальной холакратической организации. В качестве выводов можно отметить наличие функционально-процессных разрывов при переходе на новую модель, в том числе их математические аспекты при заданных условиях.
В статье были рассмотрены такие IDS/IPS как Snort, Suricata, Fail2Ban и OSSEC, имеющие открытый исходный код. Проанализированы их механизмы обеспечения сетевой безопасности, включая архитектуру, функции, инструменты и реализуемые задачи. Рассмотрена возможность интеграции этих систем с отечественными операционными системами. В заключении подчеркивается, что IDS/IPS являются лишь одним из многих слоев защиты, которые должны быть внедрены для эффективного обеспечения безопасности. Только комплексный подход к безопасности может являться ключом к защите от современных киберугроз.
В статье обсуждается задача инструментальной поддержки процедур построения и использования с применением системно-объектного подхода трехмерной классификации (СО3К). Показаны на конкретных примерах возможности прогнозирования и поддержки управления с помощью СО3К. Представлены результаты исследования существующего инструментария концептуального классификационного моделирования (онтологического инжиниринга), показывающие, что с его помощью невозможно обеспечит построение и использование СО3К. В целях создания инструментального программного обеспечения, поддерживающего построение и использование СО3К, разработан набор функциональных требований к нему в виде UML-диаграммы вариантов использования (прецедентов) и диаграмм активности как потоков событий к ним.
В работе рассматриваются различные методы стеганографии, используемые для внедрения контрольной информации в цифровые изображения. Основное внимание уделяется принципам работы, преимуществам и недостаткам каждого метода. Рассмотрены классические и современные методы, такие как LSB, FFT, PVD, MPVD, DCT, S-UNIWARD, WOW, HUGO и Steghide. Анализируются их устойчивость к стегоанализу, стеганографическая емкость и вычислительная сложность. Понимание этих методов позволяет повысить эффективность и безопасность использования стеганографических техник в различных практических задачах.
При развитии информационных технологий, обеспечение и защита данных на веб-сервисах имеет важное значений. Для обеспечения безопасности применяют различные методы и одним из главных есть процесс аутентификации пользователей. Применяют разные методы аутентификации: парольную, двухфакторную аутентификацию, биометрическую, многофакторную, на основе искусственного интеллекта и блокчейн технологий. Несмотря на их многообразие, каждый метод имеет свои преимущества и недостатки. Текущие тенденции в области аутентификации включают комбинирование различных методов для повышения надежности и улучшение пользовательского опыта. Перспективы развития данной технологии связаны с поиском новых способов балансировки между безопасностью и удобством использования, а также постоянным обновлениям и адаптацией методов к изменяющимся угрозам безопасности. В данной статье проводится исследование различных методов аутентификации на веб-сервисах с целью выявления их эффективности, преимуществ и недостатков.
В работе предложено решение одной из задач, возникающих при построении современных систем безопасности движения в морских акваториях, а именно, оценивание размеров информативных фрагментов на изображении, которые представляется целесообразным использовать при обнаружении посторонних объектов на изображении морской поверхности. Оценивание размеров информативных фрагментов предложено осуществлять на основании вычисления среднего расстояния между контурами видимых на изображении элементов волн, такими как их гребни, впадины и др. Контуры данных элементов волн определяются на основе оператора Кэнни. Оценивание размеров информативных фрагментов выполняется вдоль столбцов и строк анализируемого изображения. Проведены вычислительные эксперименты, иллюстрирующие работоспособность разработанного алгоритма. Полученные оценки размеров информативных фрагментов изображений морской поверхности представляется целесообразным применять при их анализе, в частности, при решении задач обнаружения посторонних объектов на изображениях морской поверхности.
Издательство
- Издательство
- БелГУ
- Регион
- Россия, Белгород
- Почтовый адрес
- 308015, г. Белгород, ул. Победы, 85
- Юр. адрес
- 308015, г. Белгород, ул. Победы, 85
- ФИО
- Полухин Олег Николаевич (Руководитель)
- E-mail адрес
- Info@bsu.edu.ru
- Контактный телефон
- +7 (472) 2559809
- Сайт
- https:/bsuedu.ru