Нейросетевой подход к обеспечению визуальной когерентности в авиатренажерах дополненной реальности (2024)
В 2023 г. лидирующая авиакосмическая корпорация США Lockheed Martin объявила о разработке сразу нескольких основанных на технологиях расширенной/дополненной реальности (extended/augmented reality, XR/AR) тренажеров для пилотов TF-50, F-16, F-22 и F-35, отнюдь не являясь пионером в этом направлении – в 2022 г. аналогичные проекты запустили Boeing и ведущий британский производитель авиационной техники BAE Systems. В январе 2024 г. ВВС США инвестировали средства в разработку пилотских AR-симуляторов на основе смарт-очков дополненной реальности Microsoft Hololens, и тогда же компания Apple начала массовые продажи AR-гарнитуры Apple Vision Pro – трудно сомневаться в том, что в 2024 г. появится ряд новых авиатренажеров с применением этого устройства. Стремительное развитие нового поколения авиакосмической тренажерной техники – XR/AR-тренажеров – сопровождается бумом исследовательской активности в области визуальной когерентности (visual coherency, VC) сцен дополненной реальности: виртуальные объекты в этих сценах должны быть неотличимы от реальных. Именно VC обеспечивает новые возможности AR-тренажеров, принципиально отличающие их от ставших стандартными авиатренажеров с виртуальной реальностью. В последнее время VC все чаще обеспечивается нейросетевыми методами, при этом наиболее важными аспектами VC являются условия освещенности, поэтому основная доля исследований посвящена переносу этих условий (расположение источников света и их цветовой тон) из реального мира в виртуальный, но большинство известных подходов характеризуется неуниверсальностью и необходимостью выполнения ручных процедур. Данных недостатков не имеет основанный на двумерных спектральных преобразованиях изображений метод спектральной трансплантации, требующий, однако, определения размера трансплантируемой от реальной картины мира к виртуальному объекту части спектра. Настоящая статья посвящена разработке нейросетевой модели для механизма выбора оптимального размера спектрального трансплантата.
Идентификаторы и классификаторы
Список литературы
- Горбунов А.Л. Тренажер аэродромной спецтехники // Научный Вестник МГТУ ГА. 2016. № 225 (3). C. 92-97.
- Горбунов А.Л. Визуальная когерентность в дополненной реальности // Advanced Engineering Research. 2023. № 2. С. 180-190. https://doi.org/10.23947/2687-1653-2023-23-2-180-190
- Tewari A., Fried O., Thies J. и др. State of the art on neural rendering // Computer Graphics Forum. 2020. Vol. 39, iss. 2. Pp. 701-727. https://doi.org/10.1111/cgf.14022
- Einabadi F., Guillemaut J., Hilton A. Deep neural models for illumination estimation and relighting: A survey // Computer Graphics Forum. 2021. Vol. 40, iss. 6. Pp. 315-331. https://doi.org/10.1111/cgf.14283
- Ghasemi Y. Deep learning-based object detection in augmented reality: A systematic review / Y. Ghasemi, H. Jeong, S. Choi, J. Lee, K. Park [Электронный ресурс] // Computers in Industry. 2022. Vol. 139. ID: 103661. https://doi.org/10.1016/j.compind.2022.103661 (дата обращения: 05.01.2024).
- Tu W.-C., He Q., Chien S.-Y. Realtime salient object detection with a minimum spanning tree // Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR), 2016. Pp. 2334-2342.
- Yang J., Yang M.-H. Top-down visual saliency via joint CRF and dictionary learning [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, RI, 2012. Pp. 2296-2303. https://doi.org/10.1109/CVPR.2012.6247940 (дата обращения: 05.01.2024).
- Rosin P.L. A simple method for detecting salient regions // Pattern Recognition. 2009. Vol. 42, iss. 11. Pp. 2363-2371. https://doi.org/10.1016/j.patcog.2009.04.021
- Girshick R. Rich feature hierarchies for accurate object detection and semantic segmentation / R. Girshick, J. Donahue, T. Darrell, J. Malik [Электронный ресурс] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA, OH, 2014. Pp. 580-587. https://doi.org/10.1109/CVPR.2014.81 (дата обращения: 05.01.2024).
- Krähenbühl P., Koltun V. Geodesic object proposals [Электронный ресурс] // Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, 2014. Vol. 8693. https://doi.org/10.1007/978-3- 319-10602-1_47 (дата обращения: 05.01.2024).
- Pont-Tuset J. Multiscale combinatorial grouping for image segmentation and object proposal generation / J. Pont-Tuset, P. Arbeláez, J.T. Barron, F. Marques, J. Malik [Электронный ресурс] // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 39, no. 1. Pp. 128-140. https://doi.org/10.1109/TPAMI.2016.2537320 (дата обращения: 05.01.2024).
- Zitnick C.L., Dollar P. Edge boxes: Locating object proposals from edges [Электронный ресурс] // Computer Vision - ECCV 2014. ECCV 2014. Lecture Notes in Computer Science. Springer, Cham, 2014. Vol. 8693. https://doi.org/10.1007/978-3-319-10602-1_26 (дата обращения: 05.01.2024).
- Kuo W., Hariharan B., Malik J. Deepbox: Learning objectness with convolutional networks [Электронный ресурс] // IEEE International Conference on Computer Vision (ICCV). Santiago, Chile, 2015. Pp. 2479-2487. https://doi.org/10.1109/ICCV.2015.285 (дата обращения: 05.01.2024).
- Pinheiro P.O. Learning to refine object segments / P.O. Pinheiro, T.-Y. Lin, R. Collobert, P. Dollar [Электронный ресурс] // Computer Vision - ECCV 2016. ECCV 2016. Lecture Notes in Computer Science. Springer, Cham, 2016. Vol. 9905. https://doi.org/10.1007/978-3-319-46448-0_5 (дата обращения: 05.01.2024).
- Redmon J. You only look once: Unified, real-time object detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi [Электронный ресурс] // Proceedings of IEEE CVF Computer Vision and Pattern Recognition Conference (CVPR). USA, Las Vegas, NV, 2016. Pp. 779-788. https://doi.org/10.1109/CVPR.2016.91 (дата обращения: 05.01.2024).
- Shanmugamani R. Deep learning for computer vision. Packt Publishing, 2018. 310 p.
- Zhao Z.-Q. Object detection with deep learning: A review / Z.-Q. Zhao, P. Zheng, S.- T. Xu, X. Wu [Электронный ресурс] // IEEE Transactions on Neural Networks and Learning Systems. 2019. Vol. 30, iss. 11. Pp. 3212-3232. https://doi.org/10.1109/TNNLS.2018.2876865 (дата обращения: 05.01.2024).
- Gatys L., Ecker A., Bethge M. A Neural algorithm of artistic style [Электронный ресурс] // Journal of Vision. 2016. Vol. 16. ID: 326. https://doi.org/10.1167/16.12.326 (дата обращения: 05.01.2024).
- Changela A., Zaveri M., Verma D. A Comparative study on CORDIC algorithms and applications [Электронный ресурс] // Journal of Circuits, Systems and Computers. 2023. Vol. 32, no. 05. ID: 2330002. https://doi.org/10.1142/S0218126623300027 (дата обращения: 05.01.2024).
Выпуск
Другие статьи выпуска
Перед современной Россией стоит важная задача восстановления отечественного пассажирского самолетостроения в самые кратчайшие сроки. Данная работа посвящена оценке возможности, связанной с созданием самолетов регионального назначения, имеющих огромное значение не только для нашей страны. Использование опыта проектирования и эксплуатации является важным звеном в цепи создания любого нового самолета. Важная роль в этом процессе принадлежит глубокой модернизации базовой модели самолета. В работе рассматривается концептуальная оценка эффективности модернизации уже существующих самолетов, которая в данном случае связана, в частности, с переходом на композитные крылья, которые обеспечивают благодаря большей жесткости возможность увеличения удлинения и, как следствие, снижение аэродинамического сопротивления. Как правило, модернизация старых самолетов обязательно затрагивает применение более современных двигателей, обладающих более совершенными характеристиками, в том числе и лучшей топливной эффективностью. Исследование проводилось с использованием анализа чувствительности взлетной массы к проектным изменениям, которая хорошо себя зарекомендовала для различных типов летательных аппаратов. В качестве конкретного примера анализируется проектный вариант, формируемый на основе регионального самолета Як-40 с ориентацией на выполненные экспериментальные работы, проведенные в СибНИА в период 2012–2019 гг. Результаты большой экспериментальной работы, полученные специалистами СибНИА, рассматриваются в данном исследовании как хорошая база для проверки работоспособности и точности метода анализа чувствительности. Полученные характеристики в модифицированном варианте Як-40 по дальности хорошо согласуются с результатами указанных практических работ. Отмечается, что модифицированный Як-40 с дальностью порядка 4000 км может успешно использоваться не только как региональный, но и как самолет бизнес-класса. По своим техническим характеристикам рассматриваемый самолет не будет уступать известным самолетам-аналогам. В статье ставится вопрос о необходимости создания для подобного класса самолетов нового российского двигателя. При этом можно рассматривать силовую установку с запасом по тяге, поскольку избыток внутреннего объема пассажирского салона может быть использован для увеличения пассажировместимости.
Последствиями чрезвычайных ситуаций (ЧС) в авиации являются значительные человеческие потери и внушительный материальный ущерб. Обеспечение безопасности объектов транспортной инфраструктуры является важнейшей стратегической задачей как для государства, так и для организаций-эксплуатантов. Статистика авиапроисшествий показывает, что за период с 1950 по 2019 г. произошло 614 случаев (57 % от общего числа) по причине человеческого фактора (от действий злоумышленников до ошибок пилотирования), что актуализирует проблему человеческого фактора при эксплуатации и обеспечении безопасности авиационного транспорта. По данным ИКАО, за период 2019–2021 гг. произошло 210 происшествий, погиб 641 человек. Задачей сотрудников службы авиационной безопасности (САБ) является надлежащее выполнение обязанностей по обеспечению безопасности, предотвращению нештатных и чрезвычайных ситуаций. Возложенные обязанности накладывают на сотрудников САБ особую ответственность и предопределяют их соответствие заданным критериям. Кадровая работа, проводимая кадровыми подразделениями авиапредприятий, направлена на отбор наиболее соответствующих должности претендентов. В статье рассматривается проблема отбора кандидатов как задача многокритериальной оценки и выбора, где элементами выступают критерии (качества) кандидата, а их взвешенные оценки заданы экспертами. Рассмотрены существующие методы отбора кадров в САБ и проблема выбора наиболее сбалансированных по своим личностным, квалификационным и другим требованиям кандидатов. Предложен способ отбора кадров в САБ методом порогового агрегирования некомпенсаторного характера, который обладает значительными преимуществами перед распространенными методами отбора с помощью суммирования баллов и вычислением среднего арифметического значения. Результаты исследования подтверждаются практическим проведенным кадровым отбором кандидатов на два авиапредприятия, в результате которого группа инспекторов САБ, отобранная с помощью метода порогового агрегирования, в большем числе успешнее прошла испытательный срок, чем группа, отобранная с применением суммирования баллов критериев. Приведенные в статье результаты позволяют рассматривать метод порогового агрегирования кандидатов в САБ авиапредприятия как перспективный способ кадрового отбора, целью которого является повышение качества обеспечения безопасности авиатранспорта, что позволит снизить риски возникновения авиационных происшествий, сохранить человеческие жизни и предотвратить значительный материальный ущерб.
Современный уровень развития техники и технологий позволяет существенно улучшить возможности бортового оборудования, это же касается и систем резервного электропитания, в которых перспективным представляется применение литийионных аккумуляторных батарей, которые при наличии существенных преимуществ обладают рядом недостатков, которые необходимо учитывать при их использовании. В первую очередь это тепловой разгон, обусловленный внутренними физико-химическими процессами и неправильной эксплуатацией. Для предотвращения теплового разгона предлагается использовать цифровой двойник, основой которого является математическая модель тепловых процессов литийионного аккумулятора, полученная методом математического прототипирования энергетических процессов. Для численной реализации метода математического прототипирования предложено использовать модифицированный метод конечных объемов с реализацией процедуры деления до получения требуемой точности модели. В представленной статье рассматривается процедура формирования уравнений теплопроводности при моделировании динамического распределения теплового поля в литийионном аккумуляторе в трехмерной постановке задачи. Эта процедура необходима при реализации модифицированного метода конечных элементов с помощью метода математического прототипирования энергетических процессов, который предполагает деление конечных объемов для достижения требуемой точности расчетов. Особенностью процедуры деления является изменение объемов, площадей соприкосновения взаимодействующих элементов, изменение элементов, которые являются источниками тепла. В цикле моделирования необходимо заново формировать систему дифференциальных уравнений с учетом тех изменений, которые произошли после деления. Для наглядности в статье рассматриваются процедуры деления объемов на две равные части по одной из координат, также для получения модели рассматривается декартова система координат. Предложенная процедура формирования системы дифференциальных уравнений реализована в среде Python, результаты моделирования показали адекватность модели и работоспособность предлагаемого метода.
Технологии обработки естественного языка (natural language processing – NLP) в одном из своих применений обеспечивают эффективное исследование закономерностей и тенденций в больших наборах текстовых данных. Текстовые данные по безопасности полетов, представленные в виде отчетов по расследованию авиационных происшествий, являются перспективным объектом для извлечения новой полезной информации, которую можно использовать как при управлении безопасностью полетов, так и в рамках тренажерной подготовки. В данной работе рассматриваются вопросы применения технологий NLP для исследования корпуса отчетов по безопасности полетов ПАО «Аэрофлот – российские авиалинии». Целью исследования является разработка метода выявления актуальных тем тренажерной подготовки пилотов. Представлен анализ существующих зарубежных исследований в области интеллектуального анализа текстовой информации в гражданской авиации. Выявлено, что за рубежом активно применяют технологии NLP для изучения отчетов по безопасности полетов. В статье представлена схема метода выявления актуальных тем тренажерной подготовки пилотов, основанного на кластеризации отчетов по безопасности полетов. Описаны процедуры предварительной обработки текста и построение его векторного пространства. Научной новизной подхода является то, что в отличие от предыдущих работ предлагается использовать полное векторное представление отчетов по безопасности полетов, которое строится объединением матриц тематических и семантических векторов. Проведена апробация предложенного метода. Анализируемый корпус текстов составил 1080 отчетов. В результате применения алгоритма кластеризации были идентифицированы 36 кластеров, которые затем были визуализированы с помощью алгоритма t-распределенного стохастического эмбеддинга соседей (t-distributed Stochastic Neighbor Embedding – t-SNE). Практическая значимость результатов исследования заключается в том, что подход, основанный на кластеризации отчетов, позволит проводить более глубокий анализ отчетов по безопасности полетов, что может упростить и ускорить работу как специалистов по управлению безопасностью полетов, так и инструкторов по тренажерной подготовке пилотов.
При эксплуатации одновинтовых вертолетов нередко возникают авиационные происшествия, заключающиеся в возникновении непреднамеренного разворота или даже вращения по рысканию, заканчивающегося, как правило, столкновением с землей. Многочисленные исследователи этой проблемы считают одной из ее возможных причин потерю эффективности рулевого винта вертолета вследствие ветровых воздействий. В иностранной литературе имеется даже специальный термин – Loss of Tail Rotor Effectiveness (LTE). В связи с этим в настоящей работе сделана попытка определения возможности возникновения непреднамеренного вращения одновинтовых вертолетов по рысканию из-за ветровых воздействий (влияние несущего винта на рулевой винт в данной работе не учитывалось). Для решения этой задачи использовались теоретические методы (аналитические расчеты и вычислительные эксперименты). Для проведения аналитических расчетов и вычислительных экспериментов была создана математическая модель динамики вращения вертолета Ми-8МТВ по рысканию, на основе которой был создан программный комплекс, состоящий из модуля LTE (для моделирования динамики вращательного движения вертолета по рысканию) и OGL (для визуализации движения вертолета). Аналитические расчеты показали, что величина углового ускорения рыскания, наблюдаемая в полете при непреднамеренном вращении, может быть достигнута вследствие падения тяги рулевого винта на режиме вихревого кольца. Но для развития непреднамеренного вращения до углов и угловых скоростей, зафиксированных в реальных полетах, необходимо, чтобы такое падение тяги рулевого винта имело место в течение всего разворота. При вычислительных экспериментах с помощью вышеупомянутого программного комплекса не удалось создать условия для такого падения тяги в течение всего разворота и, соответственно, не удалось достичь тех углов и угловых скоростей рыскания, которые возникали в полетах. Рулевой винт при обдувке ветром в исследуемом диапазоне скоростей ветра (от 1 до 20 м/с) не теряет своей эффективности до такой степени, что с его помощью нельзя остановить непреднамеренное вращение.
Издательство
- Издательство
- Научно-техническая библиотека МГТУ ГА
- Регион
- Россия, Москва
- Почтовый адрес
- Кронштадтский бул., 20
- Юр. адрес
- Кронштадтский бул., 20
- ФИО
- Елисеев Борис Петрович (Руководитель)
- E-mail адрес
- press@mstuca.aero
- Контактный телефон
- +7 (916) 2376484
- Сайт
- https://mstuca.ru