360-ВИДЕО НА ОСНОВЕ ПРАВИЛЬНОГО ДОДЕКАЭДРА: ТЕХНОЛОГИЯ И МЕТОДЫ РЕАЛИЗАЦИИ В СИСТЕМАХ ВИРТУАЛЬНОГО ОКРУЖЕНИЯ (2021)
В статье предлагаются новые технология и методы реализации панорамного видео с обзором 360 градусов, основанные на проекции виртуального окружения на правильный додекаэдр. Идея состоит в построении виртуальной панорамы, наблюдаемой зрителем, из прямоугольных снимков виртуального пространства, имитирующих внутреннюю поверхность додекаэдра. Разработан метод вычисления параметров проекции и ориентации 12 камер додекаэдра, основанный на геометрии “золотых прямоугольников”, метод и алгоритмы синтеза кадра 360-видео, основанные на оригинальной схеме упаковки пентагонов, а также метод и алгоритм визуализации прямоугольных снимков, обеспечивающий синтез непрерывной виртуальной панорамы. Предложенные решения реализованы в программном комплексе и апробированы на примере задачи визуализации полета по орбите МКС над земной поверхностью. Результаты исследования могут быть применены в системах виртуального окружения, видеосимуляторах, научной визуализации, виртуальных лабораториях, образовательных приложениях, видеоинструкциях и др.
Идентификаторы и классификаторы
- eLIBRARY ID
- 45067242
Во многих современных научных исследованиях и программах подготовки прикладных специалистов активно востребованы системы виртуального окружения [1]. Особенно это актуально для областей, где цена ошибки крайне высока: космос, авиация, медицина, нефтегазовая и атомная промышленность и др. [1–5]. Современные системы виртуального окружения являются достаточно сложными (нередко стационарными) программно-аппаратными комплексами, для запуска и настройки которых требуется участие VR-специалиста. Вместе с этим часто возникают ситуации, когда необходимо оперативно визуализировать уже пройденный процесс работы в виртуальном окружении, например, для анализа ошибок, допущенных при обучении в симуляторах, обмена результатами между удаленными исследователями, создания образовательных приложений и инструкций, и др. Одним из эффективных подходов является исследование и разработка новых технологий и форматов реализации видеозаписи виртуального окружения, при просмотре которой зритель испытывал бы эффект погружения. Примерами являются технологии, основанные на различных форматах стерео, например, технология отложенного синтеза 4K-стереороликов в сложных динамических виртуальных сценах [6] или технология создания стереоанимаций на основе автостереоскопических мониторов [7, 8].
Список литературы
- Михайлюк М.В., Мальцев А.В., Тимохин П.Ю., Страшнов Е.В., Крючков Б.И., Усов В.М. Система виртуального окружения Virsim для имитационно-тренажерных комплексов подготовки космонавтов // Пилотируемые полеты в космос, 2020. № 4 (37). С. 72-95. EDN: NZKHKF
- Barladian B.K., Shapiro L.Z., Mallachiev K.A., Khoroshilov A.V., Solodelov Yu.A., Voloboy A.G., Galaktionov V.A., Koverninskii I.V. Visualization Component for the Aircraft Real-Time Operating System JetOS // Programming and Computer Software. 2020. V. 46. № 3. P. 167-175. EDN: AAJMTP
- Lubimov M., Vidiger D., Shergin D. Limitless dynamic landscapes of 1 mm per pixel density, zooming included // SIGGRAPH 2020. 2020. Article № 6. DOI: 10.1145/3407662.3407753
- Piedra J.A., Ojeda-Castelo J.J., Quero-Valenzuela F., Piedra-Fdez I. Virtual Environment for the Training of the Hands in Minimally Invasive Thoracic Surgery// IEEE 2016 8th International Conference on Games and Virtual Worlds for Serious Applications (VS-GAMES), 2016. P. 1-4.
- Страшнов Е.В., Мироненко И.Н., Финагин Л.А. Моделирование режимов полета квадрокоптера в системах виртуального окружения // Информационные технологии и вычислительные системы, 2020. № 1. С. 85-94. EDN: NRRKDT
- Timokhin P.Yu., Mikhaylyuk M.V., Vozhegov E.M., Panteley K.D. Technology and Methods for Deferred Synthesis of 4K Stereo Clips for Complex Dynamic Virtual Scenes // Programming and Computer Software. 2021. V. 47. № 1. P. 67-75. EDN: NHEMDH
- Andreev S., Bondarev A., Bondarenko A., Galaktionov V., Bondareva N. Constructing Stereo Images of Error Surfaces in Problems of Numerical Methods Verification // Proceedings of the 30th International Conference on Computer Graphics and Vision, 2020. V. 2744. EDN: UYJZBW
- Andreev S.V., Bondarev A.E., Galaktionov V.A., Bondareva N.A. The problems of stereo animations construction on modern stereo devices // Scientific Visualization. 2018. № 10 (4). P. 40-52. EDN: RXVIYN
- Corbillon X., Simon G., Devlic A., Chakareski J. Viewport-Adaptive Navigable 360-Degree Video Delivery // IEEE 2017 International Conference on Communications (ICC), 2017. P. 1-7.
-
Jiang H., He G., Yu W., Wang Z., Li Y. Scalable Video Coding Based on the User's View for Real-Time Virtual Reality Applications. In: Advances in Multimedia Information Processing - PCM 2017, LNCS 10736. Ed. by B. Zeng Springer, 2018. P. 766-775.
-
Yu M., Lakshman H., Girod B. A Framework to Evaluate Omnidirectional Video Coding Schemes // IEEE 2015 International Symposium on Mixed and Augmented Reality, 2015. P. 31-36.
-
Ray B., Jung J., Larabi M.-C. A Low-Complexity Video Encoder for Equirectangular Projected 360 Video Content // IEEE 2018 International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2018. P. 1723-1727.
-
Li J., Wen Z., Li S., Zhao Y., Guo B., Wen J. Novel tile segmentation scheme for omnidirectional video // IEEE 2016 International Conference on Image Processing (ICIP), 2016. P. 370-374.
-
Тимохин П.Ю., Михайлюк М.В., Вожегов Е.М. Эффективные методы и алгоритмы синтеза видео 360 градусов на основе кубической проекции виртуального окружения // Труды ИСП РАН. 2020. Т. 32. № 4. С. 73-88. EDN: XNXYZQ
-
Brown C. Bringing pixels front and center in VR video // Google AR and VR. March 14, 2017.https://www.blog.google/products/google-ar-vr/ bringing-pixels-front-and-center-vr-video/.
-
Kuzyakov E., Liu S., Pio D. Optimizing 360 Video for Oculus. Facebook F8 developers conference, 2016. https://developers.facebook.com/videos/f8-2016/optimizing-360-video-for-oculus/.
-
Chen Z., Wang X., Zhou Y., Zou L., Jiang J. Content-Aware Cubemap Projection for Panoramic Image via Deep Q-Learning // MultiMedia Modeling. Lecture Notes in Computer Science. 2020. V. 11962. P. 304-315.
-
Fu C.-W., Wan L., Wong T.-T., Leung C.-S. The Rhombic Dodecahedron Map: An Efficient Scheme for Encoding Panoramic Video // IEEE Transactions on Multimedia. 2009. V. 11. № 4. P. 634-644.
-
Kuzyakov E., Pio D. Next-generation video encoding techniques for 360 video and VR. https://engineering.fb.com/2016/01/21/virtual-reality/next-generation-video-encoding-techniques-for-360-video-and-vr/.
-
McCutchen D. A dodecahedral approach to immersive imaging and display // Computer Graphics. 1997. P. 35-37.
-
McCutchen D. Immersive dodecaherdral video viewing system. US Patent, No. 5703604. Dec. 30, 1997.
-
Timokhin P., Mikhaylyuk M., Panteley K. A technology to synthesize 360-degree video based on regular dodecahedron in virtual environment systems // Proceedings of the 30th International Conference on Computer Graphics and Vision. 2020. V. 2744. DOI: 10.51130/graphicon-2020-2-3-1 EDN: VZRQKM
-
Хилл Ф. OpenGL. Программирование компьютерной графики. 2-е издание. Питер, 2002.
-
Zwillinger D. CRC Standard Mathematical Tables and Formulas. 33rd ed. CRC Press, 2018.
-
Vasilieva V.N. Golden Section and Golden Rectangles When Building Icosahedron, Dodecahedron and Archimedean Solids Based On Them // Geometry & Graphics. 2019. V. 7. № 2. P. 47-55. EDN: FUGBNK
-
Akhtaruzzaman M., Shafie A.A. Geometrical Substantiation of Phi, the Golden Ratio and the Baroque of Nature, Architecture, Design and Engineering // International Journal of Arts. 2011. V. 1. № 1. P. 1-22.
-
Segal M., Akeley K. The OpenGL Graphics System: A Specification. Version 4.6, Core Profile. The Khronos Group Inc., 2006-2018. https://www.khronos.org/registry/OpenGL/specs/gl/glspec46.core.pdf.
-
Михайлюк М.В., Тимохин П.Ю., Мальцев А.В. Метод тесселяции на GPU рельефа Земли для космических видеотренажеров // Программирование. 2017. № 4. С. 39-47. EDN: ZCMMKN
Выпуск
Другие статьи выпуска
Подавление артефактов ложного оконтуривания на изображениях (эффектов ложного оконтуривания, англ. ringing) – это распространенная задача области восстановления изображений. Осцилляции Гиббса возникают из-за методики визуализации изображений магнитно-резонансной томографии, при которой исходные данные, поступающие в частотной области, отображаются в пространственную область с помощью дискретного преобразования Фурье. Появление осцилляций Гиббса обусловлено неполнотой получаемой информации, связанной в том числе с обрезкой высоких частот Фурье-спектра. В данной статье предлагается гибридный метод подавления артефактов ложного оконтуривания на изображениях магнитно-резонансной томографии, заключающийся в объединении моделей глубокого машинного обучения и классического необучаемого алгоритма подавления осцилляций Гиббса, основанного на поиске оптимальных субпиксельных сдвигов.
В работе рассматривается задача заполнения областей изображений. В последние годы эта область стремительно развивалась, новые нейросетевые методы показывают впечатляющие результаты, однако большинство нейросетевых подходов сильно зависят от разрешения, на котором их обучали. Незначительное увеличение разрешения приводит к серьезным артефактам и неудовлетворительному результату заполнения, из-за чего подобные методы не применимы в средствах интерактивной обработки изображений. В этой статье мы представляем метод, позволяющий решить проблему заполнения областей изображений разного разрешения. Мы также описываем способ более качественного восстановления текстурных фрагментов в заполняемой области. Для этого мы предлагаем использовать информацию из соседних пикселей путем сдвига исходного изображения в четырех направлениях. Предлагаемый подход применим к уже существующим методам без необходимости их переобучения.
Классическая трассировка лучей методом Монте-Карло – это мощный метод, позволяющий моделировать практически все эффекты в лучевой оптике, но он может быть недопустимо медленным для многих случаев, таких как, например, вычисление изображений, видимых объективом или камерой с точечным отверстием. Поэтому часто используются его различные модификации, в частности, двунаправленная стохастическая трассировка лучей с фотонными картами. Недостатком всех стохастических методов является нежелательный шум. Уровень шума, то есть дисперсия яркости пикселей, рассчитанной за одну итерацию метода, зависит от различных параметров, таких как количество лучей от источника света и от камеры, способ слияния их траекторий, радиус интегрирующей сферы и т.д. Выбор оптимальных параметров позволит получить минимальный уровень шума при данном времени расчета. Данной проблеме и посвящена эта статья. Показано, что дисперсия яркости пикселя представляет собой сумму трех функций, масштабируемых обратным числом лучей из источника и из камеры, причем сами эти функции не зависят от количества лучей. Поэтому, зная их, можно предсказать шум для любого количества лучей и, таким образом, найти оптимальный вариант. Вычисление этих функций на основе полученных в трассировке лучей данных является нетривиальной задачей. В статье приведен практический метод их расчета и продемонстрировано, что по результатам всего одного пробного расчета можно предсказать дисперсию для произвольного числа лучей. Таким образом, становится возможным минимизация шума благодаря выбору оптимального числа лучей.
Данная работа посвящена исследованию методов фотонных карт для решения проблемы реалистичного рендеринга. В отличие от традиционных методов рендеринга основой для расчета яркости вторичного и каустического освещений являются обратные фотонные карты или карты наблюдения. Представлены основные преимущества метода обратных фотонных карт, которые заключаются, во-первых, в естественном распределении фотонов в областях, формирующих яркость изображения, а во-вторых, в уменьшении числа фотонов, формируемых на трассе одного луча. Рассмотрена основная алгоритмическая сложность метода обратных фотонных карт, заключающаяся в необходимости синхронизации данных при расчете и накоплении яркости вторичного и каустического освещений. Для решения данной проблемы авторы предлагают использовать промежуточные прямые фотонные карты вторичного и каустического освещения, распределенные по вычислительным потокам, выполняющими рендеринг соответствующих участков изображения. На основе проведенных исследований вводится метод прогрессивных обратных фотонных карт и описывается алгоритм реалистичного рендеринга, основанный на методе прогрессивных обратных фотонных карт. Разработанный алгоритм не требует дополнительной синхронизации при накоплении яркости в точках изображения, что позволяет эффективно реализовать его не только с использованием ресурсов центрального процессора, но и на графическом процессоре. Представлены результаты качественного и количественного сравнения результатов рендеринга методами прогрессивных прямых и обратных фотонных карт.
Данная работа рассматривает построение обобщенного вычислительного эксперимента для решения задач верификации. Проблема сравнительной оценки точности численных методов в настоящее время приобретает особую актуальность ввиду введения федеральных стандартов и распространению программных пакетов, включающих большое количество разнообразных солверов. Обобщенный вычислительный эксперимент позволяет получить численное решение для класса задач, определяемых диапазонами изменения определяющих параметров. Анализ результатов, представленных в виде многомерных массивов, где количество измерений определяется размерностью пространства определяющих параметров, требует применения инструментов научной визуализации и визуальной аналитики. Обсуждаются подходы к применению обобщенного вычислительного эксперимента при наличии эталонного решения и в его отсутствие. Приведен пример построения поверхностей ошибок при сравнении решателей программного пакета OpenFOAM. В качестве основной используется классическая задача невязкой косой ударной волны. Рассмотрены вариации основных параметров задачи – числа Маха и угла атаки. Также рассматривается пример задачи обтекания конуса под углом атаки с изменяющимся числом Маха, углом конуса и углом атаки. Вводится понятие индекса ошибки как интегральная характеристика отклонений от точного решения для каждого решателя в рассматриваемом классе задач.
Статья посвящена вопросам автоматизации процесса создания автономных модулей научной визуализации на базе систем на кристалле с настраиваемым осязаемым пользовательским интерфейсом. Такие модули могут быть использованы в роли интерактивных экспонатов в рамках концепции так называемых умных музеев. Ключевой идеей автоматизации является генерация итогового программного обеспечения средствами онтологически управляемой платформы SciVi. В рамках этой платформы путем расширения управляющих онтологий организована поддержка генерации кода для систем на кристалле Raspberry Pi и Orange Pi. Алгоритм работы генерируемого программного обеспечения описывается в платформе SciVi высокоуровневым образом при помощи диаграмм потоков данных. При этом научная визуализация имеет аппаратную поддержку через графический API OpenGL ES, а поддержка осязаемого пользовательского интерфейса обеспечивается подключением специализированных библиотек и средств операционной системы для взаимодействия с внешними периферийными устройствами. Эффективность предложенных методов и средств подтверждена на практике при разработке нескольких кибер-физических экспонатов для выставки “Превращения” в Детском музейном центре, филиале Пермского краеведческого музея (г. Пермь).
В статье освещается подход на основе технологии машинного обучения, который представляет особый интерес для локализации и определения характеристик как одноочаговых стенозов, так и многососудистых, многоочаговых поражений. В связи со сложностью анализа большого количества данных клиницистом/кардиохирургом, в исследовании большое внимание уделено анализу, обучению и сравнению популярных детекторов для классификации и локализации очагов стеноза на данных коронарной ангиографии. Полный набор данных был собран в НИИ Комплексных проблем сердечно-сосудистых заболеваний на основе исследования коронарографии, среди которых ретроспективно выбраны данные 100 пациентов. Для автоматизированного анализа медицинских данных, в статье подробно рассмотрены 3 модели (SSD MobileNet V1, Faster-RCNN ResNet-50 V1, Faster-RCNN NASNet), которые варьировались по архитектуре, сложности и количеству весов. Приведено сравнение моделей по основным характеристикам эффективности: точность, время обучения и время предсказания. Результаты тестирования показали, что время обучения/предсказания прямо пропорционально сложности модели. Так, наименьшее время предсказания показала модель Faster-RCNN NASNet (среднее время обработки одного изображения составило 880 мс). Что касается точности, то наибольшая точность предсказания была получена моделью Faster-RCNN ResNet-50 V1. Данная модель достигла уровня 0.92 метрики mAP на валидационном наборе данных. С другой стороны, наиболее быстрой оказалась модель SSD MobileNet V1, которая способна выполнять предсказания с частотой предсказания 23 кадра в секунду.
Издательство
- Издательство
- ИЗДАТЕЛЬСТВО НАУКА
- Регион
- Россия, Москва
- Почтовый адрес
- 121099 г. Москва, Шубинский пер., 6, стр. 1
- Юр. адрес
- 121099 г. Москва, Шубинский пер., 6, стр. 1
- ФИО
- Николай Николаевич Федосеенков (Директор)
- E-mail адрес
- info@naukapublishers.ru
- Контактный телефон
- +7 (495) 2767735