ANALYSIS OF THE EXPERIMENTAL FLOW SHADOWGRAPH IMAGES BY COMPUTER VISION METHODS (2023)
In this study, two examples of physical experiment automation using computer vision and deep learning techniques are considered. The first of them involves the use of classical computer vision techniques to detect and track the oblique shock wave on the experimental shadowgraph images. This was achieved using Canny edge detection and Hough transform, which allowed to obtain the line equation corresponding to the oblique shock wave. By automatically calculating the angle of this wave for each frame in the video, the process of extracting quantitative information from flow visualizations was significantly accelerated. In the second example, a convolutional neural network was trained to identify four classes of objects on the shadowgraph images, namely vertical shock waves, bow shocks, plumes, and opaque particles in the flow. The custom object detection model is based on the up-todate YOLOv8 architecture. To realize this task, a dataset of 1493 labeled shadowgraph images was collected. The model showed excellent performance during the learning process, with model precision and mAP50 scores exceeding 0.9. It was successfully applied to detect objects on the shadowgraph images, demonstrating the potential of deep learning techniques for automating the processing of flow visualizations. Overall, this study highlights the significant benefits of combining classical computer vision algorithms with deep learning techniques in the automation of physical experiments. However, classical algorithms demand the writing additional code to extract the required information. The deep neural networks can perform this task automatically, provided that a well-annotated dataset is available. This approach offers a promising avenue for accelerating the analysis of flow visualizations and the extraction of quantitative information in physical experiments.
Идентификаторы и классификаторы
В данном исследовании рассматриваются два примера автоматизации физических экспериментов с использованием методов компьютерного зрения и глубокого обучения. В первом из них были применены классические алгоритмы компьютерного зрения для обнаружения и отслеживания косого скачка уплотнения на экспериментальных теневых изображениях: метод выделения границ Кэнни и преобразование Хафа. Получив уравнение прямой, соответствующей косому скачку уплотнения, угол ее наклона автоматически рассчитывался для каждого кадра видео. Во втором примере была обучена сверточная нейронная сеть для определения четырех классов объектов на теневых изображениях: вертикальных ударных волн, головных ударных волн, термиков и непрозрачных частиц в потоке.
Модель основана на современной архитектуре YOLOv8. Для реализации этой задачи был создан набор данных из 1493 размеченных теневых изображений. Модель показала хорошие метрики в процессе обучения: точность модели и оценка mAP50 превысили 0,9. Она была успешно применена для обнаружения объектов на теневых изображениях. Было продемонстрировано, что применение классических алгоритмов компьютерного зрения и глубокого обучения может значительно ускорить обработку визуализаций потоков и извлечение количественной информации. Однако классические алгоритмы обычно не могут использоваться напрямую и требуют от исследователя написания дополнительного кода для извлечения необходимой информации. Глубокие нейронные сети могут выполнить эту задачу автоматически, и единственное, что требуется, это разметка и сбор большего набора данных.
Список литературы
- A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, Advances in Neural Information Processing Systems 25 (NIPS 2012). https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf Cited May 11, 2023.
- J. Rienitz, “Schlieren Experiment 300 Years Ago”, Nature 254 (5498), 293-295 (1975). DOI: 10.1038/254293a0
- G. S. Settles and M. J. Hargather, “A Review of Recent Developments in Schlieren and Shadowgraph Techniques”, Meas. Sci. Technol. 28 (4), Article Number 042001 (2017). DOI: 10.1088/1361-6501/aa5748
- J. Wolfram and J. Martinez Schramm, “Pattern Recognition in High Speed Schlieren Visualization at the High Enthalpy Shock Tunnel Göttingen (HEG)”, in Notes on Numerical Fluid Mechanics and Multidisciplinary Design (Springer, Berlin, 2010), Vol. 112, pp. 399-406. DOI: 10.1007/978-3-642-14243-7_49
- N. T. Smith, M. J. Lewis, and R. Chellappa, “Extraction of Oblique Structures in Noisy Schlieren Sequences Using Computer Vision Techniques”, AIAA J. 50 (5), 1145-1155 (2012). DOI: 10.2514/1.J051335
- C. Liu, R. Jiang, D. Wei, et al., “Deep Learning Approaches in Flow Visualization”, Adv. Aerodyn. 4, Article Number 17 (2022). DOI: 10.1186/s42774-022-00113-1
- Y. Liu, Y. Lu, Y. Wang, et al., “A CNN-Based Shock Detection Method in Flow Visualization”, Comput. Fluids 184, 1-9 (2019). DOI: 10.1016/j.compfluid.2019.03.022
- S. Cui, Y. Wang, X. Qian, and Z. Deng, “Image Processing Techniques in Shockwave Detection and Modeling”, J. Signal Inform. Process. 4 (3B), 109-113 (2013). DOI: 10.4236/jsip.2013.43B019
- G. Li, M. Burak Agir, K. Kontis, et al., “Image Processing Techniques for Shock Wave Detection and Tracking in High Speed Schlieren and Shadowgraph Systems”, J. Phys.: Conf. Ser. 1215, Article Number 012021 (2019). DOI: 10.1088/1742-6596/1215/1/012021
-
N. T. Smith, M. J. Lewis, and R. Chellappa, "Detection, Localization, and Tracking of Shock Contour Salient Points in Schlieren Sequences", AIAA J. 52 (6), 1249-1264 (2014). DOI: 10.2514/1.J052367
-
T. R. Fujimoto, T. Kawasaki, and K. Kitamura, "Canny-Edge-Detection/Rankine-Hugoniot-Conditions Unified Shock Sensor for Inviscid and Viscous Flows", J. Comput. Phys. 396, 264-279 (2019). DOI: 10.1016/j.jcp.2019.06.071 EDN: SSVACB
-
M. V. Srisha Rao and G. Jagadeesh, "Visualization and Image Processing of Compressible Flow in a Supersonic Gaseous Ejector", J. Indian Inst. Sci. 93 (1), 57-66 (2013).
-
P. V. Bulat, K. N. Volkov, and M. S. Yakovchuk, "Flow Visualization with Strong and Weak Gas Dynamic Discontinuities in Computational Fluid Dynamics", Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie). 17 (3), 245-257 (2016). DOI: 10.26089/NumMet.v17r323 EDN: VRHROJ
-
P. V. Bulat and K. N. Volkov, "Visualization of Gas Dynamics Discontinuities in Supersonic Flows Using Digital Image Processing Methods", Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie). 20 (3), 237-253 (2019). DOI: 10.26089/NumMet.v20r322 EDN: RNGYBE
-
C. Brossard, J. C. Monnier, P. Barricau, et al., "Principles and Applications of Particle Image Velocimetry", Aerospace Lab. No. 1, 1-11 (2009). https://hal.science/hal-01180587 Cited May 6, 2023.
-
E. K. Akhmetbekov, A. V. Bilsky, Yu. A. Lozhkin, et al., "Software for Experiment Management and Processing of Data Obtained by Digital Flow Visualization Techniques (ActualFlow)", Numerical Methods and Programming. (Vychislitel'nye Metody i Programmirovanie). 7 (3), 79-85 (2006). EDN: IBLLAX
-
E. Arnaud, E. Mémin, R. Sosa, and G. Artana, "A Fluid Motion Estimator for Schlieren Image Velocimetry", in Lecture Notes in Computer Science (Springer, Berlin, 2006), Vol. 3951, pp. 198-210. DOI: 10.1007/11744023_16
-
M. Lawson, M. Hargather, G. Settles, et al., "Focusing-Schlieren PIV Measurements of a Supersonic Turbulent Boundary Layers", in Proc. 47th AIAA Aerospace Sciences Meeting including The New Horizons Forum and Aerospace Exposition, Orlando, USA, January 5-8, 2009. https://arc.aiaa.org/doi/abs/10.2514/6.2009-69 Cited May 5, 2023. DOI: 10.2514/6.2009-69CitedMay5
-
A. W. Gena, C. Voelker, and G. S. Settles, "Qualitative and Quantitative Schlieren Optical Measurement of the Human Thermal Plume", Indoor Air 30 (4), 757-766 (2020). DOI: 10.1111/ina.12674
-
M. J. Hargather, M. J. Lawson, G. S. Settles, and L. M. Weinstein, "Seedless Velocimetry Measurements by Schlieren Image Velocimetry", AIAA J. 49 (3), 611-620 (2011). DOI: 10.2514/1.J050753 EDN: OELXEX
-
M. Debella-Gilo and A. Kääb, "Sub-Pixel Precision Image Matching for Measuring Surface Displacements on Mass Movements Using Normalized Cross-Correlation", Remote Sens. Environ. 115 (1), 130-142 (2011). DOI: 10.1016/j.rse.2010.08.012
-
M. Berenjkoub, G. Chen, and T. Günther, "Vortex Boundary Identification Using Convolutional Neural Network", in Proc. 2020 IEEE Visualization Conference (VIS), Salt Lake City, USA, October 25-30, 2020 (IEEE Press, New York, 2020), pp. 261-265. DOI: 10.1109/VIS47514.2020.00059
-
A. D. Beck, J. Zeifang, A. Schwarz, and D. G. Flad, "A Neural Network Based Shock Detection and Localization Approach for Discontinuous Galerkin Methods", J. Comput. Phys. 423, Article Number 109824 (2020). DOI: 10.1016/j.jcp.2020.109824
-
M. Morimoto, K. Fukami, and K. Fukagata, "Experimental Velocity Data Estimation for Imperfect Particle Images Using Machine Learning", Phys. Fluids. 33 (8), Article Number 087121 (2021). DOI: 10.1063/5.0060760
-
B. N. Ubald, P. Seshadri, and A. Duncan, "Density Reconstruction from Schlieren Images through Bayesian Nonparametric Models", arXiv preprint: 2201.05233v3 [physics.flu-dyn] (Cornell Univ. Library, Ithaca, 2022). DOI: 10.48550/arXiv.2201.05233
-
M. Monfort, T. Luciani, J. Komperda, et al., "A Deep Learning Approach to Identifying Shock Locations in Turbulent Combustion Tensor Fields", in Modeling, Analysis, and Visualization of Anisotropy (Springer, Cham, 2017), pp. 375-392. DOI: 10.1007/978-3-319-61358-1_16
-
G. B'iró, M. Pocsai, I. F. Barna, et al., "Machine Learning Methods for Schlieren Imaging of a Plasma Channel in Tenuous Atomic Vapor", Opt. Laser Technol. 159, Article Number 108948 (2023). DOI: 10.1016/j.optlastec.2022.108948
-
B. Colvert, M. Alsalman, and E. Kanso, "Classifying Vortex Wakes Using Neural Networks", Bioinspir. Biomim. 13 (2), Article Number 025003 (2018). DOI: 10.1088/1748-3190/aaa787
-
M. D. Manshadi, H. Vahdat-Nejad, M. Kazemi-Esfeh, and M. Alavi, "Speed Detection in Wind-Tunnels by Processing Schlieren Images", Int. J. Eng. 29 (7), 962-967 (2016). DOI: 10.5829/idosi.ije.2016.29.07a.11
-
Shadowgraph Images. Datasets at Hugging Face. https://huggingface.co/datasets/igor3357/shadowgraph_images Cited May 6, 2023.
-
Ultralytics YOLOv8. https://github.com/ultralytics/ultralytics Cited May 6, 2023.
-
I. A. Znamenskaya and I. A. Doroshchenko, "Edge Detection and Machine Learning for Automatic Flow Structures Detection and Tracking on Schlieren and Shadowgraph Images", J. Flow Vis. Image Process. 28 (4), 1-26, (2021). DOI: 10.1615/JFlowVisImageProc.2021037690
-
I. A. Znamenskaya, I. A. Doroshchenko, N. N. Sysoev, and D. I. Tatarenkova, "Results of Quantitative Analysis of High-Speed Shadowgraphy of Shock Tube Flows Using Machine Vision and Machine Learning", Dokl. Akad. Nauk 497 (1), 16-20 (2021) [Dokl. Phys. 66 (4), 93-96, (2021)]. DOI: 10.1134/S1028335821040066 EDN: WYGCBP
Выпуск
Методы и алгоритмы вычислительной математики и их приложения.
Параллельные программные средства и технологии.
Другие статьи выпуска
Проведено численное моделирование влияния внешнего постоянного магнитного поля на плоские релятивистские плазменные колебания. С этой целью построен алгоритм в лагранжевых переменных на основе продолженной системы гиперболических уравнений. Важным свойством численного метода является зависимость его точности только от свойств гладкости решения. Кроме того, для фиксации момента опрокидывания колебаний используется контроль за пересечением электронных траекторий. Аналитически получены достаточные условия для существования и несуществования на первом периоде гладкого решения задачи. Выяснено, что внешнее магнитное поле не может предотвратить опрокидывание колебаний принципиально, даже для случая сколь угодно малого начального отклонения от положения равновесия. Численные эксперименты наглядно иллюстрируют релятивистское опрокидывание верхнегибридных колебаний. Показано, что внешнее магнитное поле может как ускорять, так и замедлять процесс опрокидывания в зависимости от выбора начального условия для поперечной компоненты импульса электронов.
Предложена стратегия построения обучающего набора данных для подавляющей численную дисперсию нейронной сети NDM-net (numerical dispersion mitigation network), заключающаяся в расчете полного набора сейсмограмм методом конечных разностей на грубой сетке и в расчете обучающей выборки с применением более мелкой сетки. Обучающая выборка представляет собой малый набор сейсмограмм с определенным пространственным размещением источников волнового поля. После обучения сеть NDM-net позволяет аппроксимировать низкокачественные сейсмограммы, рассчитанные на грубой сетке, в сейсмограммы с меньшим шагом дискретизации. Оптимизация процесса построения репрезентативной обучающей выборки сейсмограмм основана на минимизации метрики Хаусдорфа между обучающей выборкой и полным набором сейсмограмм. Применение нейронной сети NDM-net позволяет уменьшить временные затраты при расчетах волновых полей на мелкой сетке.
В работе рассматриваются вопросы численного моделирования двухфазных течений с применением эйлеровой многоскоростной модели типа Баера-Нунциато. Представлено описание математической модели, подробно рассмотрен численный алгоритм решения задачи на основе разрывного метода Галеркина. Представлено описание разработанного программного комплекса, основное назначение которого - математическое моделирование двухфазных течений с прямым разрешением динамики границ раздела фаз. Особенностью предложенных алгоритмов является лимитирование простых и консервативных переменных, гарантирующее как отсутствие нефизичных осцилляций, так и допустимые значения физических полей с применением лимитера WENO-S. Основная цель работы - дать исчерпывающее описание предложенного комплекса алгоритмов для решения задач рассматриваемого класса и пригодного для решения задач в реалистичных постановках. На примере модельной задачи демонстрируется возможность его применения для решения задач на сетках больших размеров.
В работе рассматривается уравнение типа Бюргерса с полиномиальной нелинейностью и нулевыми краевыми условиями. Для интересующего диапазона параметров тождественно нулевое решение задачи является локально неустойчивым, и в его окрестности существует устойчивое многообразие, имеющее конечную коразмерность. Для приближенного построения указанного многообразия предложен комбинированный итерационный алгоритм, начальное условие для которого строится аналитическим методом и имеет квадратичную точность. Численно показано, насколько существенно данная модификация позволяет уменьшить для типичных значений параметров вычислительную сложность проецирования на искомое многообразие по сравнению со стандартным линейным приближением. Полученные результаты допускают обобщение на многомерные диссипативные уравнения широкого класса и могут применяться при решении задач асимптотической стабилизации по начальным данным, краевым условиям и правой части.
В статье рассматривается явно-неявная балансно-характеристическая схема CABARETI-NH (CABARET Implicit Non-Hydrostatic), основанная на схеме КАБАРЕ, для решения гиперболизированной системы уравнений Навье-Стокса. Неявность вдоль одного пространственного направления позволяет значительно увеличить шаг по времени на вычислительных сетках с большим аспектным отношением ячеек. Для разрешения введенной неявности используется метод гиперболической прогонки. Это позволяет сохранить вычислительную эффективность алгоритма на уровне явных схем. Приводятся результаты валидации модели на лабораторном эксперименте трехмерного гравитационного течения стратифицированной жидкости.
В работе изложены алгоритмы и приведены компактные программные модули на языке С для быстрого вычисления показательной функции с помощью таблиц для процессоров архитектуры x86-64. Выполнена оценка точности и проведено сравнение быстродействия для некоторых процессоров AMD и Intel. Реализовано и протестировано обобщение табличного подхода для некоторых тригонометрических функций. В среднем предложенные функции работают в 10 раз быстрее соответствующих аналогов из стандартной математической библиотеки с прототипами в math.h.
Проведены расчеты тестовой задачи, связанной с моделированием течения в идеализированном медицинском устройстве, в программном комплексе FlowVision. Расчеты проводились для ламинарного, турбулентного и переходного режимов течения. Исследована масштабируемость задачи. На основе решения тестовой задачи сделан вывод о возможности применения программного комплекса FlowVision к решению проблем гемодинамики.
A recurrent formula for estimating an impedance of the cathode catalyst layer with fast oxygen transport in a polymer electrolyte fuel cell is derived. The catalyst layer is divided into N sub-layers and application of the charge conservation law enables to obtain the nonlinear recurrent relation Zn = f(Zn-1), where Zn is the accumulated impedance of all sub-layers up to the n-th one. Numerical solution of this relation gives the total impedance of the catalyst layer with taking into account variation of the static overpotential of the oxygen reduction reaction along the depth of this layer. The model is simple, robust and two orders of magnitude faster than the standard model based on numerical solution of the differential equation.
Издательство
- Издательство
- МГУ
- Регион
- Россия, Москва
- Почтовый адрес
- оссийская Федерация, 119991, Москва, Ленинские горы, д. 1
- Юр. адрес
- оссийская Федерация, 119991, Москва, Ленинские горы, д. 1
- ФИО
- Садовничий Виктор Антонович (РЕКТОР)
- E-mail адрес
- info@rector.msu.ru
- Контактный телефон
- +7 (495) 9391000
- Сайт
- https://msu.ru/