ГИБРИДНЫЙ МЕТОД ПОДАВЛЕНИЯ ОСЦИЛЛЯЦИЙ ГИББСА НА ИЗОБРАЖЕНИЯХ МАГНИТНО-РЕЗОНАНСНОЙ ТОМОГРАФИИ (2021)
Подавление артефактов ложного оконтуривания на изображениях (эффектов ложного оконтуривания, англ. ringing) – это распространенная задача области восстановления изображений. Осцилляции Гиббса возникают из-за методики визуализации изображений магнитно-резонансной томографии, при которой исходные данные, поступающие в частотной области, отображаются в пространственную область с помощью дискретного преобразования Фурье. Появление осцилляций Гиббса обусловлено неполнотой получаемой информации, связанной в том числе с обрезкой высоких частот Фурье-спектра. В данной статье предлагается гибридный метод подавления артефактов ложного оконтуривания на изображениях магнитно-резонансной томографии, заключающийся в объединении моделей глубокого машинного обучения и классического необучаемого алгоритма подавления осцилляций Гиббса, основанного на поиске оптимальных субпиксельных сдвигов.
Идентификаторы и классификаторы
- eLIBRARY ID
- 45067278
Подавление осцилляций Гиббса (ложного оконтуривания, англ. ringing) – актуальная задача математических методов обработки изображений. Они часто наблюдаются при изменении разрешения изображений, при повышении резкости изображений, а также при визуализации данных магнитно-резонансной томографии (МРТ) (см. рис. 1). Повышение качества МРТ изображений является важной для медицинской диагностики задачей, например, при работе с атласами мозга [1].
Феномен Гиббса был открыт Генри Уилбрахамом в 1848 г., а затем повторно открыт Дж. Уиллардом Гиббсом в 1898 г. Интересным является факт, что в отличие от других математических областей, исследование эффекта Гиббса было не очень активным вплоть до 1977 года [2]. Затем работы на эту тему стали появляться чаще [3–5]. Отчасти такая динамика объясняется развитием магнитно-резонансной томографии (МРТ), основанной в 1973 году, когда профессор химии Пол Лотербург опубликовал в журнале Nature статью “Создание изображения с помощью индуцированного локального взаимодействия; примеры на основе магнитного резонанса”. Математические методы получения изображений МРТ были затем усовершенствованы Питером Мэнсфилдом, и в 2003 году обоим исследователям была присуждена Нобелевская премия по физиологии и медицине.
Список литературы
- Senyukova O., Zubov A. Full anatomical labeling of magnetic resonance images of human brain by registration with multiple atlases // Programming and Computer Software. 2016. V. 46. № 6. P. 356-360. EDN: XFKRNV
- Gottlieb D., Orszag S. Numerical Analysis of Spectral Methods: Theory and Application. SIAM, 1977. 176 p.
- Gray A., Pinsky M. Gibbs phenomenon for Fourier-Bessel series // Expositiones Mathematicae. 1993. V. 11. 123 p.
- Pinsky M.A. Fourier inversion for piecewise smooth functions in several variables // Proceedings of the American Mathematical Society. 1993. V. 118. № 3. P. 903-910.
- Pinsky M.A. Pointwise Fourier inversion in several variables // Notices of the American Mathematical Society. 1995. V. 42. № 3. P. 330-334.
- Малла С. Вэйвлеты в обработке сигналов. Пер. с англ. М.: Мир, 2005. 671 с.
- Kellner E., Dhital B., Kiselev V.G., Reisert M. Gibbs?ringing artifact removal based on local subvoxel?shifts // Magnetic Resonance in Medicine. 2016. V. 76. № 5. P. 1574-1581.
- Sitdikov I.T., Krylov A.S. Variational Image Deringing Using Varying Regularization Parameter // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. 2015. V. 25. № 1. P. 96-100. EDN: UFLTTZ
- Umnov A.V., Krylov A.S. Sparse Approach to Image Ringing Detection and Suppression // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. 2017. V. 27. № 4. P. 754-762. EDN: ZUPBBH
-
Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // International Conference MICCAI 2015. 2015. P. 234-241.
-
Sinha A., Dolz J. Multi-scale self-guided attention for medical image segmentation // IEEE Journal of Biomedical and Health Informatics. 2021. V. 25. № 1. P. 121-130.
-
Krylov A., Karnaukhov V., Mamaev N., Khvostikov A. Hybrid Method for Biomedical Image Denoising // Proceedings of the 2019 4th International Conference on Biomedical Imaging, Signal Processing. 2019. P. 60-64. EDN: QOVQQZ
-
Wang Y., Song Y., Xie H. et al. Reduction of Gibbs artifacts in magnetic resonance imaging based on Convolutional Neural Network // 2017 10th International Congress on Image and Signal Processing, Biomedical Engineering and Informatics (CISP-BMEI). 2017. P. 1-5.
-
Zhao X., Zhang H., Zhou Y. et al. Gibbs-ringing artifact suppression with knowledge transfer from natural images to MR images // Multimedia Tools and Applications. 2019. P. 1-23.
-
Penkin M., Krylov A., Khvostikov A. Attention-based Convolutional Neural Network for MRI Gibbs-ringing Artifact Suppression // CEUR Workshop Proceedings. 2020. V. 2744. P. 1-12. EDN: WRORID
-
Lim B., Son S., Kim H. et al. Enhanced deep residual networks for single image super-resolution // Proceedings of the CVPR IEEE Conference. 2017. P. 136-144.
-
He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the CVPR IEEE Conference. 2016. P. 770-778.
-
Zhang M., Gunturk B.K. Multiresolution bilateral filtering for image denoising // IEEE Transactions on Image Processing. 2008. V. 17. № 12. P. 2324-2333.
-
Manj'on J.V., Coupé P., Buades A. et al. Non-local MRI upsampling // Medical Image Analysis. 2010. V. 14. № 6. P. 784-792.
-
Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM // 2010 20th International Conference on Pattern Recognition. 2010. P. 2366-2369.
-
Hanin B. Which neural net architectures give rise to exploding and vanishing gradients? // Advances in Neural Information Processing Systems. 2018. P. 582-591.
-
Ioffe S., Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift // arXiv preprint arXiv:1502.03167, 2015.
-
Santurkar S., Tsipras D., Ilyas A., Madry A. How does batch normalization help optimization? // Advances in Neural Information Processing Systems. 2018. P. 2483-2493.
-
Kingma D.P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980, 2014.
Выпуск
Другие статьи выпуска
В работе рассматривается задача заполнения областей изображений. В последние годы эта область стремительно развивалась, новые нейросетевые методы показывают впечатляющие результаты, однако большинство нейросетевых подходов сильно зависят от разрешения, на котором их обучали. Незначительное увеличение разрешения приводит к серьезным артефактам и неудовлетворительному результату заполнения, из-за чего подобные методы не применимы в средствах интерактивной обработки изображений. В этой статье мы представляем метод, позволяющий решить проблему заполнения областей изображений разного разрешения. Мы также описываем способ более качественного восстановления текстурных фрагментов в заполняемой области. Для этого мы предлагаем использовать информацию из соседних пикселей путем сдвига исходного изображения в четырех направлениях. Предлагаемый подход применим к уже существующим методам без необходимости их переобучения.
Классическая трассировка лучей методом Монте-Карло – это мощный метод, позволяющий моделировать практически все эффекты в лучевой оптике, но он может быть недопустимо медленным для многих случаев, таких как, например, вычисление изображений, видимых объективом или камерой с точечным отверстием. Поэтому часто используются его различные модификации, в частности, двунаправленная стохастическая трассировка лучей с фотонными картами. Недостатком всех стохастических методов является нежелательный шум. Уровень шума, то есть дисперсия яркости пикселей, рассчитанной за одну итерацию метода, зависит от различных параметров, таких как количество лучей от источника света и от камеры, способ слияния их траекторий, радиус интегрирующей сферы и т.д. Выбор оптимальных параметров позволит получить минимальный уровень шума при данном времени расчета. Данной проблеме и посвящена эта статья. Показано, что дисперсия яркости пикселя представляет собой сумму трех функций, масштабируемых обратным числом лучей из источника и из камеры, причем сами эти функции не зависят от количества лучей. Поэтому, зная их, можно предсказать шум для любого количества лучей и, таким образом, найти оптимальный вариант. Вычисление этих функций на основе полученных в трассировке лучей данных является нетривиальной задачей. В статье приведен практический метод их расчета и продемонстрировано, что по результатам всего одного пробного расчета можно предсказать дисперсию для произвольного числа лучей. Таким образом, становится возможным минимизация шума благодаря выбору оптимального числа лучей.
Данная работа посвящена исследованию методов фотонных карт для решения проблемы реалистичного рендеринга. В отличие от традиционных методов рендеринга основой для расчета яркости вторичного и каустического освещений являются обратные фотонные карты или карты наблюдения. Представлены основные преимущества метода обратных фотонных карт, которые заключаются, во-первых, в естественном распределении фотонов в областях, формирующих яркость изображения, а во-вторых, в уменьшении числа фотонов, формируемых на трассе одного луча. Рассмотрена основная алгоритмическая сложность метода обратных фотонных карт, заключающаяся в необходимости синхронизации данных при расчете и накоплении яркости вторичного и каустического освещений. Для решения данной проблемы авторы предлагают использовать промежуточные прямые фотонные карты вторичного и каустического освещения, распределенные по вычислительным потокам, выполняющими рендеринг соответствующих участков изображения. На основе проведенных исследований вводится метод прогрессивных обратных фотонных карт и описывается алгоритм реалистичного рендеринга, основанный на методе прогрессивных обратных фотонных карт. Разработанный алгоритм не требует дополнительной синхронизации при накоплении яркости в точках изображения, что позволяет эффективно реализовать его не только с использованием ресурсов центрального процессора, но и на графическом процессоре. Представлены результаты качественного и количественного сравнения результатов рендеринга методами прогрессивных прямых и обратных фотонных карт.
Данная работа рассматривает построение обобщенного вычислительного эксперимента для решения задач верификации. Проблема сравнительной оценки точности численных методов в настоящее время приобретает особую актуальность ввиду введения федеральных стандартов и распространению программных пакетов, включающих большое количество разнообразных солверов. Обобщенный вычислительный эксперимент позволяет получить численное решение для класса задач, определяемых диапазонами изменения определяющих параметров. Анализ результатов, представленных в виде многомерных массивов, где количество измерений определяется размерностью пространства определяющих параметров, требует применения инструментов научной визуализации и визуальной аналитики. Обсуждаются подходы к применению обобщенного вычислительного эксперимента при наличии эталонного решения и в его отсутствие. Приведен пример построения поверхностей ошибок при сравнении решателей программного пакета OpenFOAM. В качестве основной используется классическая задача невязкой косой ударной волны. Рассмотрены вариации основных параметров задачи – числа Маха и угла атаки. Также рассматривается пример задачи обтекания конуса под углом атаки с изменяющимся числом Маха, углом конуса и углом атаки. Вводится понятие индекса ошибки как интегральная характеристика отклонений от точного решения для каждого решателя в рассматриваемом классе задач.
В статье предлагаются новые технология и методы реализации панорамного видео с обзором 360 градусов, основанные на проекции виртуального окружения на правильный додекаэдр. Идея состоит в построении виртуальной панорамы, наблюдаемой зрителем, из прямоугольных снимков виртуального пространства, имитирующих внутреннюю поверхность додекаэдра. Разработан метод вычисления параметров проекции и ориентации 12 камер додекаэдра, основанный на геометрии “золотых прямоугольников”, метод и алгоритмы синтеза кадра 360-видео, основанные на оригинальной схеме упаковки пентагонов, а также метод и алгоритм визуализации прямоугольных снимков, обеспечивающий синтез непрерывной виртуальной панорамы. Предложенные решения реализованы в программном комплексе и апробированы на примере задачи визуализации полета по орбите МКС над земной поверхностью. Результаты исследования могут быть применены в системах виртуального окружения, видеосимуляторах, научной визуализации, виртуальных лабораториях, образовательных приложениях, видеоинструкциях и др.
Статья посвящена вопросам автоматизации процесса создания автономных модулей научной визуализации на базе систем на кристалле с настраиваемым осязаемым пользовательским интерфейсом. Такие модули могут быть использованы в роли интерактивных экспонатов в рамках концепции так называемых умных музеев. Ключевой идеей автоматизации является генерация итогового программного обеспечения средствами онтологически управляемой платформы SciVi. В рамках этой платформы путем расширения управляющих онтологий организована поддержка генерации кода для систем на кристалле Raspberry Pi и Orange Pi. Алгоритм работы генерируемого программного обеспечения описывается в платформе SciVi высокоуровневым образом при помощи диаграмм потоков данных. При этом научная визуализация имеет аппаратную поддержку через графический API OpenGL ES, а поддержка осязаемого пользовательского интерфейса обеспечивается подключением специализированных библиотек и средств операционной системы для взаимодействия с внешними периферийными устройствами. Эффективность предложенных методов и средств подтверждена на практике при разработке нескольких кибер-физических экспонатов для выставки “Превращения” в Детском музейном центре, филиале Пермского краеведческого музея (г. Пермь).
В статье освещается подход на основе технологии машинного обучения, который представляет особый интерес для локализации и определения характеристик как одноочаговых стенозов, так и многососудистых, многоочаговых поражений. В связи со сложностью анализа большого количества данных клиницистом/кардиохирургом, в исследовании большое внимание уделено анализу, обучению и сравнению популярных детекторов для классификации и локализации очагов стеноза на данных коронарной ангиографии. Полный набор данных был собран в НИИ Комплексных проблем сердечно-сосудистых заболеваний на основе исследования коронарографии, среди которых ретроспективно выбраны данные 100 пациентов. Для автоматизированного анализа медицинских данных, в статье подробно рассмотрены 3 модели (SSD MobileNet V1, Faster-RCNN ResNet-50 V1, Faster-RCNN NASNet), которые варьировались по архитектуре, сложности и количеству весов. Приведено сравнение моделей по основным характеристикам эффективности: точность, время обучения и время предсказания. Результаты тестирования показали, что время обучения/предсказания прямо пропорционально сложности модели. Так, наименьшее время предсказания показала модель Faster-RCNN NASNet (среднее время обработки одного изображения составило 880 мс). Что касается точности, то наибольшая точность предсказания была получена моделью Faster-RCNN ResNet-50 V1. Данная модель достигла уровня 0.92 метрики mAP на валидационном наборе данных. С другой стороны, наиболее быстрой оказалась модель SSD MobileNet V1, которая способна выполнять предсказания с частотой предсказания 23 кадра в секунду.
Издательство
- Издательство
- ИЗДАТЕЛЬСТВО НАУКА
- Регион
- Россия, Москва
- Почтовый адрес
- 121099 г. Москва, Шубинский пер., 6, стр. 1
- Юр. адрес
- 121099 г. Москва, Шубинский пер., 6, стр. 1
- ФИО
- Николай Николаевич Федосеенков (Директор)
- E-mail адрес
- info@naukapublishers.ru
- Контактный телефон
- +7 (495) 2767735