ПОДХОД К КЛАССИФИКАЦИИ МНОГОМОДАЛЬНЫХ ДАННЫХ О ЗАБОЛЕВАНИЯХ ПНЕВМОНИЕЙ НА ОСНОВЕ ПРОМЕЖУТОЧНОГО СЛИЯНИЯ (2023)
В медицинской практике первичную диагностику заболеваний следует проводить быстро и по возможности автоматически. Обработка многомодальных данных в медицине стала повсеместно распространеннымметодом классификации, прогнозирования и обнаружения заболеваний. Пневмония - одно из наиболее распространенных заболеваний легких. В нашем исследовании для выявления пневмонии мы использовалирентгенограммы органов грудной клетки в качестве первой модальности и результаты лабораторных исследований пациента в качестве второй модальности. Архитектура многомодальной модели глубокого обучениябыла основана на промежуточном слиянии. Модель обучалась на сбалансированных и несбалансированныхданных, когда наличие пневмонии определялось в 50% и 9% от общего числа случаев соответственно. Дляболее объективной оценки результатов мы сравнили производительность нашей модели с несколькими другими моделями с открытым исходным кодом на наших данных. Эксперименты демонстрируют высокуюэффективность предложенной модели выявления пневмонии по двум модальностям даже в случаях несбалансированных классов (до 96.6%) по сравнению с результатами одномодальных моделей (до 93.5%). Мысделали несколько интегральных оценок производительности предлагаемой модели, чтобы охватить и исследовать все аспекты многомодальных данных и особенностей архитектуры. Были показатели точности,ROC AUC, PR AUC, показателя F1 и коэффициента корреляции Мэтьюса. Используя различные метрики, мы доказали возможность и целесообразность использования предложенной модели с целью правильнойклассификации заболевания. Эксперименты показали, что производительность модели, обученной на несбалансированных данных, даже немного выше, чем у других рассмотренных моделей.
Идентификаторы и классификаторы
- eLIBRARY ID
- 54647001
Пневмония - самый распространенный диагноз в мире среди всех диагностируемых заболеваний легких. Во время пандемии это заболевание занимало первое место среди всех диагностируемых болезней человека [1]. Своевременное, быстрое, достоверное выявление пневмонии может позволить врачам как можно раньше начать лечение, добиться положительной динамики, улучшить прогноз течения заболевания и, в конечном итоге, улучшить здоровье населения за счет меньших ресурсов. Современные технологии глубокого обучения позволяют обрабатывать данные сразу из нескольких модальностей, что очень практично в области медицины. Ведь в клинике пациент сдает множество лабораторных анализов и проходит множество различных видов исследований. Агрегацией результатов различных видов медицинских исследований раньше занимался только опытный врач. Теперь эту задачу могут взять на себя мультимодальные модели глубокого обучения, по крайней мере, рекомендательного и информативного характера, действующие в автоматическом режиме.
Список литературы
- COVID-19 and vascular disease // EBioMedicine. 2020. Aug. Vol. 58. P. 102966. DOI: 10.1016/j.ebiom.2020.102966
- Soenksen L.R., Ma Y., Zeng C., et al. Code for generating the HAIM multimodal dataset of MIMIC-IV clinical data and x-rays. 2022. DOI: 10.13026/3F8D-QE93
- Qiu S., Chang G.H., Panagia M., et al. Fusion of deep learning models of MRI scans, Mini-Mental State Examination, and logical memory test enhances diagnosis of mild cognitive impairment // Alzheimer’s & Dementia: Diagnosis, Assessment & Disease Monitoring. 2018. Jan. Vol. 10, no. 1. P. 737-749. DOI: 10.1016/j.dadm.2018.08.013
- Parcalabescu L., Frank A. MM-SHAP: A Performance-agnostic Metric for Measuring Multimodal Contributions in Vision and Language Models Tasks. 2022. 10.48550/ARXIV. 2212.08158. DOI: 10.48550/ARXIV.2212.08158
- Bakalos N., Voulodimos A., Doulamis N., et al. Fusing RGB and Thermal Imagery with Channel State Information for Abnormal Activity Detection Using Multimodal Bidirectional LSTM // Cyber-Physical Security for Critical Infrastructures Protection. Springer International Publishing, 2021. P. 77-86. DOI: 10.1007/978-3-030-69781-5_6
- Sarada N., Rao K.T. A Neural Network Architecture Using Separable Neural Networks for the Identification of “Pneumonia” in Digital Chest Radiographs // International Journal of e-Collaboration. 2021. Jan. Vol. 17, no. 1. P. 89-100. DOI: 10.4018/ijec.2021010106
- Vashisht S., Sharma B., Lamba S. Using Support Vector Machine and Generative Adversarial Network for Multi-Classification of Pneumonia Disease // 2023 4th International Conference for Emerging Technology (INCET). IEEE, May 2023. DOI: 10.1109/incet57972.2023.10170180
- Yadav P., Menon N., Ravi V., Vishvanathan S. Lung-GANs: Unsupervised Representation Learning for Lung Disease Classification Using Chest CT and X-Ray Images // IEEE Transactions on Engineering Management. 2023. Aug. Vol. 70, no. 8. P. 2774-2786. DOI: 10.1109/tem.2021.3103334 EDN: OWMYGW
- Fang M., Peng S., Liang Y., et al. A Multimodal Fusion Model with Multi-Level Attention Mechanism for Depression Detection // SSRN Electronic Journal. 2022. DOI: 10.2139/ssrn.4102839 EDN: GJSRZV
-
Cai S., Wakaki R., Nobuhara S., Nishino K. RGB Road Scene Material Segmentation // Computer Vision - ACCV 2022. Springer Nature Switzerland, 2023. P. 256-272. DOI: 10.1007/978-3-031-26284-5_16
-
Msuya H., Maiseli B.J. Deep Learning Model Compression Techniques: Advances, Opportunities, and Perspective // Tanzania Journal of Engineering and Technology. 2023. June. Vol. 42, no. 2. P. 65-83. DOI: 10.52339/tjet.v42i2.853 EDN: GLAWDP
-
Pereira R.M., Costa Y.M., Jr. C.N.S. MLTL: A multi-label approach for the Tomek Link undersampling algorithm // Neurocomputing. 2020. Mar. Vol. 383. P. 95-105. 10. 1016/j.neucom.2019.11.076. DOI: 10.1016/j.neucom.2019.11.076
-
Tang B., He H., Zhang S. MCENN: A variant of extended nearest neighbor method for pattern recognition // Pattern Recognition Letters. 2020. May. Vol. 133. P. 116-122. DOI: 10.1016/j.patrec.2020.01.015
-
Xin L., Mou T. Research on the Application of Multimodal-Based Machine Learning Algorithms to Water Quality Classification // Wireless Communications and Mobile Computing / ed. by C.-H. Wu. 2022. July. Vol. 2022. P. 1-13. DOI: 10.1155/2022/9555790 EDN: HYSTZM
-
Aridas C.K., Karlos S., Kanas V.G., et al. Uncertainty Based Under-Sampling for Learning Naive Bayes Classifiers Under Imbalanced Data Sets // IEEE Access. 2020. Vol. 8. P. 2122-2133. DOI: 10.1109/access.2019.2961784
-
Li Y., Branco P., Zhang H. Imbalanced Multimodal Attention-Based System for Multiclass House Price Prediction // Mathematics. 2022. Dec. Vol. 11, no. 1. P. 113. DOI: 10.3390/math11010113 EDN: FNKOOZ
-
Mathew R.M., Gunasundari R. An Oversampling Mechanism for Multimajority Datasets using SMOTE and Darwinian Particle Swarm Optimisation // International Journal on Recent and Innovation Trends in Computing and Communication. 2023. Mar. Vol. 11, no. 2. P. 143-153. DOI: 10.17762/ijritcc.v11i2.6139 EDN: IBBKVS
-
Chawla N.V., Bowyer K.W., Hall L.O., Kegelmeyer W.P. SMOTE: Synthetic Minority Over-sampling Technique // J. Artif. Intell. Res. 2002. Vol. 16. P. 321-357. DOI: 10.1613/jair.953
-
Siriseriwan W., Sinapiromsaran K. Adaptive neighbor synthetic minority oversampling technique under 1NN outcast handling // Songklanakarin Journal of Science and Technology (SJST). 2017. Vol. 39. P. 5. DOI: 10.14456/SJST-PSU.2017.70
-
Alhudhaif A. A novel multi-class imbalanced EEG signals classification based on the adaptive synthetic sampling (ADASYN) approach // PeerJ Computer Science. 2021. May. Vol. 7. P. 523. DOI: 10.7717/peerj-cs.523
-
He H., Bai Y., Garcia E.A., Li S. ADASYN: Adaptive synthetic sampling approach for imbalanced learning // Proceedings of the International Joint Conference on Neural Networks, IJCNN 2008, part of the IEEE World Congress on Computational Intelligence, WCCI 2008, Hong Kong, China, June 1-6, 2008. IEEE, 2008. P. 1322-1328. DOI: 10.1109/IJCNN.2008.4633969
Выпуск
Другие статьи выпуска
Основной предмет статьи - рассмотрение задач, возникающих при исследовании необходимых условий равенства бесконечных итераций конечных языков. В предыдущих публикациях автором рассматривались примеры применения соответствующего этому равенству специального бинарного отношения эквивалентности на множестве конечных языков, причем рассматривались как примеры, описывающие необходимые условия его выполнения, так и примеры его использования. К одному из таких необходимых условий применены два варианта сведeния рассматриваемой задачи: к конечным автоматам и к бесконечным итерационным деревьям. Также в статье приведены несколько вариантов важной гипотезы, формулируемой для множества конечных языков; ее исследование дает и иные варианты сведeния рассматриваемой задачи к специальным задачам для недетерминированных конечных автоматов. При этом в случае выполнения сформулированной гипотезы некоторые из таких задач решаются за полиномиальное время, а некоторые не решаются; при продолжении работ по данной тематике последний факт может дать возможность переформулировки проблемы P = NP в виде специальной задачи теории формальных языков.
В статье рассмотрена задача поиска аномальных подпоследовательностей временного ряда, решение которой в настоящее время востребовано в широком спектре предметных областей. Предложен новый метод обнаружения аномальных подпоследовательностей временного ряда с частичным привлечением учителя. Метод базируется на концепциях диссонанса и сниппета, которые формализуют соответственно понятия аномальных и типичных подпоследовательностей временного ряда. Предложенный метод включает в себя нейросетевую модель, которая определяет степень аномальности входной подпоследовательности ряда, и алгоритм автоматизированного построения обучающей выборки для этой модели. Нейросетевая модель представляет собой сиамскую нейронную сеть, где в качестве подсети предложено использовать модификацию модели ResNet. Для обучения модели предложена модифицированная функция контрастных потерь. Формирование обучающей выборки выполняется на основе репрезентативного фрагмента ряда, из которого удаляются диссонансы, маломощные сниппеты со своими ближайшими соседями и выбросы в рамках каждого сниппета, трактуемые соответственно как аномальная, нетипичная деятельность субъекта и шумы. Вычислительные эксперименты на временных рядах из различных предметных областей показывают, что предложенная модель по сравнению с аналогами показывает в среднем наиболее высокую точность обнаружения аномалий по стандартной метрике VUS-PR. Обратной стороной высокой точности метода является большее по сравнению с аналогами время, которое затрачивается на обучение модели и распознавание аномалии. Тем не менее, в приложениях интеллектуального управления отоплением зданий метод обеспечивает быстродействие, достаточное для обнаружения аномальных подпоследовательностей в режиме реального времени.
Проектировать эффективные параллельные программы для многопроцессорных архитектур сложно, так как нет четких формальных правил, которых необходимо придерживаться. Для решения этой проблемы при реализации численных алгоритмов может применяться концепция Q-детерминанта. Данная теория позволяет проводить автоматизированный анализ ресурса параллелизма алгоритма, автоматизированное сравнение ресурсов параллелизма алгоритмов, решающих одну и ту же алгоритмическую проблему, проектировать эффективные программы для реализации алгоритмов с помощью специально разработанного метода проектирования, повысить эффективность реализации численных методов и алгоритмических проблем. Результаты, полученные на основе концепции Q-детерминанта, представляют собой один из вариантов решения проблемы эффективной реализации численных алгоритмов, методов и алгоритмических проблем на параллельных вычислительных системах. Однако пока остается не решенной фундаментальная проблема автоматизированного проектирования и исполнения для любого численного алгоритма программы, реализующей алгоритм эффективно. В статье описана разработка единой для численных алгоритмов программной системы проектирования и исполнения Q-эффективных программ - эффективных программ, спроектированных с помощью концепции Q-детерминанта. Система предназначена для использования на параллельных вычислительных системах с общей памятью. Она состоит из компилятора и виртуальной машины. Компилятор преобразует представление алгоритма в форме Q-детерминанта в исполняемую программу, использующую ресурс параллелизма алгоритма полностью. Виртуальная машина исполняет программу, полученную с помощью компилятора. В статье также приведено экспериментальное исследование созданной программной системы с применением суперкомпьютера «Торнадо ЮУрГУ».
В работе рассматривается решение многомерных задач многоэкстремальной оптимизации с использованием деревьев решений для выявления областей притяжения локальных минимумов. Целевая функцияпредставлена как «черный ящик», она может быть недифференцируемой, многоэкстремальной и вычислительно трудоемкой. Для функции предполагается, что она удовлетворяет условию Липшица с априоринеизвестной константой. Для решения поставленной задачи многоэкстремальной оптимизации применятсяалгоритм глобального поиска. Хорошо известно, что сложность решения существенно зависит от наличия нескольких локальных экстремумов. В данной работе предложена модификация алгоритма, в которойопределяются окрестности локальных минимумов целевой функции на основе анализа накопленной поисковой информации. Проведение такого анализа с использованием методов машинного обучения позволяетпринять решение о запуске локального метода, что может ускорить сходимость алгоритма. Данный подход был подтвержден результатами численных экспериментов, демонстрирующих ускорение при решениинабора тестовых задач.
Издательство
- Издательство
- ЮУрГУ
- Регион
- Россия, Челябинск
- Почтовый адрес
- 454080, Уральский федеральный округ, Челябинская область, г. Челябинск, просп. В.И. Ленина, д. 76
- Юр. адрес
- 454080, Уральский федеральный округ, Челябинская область, г. Челябинск, просп. В.И. Ленина, д. 76
- ФИО
- Александр Рудольфович Вагнер (Ректор)
- E-mail адрес
- admin@susu.ru
- Контактный телефон
- +7 (351) 2635882
- Сайт
- https://www.susu.ru