Невыпуклая оптимизация с положительно-отрицательной оценкой момента и ее применение для нейросетевого распознавания рака кожи (2024)

Основная проблема использования стандартных методов оптимизации заключается в необходимости изменять все параметры шагами одинакового размера, независимо от поведения градиента. Более эффективный способ оптимизации нейронной сети состоит в том, чтобы установить адаптивные размеры шага для каждого параметра. Стандартные методы основаны на квадратных корнях экспоненциальных оценок моментов квадратов прошлых градиентов и не используют локальное изменение градиентов. В работе представлены методы адаптивной невыпуклой и доверительной оптимизации с положительно-отрицательной оценкой моментов с соответствующими теоретическими гарантиями сходимости. Данные подходы позволяют более точно сходиться функции потери в области глобального минимума за меньшее количество итераций. Использование преобразований положительно-отрицательной оценки момента и дополнительного параметра, регулирующего размер шага, позволяют обходить локальные экстремумы для достижения более высокой производительности по сравнению с аналогичными методами. Внедрение разработанных алгоритмов в процесс обучения различных архитектур мультимодальных нейросетевых систем анализа гетерогенных данных позволило повысить точность распознавания пигментных новообразований кожи на 2,33 – 5,69 процентных пункта по сравнению с известными методами оптимизации. Мультимодальные нейросетевые системы анализа разнородных дерматологических данных, обученные с применением предложенных алгоритмов оптимизации, могут использоваться в качестве инструмента вспомогательной медицинской диагностики, который позволит сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысить шанс раннего выявления пигментных онкопатологий.

Тип: Статья
Автор (ы): Ляхов Павел Алексеевич, Ляхова Ульяна Алексеевна, Абдулкадиров Руслан Ибрагимович
Ключевые фразы: оптимизация, натуральный градиентный спуск, искусственный интеллект, мультимодальные нейронные сети, разнородные данные, рак кожи, меланома.

Идентификаторы и классификаторы

УДК
616-006. Опухоли. Новообразования. Бластомы. Хористомы. Гамартомы. Онкология
ГРНТИ
28.23.15. Распознавание образов. Обработка изображений
Префикс DOI
10.18287/2412-6179-CO-1308
Текстовый фрагмент статьи