Архив статей журнала
В статье рассматриваются задачи модульного обучения искусственных нейронных сетей, а также исследуются возможности частичного использования модулей в условиях ограниченных вычислительных ресурсов. Предлагаемый метод основывается на свойствах
вейвлет-преобразования по разделению информации на высокочастотную и низкочастотную части. Используя наработки по вейвлет-преобразованию на основе сверточного слоя, авторы осуществляют поперечнослойное разделение сети на модули для дальнейшего частичного использования их на устройствах с малой вычислительной мощностью. Теоретическое обоснование такого подхода в статье подкрепляется экспериментальным разделением базы MNIST на 2 и 4 модуля и их последовательным использованием с замером точности и производительности. Выигрыш в производительности составил 2 и более раза при использовании отдельных модулей. Также с помощью AlexNet-подобной сети с использованием набора данных GTSRB проверены предложенные теоретические положения, при этом выигрыш производительности одного модуля составил 33 % без потери точности.
Основная проблема использования стандартных методов оптимизации заключается в необходимости изменять все параметры шагами одинакового размера, независимо от поведения градиента. Более эффективный способ оптимизации нейронной сети состоит в том, чтобы установить адаптивные размеры шага для каждого параметра. Стандартные методы основаны на квадратных корнях экспоненциальных оценок моментов квадратов прошлых градиентов и не используют локальное изменение градиентов. В работе представлены методы адаптивной невыпуклой и доверительной оптимизации с положительно-отрицательной оценкой моментов с соответствующими теоретическими гарантиями сходимости. Данные подходы позволяют более точно сходиться функции потери в области глобального минимума за меньшее количество итераций. Использование преобразований положительно-отрицательной оценки момента и дополнительного параметра, регулирующего размер шага, позволяют обходить локальные экстремумы для достижения более высокой производительности по сравнению с аналогичными методами. Внедрение разработанных алгоритмов в процесс обучения различных архитектур мультимодальных нейросетевых систем анализа гетерогенных данных позволило повысить точность распознавания пигментных новообразований кожи на 2,33 – 5,69 процентных пункта по сравнению с известными методами оптимизации. Мультимодальные нейросетевые системы анализа разнородных дерматологических данных, обученные с применением предложенных алгоритмов оптимизации, могут использоваться в качестве инструмента вспомогательной медицинской диагностики, который позволит сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысить шанс раннего выявления пигментных онкопатологий.
A computer vision based real-time object detection on low-power devices is economically attractive, yet a technically challenging task. The paper presents results of benchmarks on popular deep neural network models, which are often used for this task. The results of experiments provide insights into trade-offs between accuracy, speed, and computational efficiency of MobileNetV2 SSD, CenterNet MobileNetV2 FPN, EfficientDet, YoloV5, YoloV7, YoloV7 Tiny and YoloV8 neural network models on Raspberry Pi 4B, Raspberry Pi 3B and NVIDIA Jetson Nano with TensorFlow Lite. We fine-tuned the models on our custom dataset prior to benchmarking and used post-training quantization (PTQ) and quantization-aware training (QAT) to optimize the models’ size and speed. The experiments demonstrated that an appropriate algorithm selection depends on task requirements. We recommend EfficientDet Lite 512×512 quantized or YoloV7 Tiny for tasks that require around 2 FPS, EfficientDet Lite 320×320 quantized or SSD Mobilenet V2 320×320 for tasks with over 10 FPS, and EfficientDet Lite 320×320 or YoloV5 320×320 with QAT for tasks with intermediate FPS requirements.
В статье в кратком виде излагается математическая модель распознавания контуров объектов интереса на растровом изображении. Более детально раскрывается процесс ее дискретизации в рамках разработки численных методов, которые позволяют реализовать указанную модель на современных средствах вычислительной техники. Приведены явные математические выкладки, пригодные для написания кодов прикладного программного обеспечения, получена оценка вычислительной сложности, подтверждающая возможность достижения производительности режима реального времени. Представлены результаты численного эксперимента по восстановлению спиральных пучков света.