Публикации автора

В работе представлен систематизированный обзор моделей и методов N-Shot обучения в контексте задачи семантической сегментации изображений с использованием глубоких нейронных сетей. N-Shot обучение представляет собой совокупность методов и алгоритмов глубокого обучения, преимущественно применяемых в задачах обработки изображений, ориентированных на реализацию способности нейросетевой модели быстро и эффективно обучаться под новую задачу при отсутствии обучающих примеров (Zero-Shot обучение) или при весьма малом их количестве (One-Shot/Few-Shot обучение). Следует отметить, что отечественные научные издания не содержат достаточно полного и систематизированного анализа результатов, полученных в рамках данного направления. Данная первая часть обзора посвящена Zero-Shot обучению, являющаяся одним из направлением N-Shot методологии и осуществляющая сегментацию изображений с новыми классами объектов исключительно на основе целевого изображения и его текстового описания. В работе разобрана постановка задачи Zero-Shot обучения, а также детально проанализированы наиболее известные подходы и реализации, начиная с первоначальных концепций и заканчивая последними инновационными исследованиями. Представленные на рисунках модели глубоких нейронных сетей отображены с сохранением наиболее существенных компонентов, отражающих принципы реализации предлагаемого подхода в каждом случае. При необходимости точного воспроизведения архитектуры читателю следует обратиться к первоисточнику. Для лучшего понимания преимуществ и недостатков анализируемых моделей было осуществлено сравнение полученных авторами результатов тестирования на общих наборах данных Pascal-VOC 2012 и COCO-Stuff. Проведенный анализ позволил выделить наиболее перспективные и эффективные модели, которые могут быть рекомендованы для практического применения в задачах семантической сегментации изображений. В последующей второй части обзора будет представлено исследование методов One-Shot и Few-Shot обучения в задаче семантической сегментации. Эта часть обзора будет посвящена методам, способным выполнять сегментацию изображений с новыми классами объектов на основе всего нескольких обучающих примеров.

В работе представлен систематизированный обзор моделей и методов N-Shot обучения в контексте задачи семантической сегментации изображений с использованием глубоких нейронных сетей. N-Shot обучение представляет собой совокупность методов и алгоритмов глубокого обучения, применяемых в задачах обработки изображений и ориентированных на реализацию способности нейросетевой модели быстро и эффективно обучаться под новую задачу при отсутствии обучающих примеров (Zero-Shot обучение) или при весьма малом их количестве (One-Shot/Few-Shot обучение). Следует отметить, что отечественные научные издания не содержат достаточно полного и систематизированного анализа результатов, полученных в рамках данного направления. В статье, ранее опубликованной в настоящем журнале, была представлена первая часть обзора, посвященная исключительно методам и алгоритмам Zero-Shot обучения, т. е. обучения в отсутствии обучающих примеров. Данная статья является второй частью обзора и посвящена методам One-Shot/Few-Shot обучения. Она, с одной стороны, теснейшим образом связана с опубликованной ранее первой частью, но, в то же время, раскрывает суть принципиально другого подхода. В отличие от Zero-Shot обучения, где модель не имеет обучающих примеров для новых классов, данный подход предполагает обучение либо на основе одного обучающего примера в виде размеченного изображения (One-Shot-обучение), либо на основе использования небольшого количества обучающих примеров (Few-Shot-обучение). На сегодняшний день данное направление развивается ещё более активно, чем Zero-Shot, и демонстрирует впечатляющие результаты. В работе разобрана постановка задачи One-Shot и Few-Shot обучения, а также детально проанализированы наиболее известные подходы и реализации, начиная с первоначальных концепций и заканчивая последними инновационными исследованиями. Представленные на рисунках модели глубоких нейронных сетей отображены с сохранением наиболее существенных компонентов, отражающих принципы реализации предлагаемого подхода в каждом случае. При необходимости точного воспроизведения архитектуры читателю следует обратиться к первоисточнику. Для лучшего понимания преимуществ и недостатков анализируемых моделей было осуществлено сравнение полученных авторами результатов тестирования на общих наборах данных PASCAL-5i и COCO-20i. Проведенный анализ позволил выделить наиболее перспективные и эффективные модели, которые могут быть рекомендованы для практического применения в задачах семантической сегментации изображений при ограниченном количестве обучающих примеров.

Проведены исследования возможностей аугментации (искусственного размножения) обучающих данных в задаче классификации с использованием деформирующих преобразований обрабатываемых изображений. Представлены математическая модель и быстродействующий алгоритм выполнения деформирующего преобразования изображения, при использовании которых исходное изображение преобразуется с сохранением своей структурной основы и отсутствием краевых эффектов. Предложенный алгоритм используется для аугментации наборов изображений в задаче классификации, содержащих относительно небольшое количество обучающих примеров. Аугментация исходной выборки осуществляется в два этапа, включающих зеркальное отображение и деформирующее преобразование каждого исходного изображения. Для проверки эффективности подобной техники аугментации в статье проводится обучение нейронных сетей - классификаторов различного вида: сверточных сетей стандартной архитектуры (convolutional neural network, CNN) и сетей с остаточными связями (deep residual network, DRN). Особенностью реализуемого подхода при решении рассматриваемой задачи является также отказ от использования предобученных нейронных сетей с большим количеством слоев и дальнейшим переносом обучения, поскольку их применение несет за собой затраты с точки зрения используемого вычислительного ресурса. Показано, что эффективность классификации изображений при реализации предложенного метода аугментации обучающих данных на выборках малого и среднего объема повышается до статистически значимых значений используемой метрики.