КАСКАДНЫЙ КЛАССИФИКАТОР ДЛЯ ОБНАРУЖЕНИЯ И ИДЕНТИФИКАЦИИ ПТИЦ В ВИДЕОПОТОКЕ (2024)
В статье представлен разработанный метод и прототип программы для определения наличия птиц в видеопотоке данных в режиме реального времени. Этот метод основан на использовании каскадного классификатора, который был применен для решения задачи обнаружения и идентификации птиц в биоакустической установке отпугивания птиц в аэропорту Томска. В рамках исследования был использован каскадный классификатор Виолы-Джонса, который является одной из реализаций алгоритма каскад Хаара. Этот алгоритм позволяет с высокой точностью и скоростью обнаруживать объекты на изображениях и видео. В данном случае классификатор был обучен на наборе данных, содержащем изображения птиц, что позволило достичь высокой точности обнаружения и идентификации птиц на видео. Также приведены результаты оценки возможностей созданного классификатора и продемонстрирована его высокая результативность. В ходе исследования были использованы различные методы машинного обучения и анализа видеоданных, что позволило получить точные и надежные результаты. В целом, данная работа представляет собой инновационный подход к решению актуальной задачи защиты аэропортов от птиц. Применение разработанного метода позволило повысить эффективность работы биоакустической установки отпугивания птиц и обеспечить безопасность полетов в аэропорту Томска, снизив вероятность столкновения самолетов с птицами. Новизна работы заключается в применении метода Виолы-Джонса к задаче обнаружения и идентификации птиц с оценкой его результативности. Таким образом, представленная в статье работа является важным вкладом в развитие методов обнаружения и идентификации объектов на видео и может быть использована в других областях, где требуется автоматическое обнаружение и классификация объектов в видеопотоке данных.
Идентификаторы и классификаторы
- eLIBRARY ID
- 68499961
Птицы являются объектом исследований как любителей, так и профессиональных орнитологов различных направлений. Одним из таких направлений является авиационная орнитология [1 – 5], где занимаются птицами, представляющими опасность для полетов воздушных судов.
Согласно статистическим данным [6 – 8], столкновения самолётов с птицами на территории России и в мире происходят регулярно на протяжении всего года и являются основным повреждающим фактором самолетов биологического происхождения. Ежегодно прослеживается тенденция к увеличению случаев столкновений, что обусловлено ростом интенсивности авиаперевозок, снижением шумности двигателей самолетов, привыканием птиц к окружающей обстановке. Наибольшее количество столкновений происходит на территории аэродрома и вблизи от него на высотах до 300 м. Поэтому в основе эффективного обеспечения орнитологической безопасности полётов воздушных судов лежат знания орнитологической обстановки на территории лётного поля и его окрестностей. Практика в области орнитологического обеспечения безопасности полётов показывает, что при всём богатстве орнитофауны в столкновениях с воздушными судами участвует определённый спектр видов птиц, более-менее специфичный для каждого конкретного аэропорта, и их необходимо вовремя обнаруживать, идентифицировать и отпугивать.
Правила орнитологического обеспечения безопасности полетов на аэродроме [9] включают в себя мероприятия по визуальному и радиолокационному контролю за орнитологической обстановкой, по оперативному оповещению экипажей воздушного судна при возникновении опасности столкновений с птицами, отпугиванию скоплений птиц, предотвращению условий, способствующих концентрации птиц и т.д.
Список литературы
- Рогачев А.И., Лебедев А.М. Орнитологическое обеспечение безопасности полетов // М.: изд-во “Транспорт”. 1984. 126 с.
- Силаева О.Л., Ильичёв В.Д., Золотарев С.С. Основные направления авиационной орнитологии // Вестник Российского университета дружбы народов. Серия: Экология и безопасность жизнедеятельности. 2010. № 5. С. 10-14.
- Рыжов С.К. Столкновения с птицами. Актуальные аспекты // Труды общества независимых расследователей авиационных происшествий. Москва. 2013. № 25. С. 175-179.
- Desoky A.A.S. A review of bird control methods at airports // Global journal of science frontier research (E). 2014. vol. 14(2). pp. 40-50.
- Кухта А.Е., Большакова Н.П., Мацюра А.В. Концептуальные подходы к орнитологическому обеспечению безопасности полётов воздушных судов // Вестник Тувинского государственного университета. Естественные и сельскохозяйственные науки. 2017. № 2. С. 96-105. EDN: ZGCNCV
- Официальный сайт Федерального агентства воздушного транспорта, Росавиация. Статистика столкновений с птицами и другими животными. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici-stat/ (дата обращения: 21.05.2022).
- Официальный сайт Международной организации гражданской авиации, электронный бюллетень. Анализ столкновений с дикими животными (IBIS) за 2008-2015 годы. URL: https://www.icao.int/safety/IBIS/2008%20-%202015%20Wildlife%20Strike%20Analyses%20(IBIS)%20-%20RU.pdf (дата обращения: 19.04.2022 ).
- Официальный сайт Министерства транспорта Российской Федерации. Динамика статистических показателей воздушного транспорта Российской Федерации в области столкновений с птицами. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici/ (дата обращения: 20.12.2021).
- Рогачев А.И., Ростовский В.А., Шергалин Е.Э. Руководство по орнитологическому обеспечению полётов в гражданской авиации (РООП ГА - 89) // Министерство гражданской авиации СССР. Москва: Воздушный транспорт, 1989. 32 с.
-
Ильичёв В.Д., Силаева О.Л., Золотарёв С.С., Бирюков В.А., Нечваль Н.А., Якоби В.Э., Титков А.С. Защита самолётов и других объектов от птиц // М.: Товарищество науч. изд. КМК, 2007. 320 с.
-
Мацюра А.В., Яковлев Р.В., Уланов П.Н. Обзор акустических средств для отпугивания птиц // Acta Biologica Sibirica. 2016. Т. 2. № 4. С. 141-148. DOI: 10.14258/abs.v2i4.1724 EDN: XNRMQD
-
Отраслевая группа авиационной орнитологии. Отпугивание птиц биоакустическим методом. Проект "Универсал-Акустик". URL: http://www.otpugivanie.narod.ru/means-control/Universal-Acoustic.html (дата обращения 21.02.2020).
-
Биоакустическое оборудование для отпугивания птиц (БАСОП). URL: (https://aviasvet.ru/push-birds/ (дата обращения 21.02.2020).
-
BirdGard. URL: https://www.birdgard.com/product-page-for-international-customers/ ( дата обращения 21.02.2020).
-
Bird collision avoidance system. URL: https://www.volacom.com/bird-collision-avoidance-system (дата обращения 21.02.2020).
-
Vassilev V.M., Vassileva L.I., Karsch M.A., Petkov K.P., Petkov P.K., Larre J.C. Animal collision avoidance system // Patent US 8,598,998 B2. 2013.
-
Vasilyev A.F., Neginsky I.V., Protopopov A.G., Yakimets A.L. System of ornithological protection of airfields // Institute of Scientific Communications Conference. Cham: Springer International Publishing. 2020. pp. 307-314.
-
Власов Е.В., Кузьмин А.А., Раков А.С. Биоакустический комплекс обнаружения и отпугивания птиц в аэропортах // Сборник избранных статей научной сессии ТУСУРа по материалам Международной научно-технической конференции студентов, аспирантов и молодых ученых "Научная сессия ТУСУР. 2019. С. 22-24.
-
Красненко Н.П., Кухта А.Е., Раков А.С. Радиофизические методы в обеспечении орнитологической безопасности объектов и территорий // Шарыгинские чтения. Четвертая международная конференция ведущих научных школ в области радиолокации, радионавигации и радиоэлектронных систем передачи информации. Материалы конференции. Томск: Изд-во Томск. гос. ун-та систем упр. и радиоэлектроники, 2022. С. 5-14.
-
Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учебное пособие // СПб: СПбГУ ИТМО. 2008. 192 с. EDN: ZUYNGB
-
Гонсалес Р., Вудс Р. Цифровая обработка изображений: пер. с англ. // М.: Техносфера. 2002. 1104 с.
-
Berger W. Deep Learning Haar Cascade Explained // http://www.willberger.org. 2017. Available at: http://www.willberger.org/cascade-haar-explained/ (accessed 22.12.2019).
-
Прохоренок Н.А. OpenCV и Java. Обработка изображений и компьютерное зрение // СПб.: БХВ-Петербург. 2018. 320 с.
-
Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: пер с англ. / под ред. А.В. Назаренко // М.: Вильямс. 2004. 926 с.
-
Шапиро Л., Стокман Д. Компьютерное зрение: учебное пособие для вузов: пер. с англ. // М.: БИНОМ. Лаборатория знаний. 2009. 752 с.
-
Zou Z., Shi Z., Guo Y., Ye J. Object detection in 20 years: A survey // 2019. arXiv:1905.05055v2 [cs.CV].
-
Verstraeten W.W., Vermenlen B., Struckens J., Lhermitte S., Van der Zande D., Van Ranst M., Coppin P. Webcams for bird detection and monitoring: A demonstration study // Sensors. 2010. vol. 10. no. 4. pp. 3480-3503. 10.3390/s100403480. 10.3390/s100403480. DOI: 10.3390/s100403480.DOI EDN: NZUSBH
-
Yoshihashi R., Kawakami R, Iida M., Naemuva T. Bird detection and species classification with time-lapse images around a wind farm: dataset construction and evalution // Wind Energy. 2017. vol. 0. no. 12. pp. 1983-1995. DOI: 10.1002/we.2135
-
Reyes E. A comparison of image processing techniques for bird detection // A Thesis for degree of master of science in electrical engineering faculty. USA, San Luis Obispo: California Polytechnic State University, 2014. 105 p.
-
Jampens R.T., Hernandez F., Vandecasteele F., Verstockt S. Automatic detection, tracking and counting of birds in marine video content // Proceedings of sixth International conference on image processing theory, tools and applications (IPTA). 2016. pp. 1-6. DOI: 10.1109/IPTA.2016.7821031
-
Niemi J., Tanttu J.T. Deep learning case study for automatic bird identification // Applied sciences. 2018. vol. 8(11). no. 2089. DOI: 10.3390/app8112089
-
Mirudwe A., Nyirenda J., Dufouvg E Automating bird detection based on webcam captured images using deep learning // EPIC Series in Computing. Proceedings of the 43rd conference of the South African institute of computer scientists and information technologists. 2022. vol. 85. pp. 62-76.
-
Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR. 2001. vol. 1. 9 p. DOI: 10.1109/CVPR.2001.990517
-
Hong S.-J., Han Yu., Kim S.-Y., Lee A.-Y., Kim G. Application of Deep-Learning Methods to Bird Detection Using Unmanned Aerial Vehicle Imagery // Sensors. 2019. vol. 19(7). no. 1651. DOI: 10.3390/s19071651
-
Weinstein B.G., Ganner L., Saccomanno V.R., Steinkraus A., Ortega A., Brush K., et. al. A general deep learning model for bird detection in high-resolution airborne imagery // Ecological Application. 2022. vol. 32. no. 8. EDN: AVNCPK
-
Кузьмин А.А., Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и воспроизведения звуковых сигналов (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2021612566 от 19.02.2021.
-
Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и набора статистики (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2022683820 от 08.12.2022.
-
Qt Creator - кроссплатформенная IDE для разработки приложений [Электронный ресурс]. URL: https://www.qt.io/product/development-tools/ (дата обращения: 01.10.2018).
-
Справочник по OpenCV [Электронный ресурс]. URL: https://opencv-tutorial.ru (дата обращения: 01.10.2018).
-
Библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом [Электронный ресурс]. URL: https://opencv.org/ (дата обращения: 01.10.2018).
-
Работа каскада Хаара в OpenCV [Электронный ресурс]. URL: https://habr.com/ru/company/recognitor/blog/228195/ (дата обращения: 01.10.2018).
-
Обучение каскадного классификатора [Электронный ресурс]. URL: https://docs.opencv.org/3.4/dc/d88/tutorial_traincascade.html (дата обращения: 01.10.2018).
Выпуск
Другие статьи выпуска
Одним из направлений разработки практичных постквантовых криптографических алгоритмов с открытым ключом является использование конечных алгебр в качестве их алгебраического носителя. Рассматриваются два подхода в этом направлении: 1) построение алгоритмов электронной цифровой подписи со скрытой группой на некоммутативных ассоциативных алгебр и 2) построение алгоритмов многомерной криптографии с использованием операции экспоненцирования в векторном конечном поле (коммутативной алгебре, являющейся конечным полем) для задания нелинейного отображения с секретной лазейкой. Первый подход включает разработку криптосхем двух типов: основанных на вычислительной трудности а) скрытой задачи дискретного логарифмирования и б) решения большой системы квадратных уравнений. Для второго подхода возникают проблемы обеспечения полной рандомизации цифровой подписи и задания некоммутативных ассоциативных алгебр большой размерности. Обсуждаются способы решения данных проблем. Показана важность исследования строения конечных некоммутативных алгебр с точки зрения декомпозиции на множество коммутативных подалгебр. Другое направление использования конечных алгебр для разработки криптографических алгоритмов с открытым ключом связано с существенным (в 10 и более раз) уменьшением размера открытого ключа в алгоритмах многомерной криптографии. В нем возникает проблема разработки формализованных параметризуемых унифицированных способов задания векторных конечных полей больших размерностей (от 5 до 130) с достаточно большим числом потенциально реализуемых типов и модификаций (до 2500 и более), задаваемых различными наборами структурных констант, с помощью которых определяется операция умножения векторов. Предложены варианты указанных способов и топологий нелинейных отображений на векторных конечных полях различных размерностей. Показано, что использование отображений, задающих операцию экспоненцирования в векторных конечных полях, потенциально обеспечивает устранение основного недостатка известных алгоритмов многомерной криптографии, связанного с большим размером открытого ключа.
Использование радиолокационных спутниковых данных в мониторинге сельскохозяйственных культур является перспективным дополнением методов и технологий, базирующихся на анализе мультиспектральных изображений. К основным достоинствам радиолокационных вегетационных индексов относится их чувствительность к поляриметрическим свойствам принимаемого сигнала, а также независимость от облачности. Это особенно важно для территории юга российского Дальнего Востока, муссонный климат которого обеспечивает влажную и облачную погоду в период набора сельскохозяйственными культурами максимальной биомассы. Для оценки возможностей радиолокационных спутниковых данных на примере пахотных земель Хабаровского края и Амурской области были проанализированы 64 снимка космического аппарата Sentinel-1 за период наблюдений с мая по октябрь 2021 года. Для каждого снимка были рассчитаны значения индексов DpRVI, RVI, VH/VV и построены временные ряды для всего периода наблюдений по отдельным полям (всего 342 поля). По мультиспектральным снимкам Sentinel-2 с использованием маски облачности были построены временные ряды NDVI. Были рассчитаны характеристики экстремумов временных рядов для разных типов пахотных земель: сои, овса, и залежи. Показано, что для каждой сельхозкультуры кривые сезонного хода DpRVI, RVI, VH/VV имели характерный вид. Установлено, что индекс DpRVI продемонстрировал наиболее высокую устойчивость - коэффициенты вариации сезонного хода DpRVI были существенно ниже показателей для RVI и VH/VV. Также было выявлено, что сходство между сезонным ходом индексов сохранялось для удаленных друг от друга регионов - Хабаровского края и Амурской области. Были рассчитаны основные характеристики сезонного хода временных рядов радиолокационных индексов в сравнении с NDVI - величина максимума, дата наступления максимума и вариабельность этих показателей. Установлено, во-первых, что значения этих показателей в разных регионах схожи между собой; во-вторых, вариабельность максимума и дня наступления максимума для DpRVI ниже, чем для RVI и VH/VV; в-третьих, вариабельность максимума и дня наступления максимума для DpRVI сопоставима с NDVI. Таким образом, можно сделать вывод о том, что временные ряды радиолокационных индексов DpRVI, RVI, VH/VV для основных типов сельскохозяйственных земель Дальнего Востока имеют отличительные особенности и могут быть использованы в задачах классификации, моделирования урожайности и контроля севооборота.
В статье рассматривается проблема распознавания сентимента и эмоций пользователей в русскоязычных текстовых транскрипциях речи с использованием словарных методов и машинного перевода. Количество имеющихся информационных ресурсов для анализа сентимента текстовых сообщений на русском языке очень ограничено, что существенно затрудняет применение базовых методов анализа сентимента, а именно, предобработки текстов, векторизации с помощью тональных словарей, традиционных классификаторов. Для решения этой проблемы в статье вводится новый метод на основе автоматического машинного перевода русскоязычных текстов на английский язык. Частичный перевод предполагает перевод отдельных лексем, не включенных в русскоязычные тональные словари, тогда как полный перевод подразумевает перевод всего текста целиком. Переведенный текст анализируется с использованием различных англоязычных тональных словарей. Экспериментальные исследования для решения задачи распознавания сентимента и эмоций были проведены на текстовых транскрипциях многомодального русскоязычного корпуса RAMAS, извлеченных из аудиоданных экспертным путем и автоматически с использованием системы распознавания речи. В результате применения методов машинного перевода достигается значение взвешенной F-меры распознавания семи классов эмоций 31,12 % и 23,74 %, и трех классов сентимента 75,37 % и 71,60 % для экспертных и автоматических транскрипций русскоязычной речи корпуса RAMAS, соответственно. Также в ходе экспериментов было выявлено, что использование статистических векторов в качестве метода преобразования текстовых данных позволяет достичь значение показателя взвешенной F-меры на 1-5 % выше по сравнению с использованием конкатенированного (статистического и тонального) вектора. Таким образом, эксперименты показывают, что объединение всех англоязычных тональных словарей позволяет повысить точность распознавания сентимента и эмоций в текстовых данных. В статье также исследуется корреляция между длиной вектора текстовых данных и его репрезентативностью. По результатам экспериментов можно сделать вывод, что использование лемматизации для нормализации слов текстовых транскрипций речи позволяет достичь большей точности распознавания сентимента по сравнению со стеммингом. Использование предложенных методов с полным и частичным машинным переводом позволяет повысить точность распознавания сентимента и эмоций на 0,65-9,76 % по показателю взвешенной F-меры по сравнению с базовым методом распознавания сентимента и эмоций.
В статье описывается общая концепция построения коллаборативных систем поддержки принятия решений, в которых коллективы, осуществляющие поддержку принятия решений, а) формируются гибко в соответствии с задачей и б) состоят как из людей-экспертов, так и из интеллектуальных агентов, реализующих те или иные методы искусственного интеллекта. Проводится анализ ключевых проблем создания коллаборативных систем поддержки принятия решений, основанных на взаимодействии человека и искусственного интеллекта. В частности, выделены следующие проблемы: обеспечение интероперабельности (взаимопонимания) между разнородными участниками коллектива, согласование различающихся позиций участников, обеспечение доверия между участниками, обеспечение эффективности планирования совместных действий и соблюдение баланса между предопределенными потоками работ и самоорганизацией. Сформированы принципы построения подобных систем, предлагающие решения выделенных проблем. В частности, предлагается онтолого-ориентированное представление информации о проблеме (в частности, применение мультиаспектных онтологий), набор методов для мониторинга деятельности команды, схема репутации, элементы объяснимого искусственного интеллекта, а также применение механизма ограниченной самоорганизации. Предложенная концепция положена в основу программной платформы для создания коллаборативных систем поддержки принятия решений, основные архитектурные положения которой также представлены в статье. Применение платформы иллюстрируется на примере из области рационального управления дорожной инфраструктурой и создания коллаборативной системы поддержки принятия решений для разработки мероприятий по снижению аварийности.
Извлечение терминов является важным этапом автоматизированного построения систем знаний на основе естественно-языковых текстов, поскольку обеспечивает формирование базовой системы понятий, используемой затем в прикладных задачах интеллектуальной обработки информации. В статье рассмотрена проблема автоматизированного извлечения терминов из естественно-языковых текстов с целью их дальнейшего использования при построении формализованных систем знаний (онтологий, тезаурусов, графов знаний) в рамках задачи мониторинга тематических обсуждений в социальных медиа. Данная задача характеризуется необходимостью включения в формируемую систему знаний как понятий из нескольких различных предметных областей, так и некоторых общеупотребительных понятий, используемых аудиторией социальных медиа в рамках тематических обсуждений. Кроме того, формируемая система знаний является динамичной как с точки зрения состава охватываемых ею предметных областей, так и состава релевантных понятий, подлежащих включению в систему. Применение существующих классических методов извлечения терминов в данном случае затруднительно, поскольку они ориентированы на извлечение терминов в рамках одной предметной области. Исходя из этого, для решения рассматриваемой задачи предложен комбинированный метод, совмещающий в себе подходы на основе внешних источников знаний, инструментов NER и правил. Результаты проведенных экспериментов демонстрируют эффективность предложенной комбинации подходов к извлечению терминов для задачи мониторинга и анализа тематических обсуждений в социальных медиа. Разработанный метод значительно превосходит по точности существующие инструменты извлечения терминов. В качестве дальнейшего направления исследования рассмотрена возможность развития метода для решения задачи выделения вложенных терминов или сущностей.
В последние годы существенно вырос интерес к искусственному интеллекту на основе нейросетевых подходов. Получен ряд значимых научных результатов, которые нашли широкое применение на практике. Большое внимание привлекли генеративно - состязательные нейросетевые модели, нейросетевые трансформеры и другие решения. Достигнут очевидный прогресс в нейросетевом распознавании и генерации образов, обработке текстов и речи, прогнозировании событий, управлении трудно формализуемыми процессами. Однако пока не удалось наделить нейросетевые машины мышлением. Все получаемые с использованием нейросетевых машин результаты можно отнести к решениям на основе различных видов связывания сигналов без полноценного управления процессами их обработки. Типичными представителями таких машин выступают ChatGPT. Возможности по интеллектуальному оперированию различными сигналами в известных нейросетевых машинах очень ограничены. Среди основных причин таких ограничений следует выделить несовершенство используемых базовых принципов нейросетевой обработки информации. Свойства нейронов длительное время рассматривались упрощенно. Обуславливалось это, как пробелами в области биологических исследованиях, так и отсутствием возможностей построения больших нейронных сетей на сложных моделях нейронов. В последние годы ситуация изменилась. Появились новые способы реализации больших нейронных сетей. Также установлено, что даже отдельные нейроны могут обладать обширной внутренней памятью и реализовывать различные функции. Однако до сих пор многие механизмы функционирования нейронов и их взаимодействия остаются не раскрытыми. Мало исследованы вопросы управляемого ассоциативного обращения к внутренней памяти нейронов. Эти недостатки существенно сдерживает создание мыслящих нейросетевых машин. Объектом исследования в статье выступает процесс интеллектуальной нейросетевой обработки информации.
Предмет исследования: принципы, модели и методы такой обработки. Преследуется цель расширения функциональных возможностей нейросетевых машин по решению трудно формализуемых творческих задач за счет разработки новых принципов, моделей и методов интеллектуальной обработки информации. В интересах достижения этой цели уточняются принципы функционирования интеллектуальных нейросетевых машин, предлагаются новые модели и методы нейросетевой обработки информации. Раскрывается новая модель импульсного нейрона, как базового элемента таких машин. Искусственный мозг нейросетевых машин рекомендуется формировать в виде многослойных нейронных сетей, наделенных логическими структурами, с различными по параметрам нейронами. Предлагается новый метод многоуровневой интеллектуальной обработки информации в нейросетевых машинах на основе умных импульсных нейронов. Поясняются механизмы мышления нейросетевых машин, лежащие в их основе функции интеллектуального оперирования образами и понятиями в нейросетевой памяти. Приводятся результаты моделирования, подтверждающие справедливость предложенных решений.
В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, размытостью фрагментов изображения, наличием шумов и т.д. Одним из способов преодоления таких ограничений является применение современных технологий для восстановления снимков сверхвысокого разрешения на основе методов глубокого обучения. Особенностью аэрофотоснимков является представление текстуры и структурных элементов более высокого разрешения, чем на спутниковых снимках, что объективно способствует лучшим результатам восстановления. В статье приводится классификация методов сверхвысокого разрешения с учетом основных архитектур глубоких нейронных сетей, а именно сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. В статье предлагается метод восстановления аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей SemESRGAN за счет использования на этапе обучения дополнительной глубокой сети для семантической сегментации. При этом минимизируется общая функция потерь, включающая состязательные потери, потери на уровне пикселов и потери воспирятия (сходства признаков). Для экспериментов использовались шесть наборов аннотированных аэрофотоснимков и спутниковых снимков CLCD, DOTA, LEVIR-CD, UAVid, AAD и AID. Было выполнено сравнение результатов восстановления изображений предложенным методом SemESRGAN с базовыми архитектурами сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. Получены сравнительные результаты восстановления изображений с применением объективных метрик PSNR и SSIM, что позволило оценить качество восстановления с использованием различных моделей глубоких сетей.
Проблема обучения глубоких нейронных сетей на малых выборках особенно актуальна для медицинских задач. В работе рассматривается влияние попиксельной разметки значимых объектов на изображении, в дополнении к истинной метке класса, на качество решения задачи классификации. Для достижения лучших результатов классификации на малых выборках предлагается мультизадачная архитектура Unet-boosted classifier (UBC), обучаемая одновременно для решения задач классификации и семантической сегментации. В качестве исследуемого набора данных используются МРТ-снимки пациентов c доброкачественной глиомой и глиобластомой, взятые из открытого набора данных BraTS 2019. В качестве входа рассматривается один горизонтальный срез МРТ-изображения, содержащий глиому (всего 380 кадров в обучающей выборке), в качестве выхода - вероятность глиобластомы. В качестве базового решения используется ResNet34, обученный без аугментаций с функцией потерь на основе взаимной энтропии (CrossEntropyLoss). В качестве альтернативного решения используется UBC-ResNet34 - тот же ResNet34 усиленный декодером, построенным по принципу U-Net, и предсказывающим положение глиомы. В качестве дополнительной функции потерь используется сглаженный коэффициент Соренсена-Дайса (DiceLoss). Результаты на тестовой выборке: доля правильных ответов (accuracy) для базовой модели составила 0.71, для альтернативной - 0.81, коэффициент Дайса (Dice score) при этом составил 0.77. Таким образом, глубокую модель можно качественно обучить даже на небольшом наборе данных, используя предложенную архитектуру и добавив в разметку информацию о пораженных тканях в виде семантической маски. Предлагаемый подход потенциально может быть полезен и в любых других задачах классификации изображений с ограниченным набором данных.
В секвенаторе ДНК «Нанофор СПС», разработанном в Институте аналитического приборостроения РАН, реализован метод массового параллельного секвенирования для расшифровки последовательности нуклеиновых кислот. Этот метод позволяет определять последовательность нуклеотидов в ДНК или РНК, содержащих от нескольких сотен до сотен миллионов звеньев мономеров. Таким образом, имеется возможность получения подробной информации о геноме различных биологических объектов, в том числе человека, животных и растений. Важнейшей частью этого прибора является программное обеспечение, без которого невозможно решение задач по расшифровке генома. Выходными данными оптической детекции в секвенаторе являются набор изображений по четырем каналам, соответствующим типам нуклеотидов: A, C, G, T. С помощью специального программного обеспечения определяется положение молекулярных кластеров и их интенсивностные характеристики вместе с параметрами окружающего фона. В ходе создания программного обеспечения прибора были разработаны алгоритмы и программы обработки сигналов флуоресценции, рассмотренные в работе. Также, для отладки и тестирования рабочих программ созданы модели построения изображений, аналогичных реальным данным, получаемым в ходе работы секвенатора. Данные модели позволили получить значительный массив информации без запуска дорогостоящих экспериментов. За последние годы достигнуты значительные успехи в области машинного обучения, в том числе и в области биоинформатики, что привело к реализации наиболее распространенных моделей и возможности их применения для практических задач. Однако, если на этапе вторичного анализа биоинформационных данных эти методы широко зарекомендовали себя, то их потенциал для первичного анализа остается недостаточно раскрытым. В данной работе особое внимание уделяется разработке и внедрению методов машинного обучения для первичного анализа оптических изображений сигналов флуоресценции в реакционных ячейках. Описаны методы кластеризации и их апробация на моделях и на изображениях, полученных на приборе. Цель этой статьи - продемонстрировать возможности алгоритмов первичного анализа сигналов флуоресценции, получающихся в процессе секвенирования на приборе «Нанофор СПС». В работе описаны основные задачи анализа сигналов флуоресценции и сравниваются традиционные методы их решения с использованием технологий машинного обучения.
Развитие цифровой трансформации требует широкого использования новых технологий в документах по стандартизации. Одной из задач является создание стандартов с машинопонимаемым содержанием, которые позволят использовать цифровые документы на различных этапах разработки и производства без необходимости участия человека-оператора. Целью данной работы является описание подхода для создания и перевода в машинопонимаемое представление нормативных документов отрасли для дальнейшего их использования в программных сервисах и системах. Содержимое SMART-стандарта бывает трех видов: машиночитаемое, машиноинтерпретируемое и машинопонимаемое. Для формализации данных и знаний при решении различных задач активно используются графы знаний. Предложен новый двухуровневый подход для создания и перевода в машинопонимаемое представление нормативных документов как графов знаний. Подход определяет два вида интерпретации такого документа (человекочитаемость и машинопонимаемость) через два связанных формата: граф, каждый семантический узел которого представляет текст на естественном языке, и сеть понятий и строгих связей. Каждому узлу «человекочитаемого» графа соответствует (в общем случае) поддерево машинопонимаемого графа знаний. В качестве основы для обеспечения преобразования одной формы представления SMART-стандарта в другую форму служат LLM модели, дополняемые специализированным адаптером, полученным в результате дообучения с помощью подхода Parameter-Efficient Fine-Tuning. Установлены требования к набору проблемно- и предметно-ориентированных инструментальных средств формирования графов знаний. Показана концептуальная архитектура системы поддержки решения комплекса задач на основе SMART-документов в виде графов, установлены принципы реализации программных компонентов, работающих со знаниями, для интеллектуальных программных сервисов.
Рассматривается задача оценивания состояния динамического объекта по наблюдаемым изображениям, сформированным оптической системой. Цель исследования состоит в реализации нового подхода, обеспечивающего повышение точности автономного слежения за динамическим объектом по последовательности изображений. Используется векторная модель изображения объекта в виде ограниченного количества вершин (базовых точек). Предполагается, что в процессе регистрации объект удерживается в центральной области каждого кадра, поэтому параметры движения могут описываться в виде проекций на оси системы координат, связанной с оптической осью камеры. Новизна подхода состоит в том, что наблюдаемые параметры (расстояние вдоль оптической оси и угловое положение) объекта вычисляются по координатам заданных точек на изображениях объекта. Для оценки состояний объекта строится фильтр Калмана-Бьюси в предположении, что движение динамического объекта описывается совокупностью уравнений поступательного движения центра масс вдоль оптической оси и изменений углового положения относительно плоскости изображения. Приведен пример оценивания углового положения объекта, иллюстрирующий работоспособность предложенного метода.
Издательство
- Издательство
- СПБНЦ
- Регион
- Россия, Санкт-Петербург
- Почтовый адрес
- 199034, Санкт-Петербург, Университетская наб., 5
- Юр. адрес
- 199034, Санкт-Петербург, Университетская наб., 5
- ФИО
- Орлова Марина Ивановна (ИСПОЛНЯЮЩАЯ ОБЯЗАННОСТИ ДИРЕКТОРА)
- E-mail адрес
- office@spbrc.nw.ru
- Контактный телефон
- +8 (812) 3283787
- Сайт
- https://spbrc.ru/