ВОССТАНОВЛЕНИЕ АЭРОФОТОСНИМКОВ СВЕРХВЫСОКОГО РАЗРЕШЕНИЯ С УЧЕТОМ СЕМАНТИЧЕСКИХ ОСОБЕННОСТЕЙ (2024)
В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, размытостью фрагментов изображения, наличием шумов и т.д. Одним из способов преодоления таких ограничений является применение современных технологий для восстановления снимков сверхвысокого разрешения на основе методов глубокого обучения. Особенностью аэрофотоснимков является представление текстуры и структурных элементов более высокого разрешения, чем на спутниковых снимках, что объективно способствует лучшим результатам восстановления. В статье приводится классификация методов сверхвысокого разрешения с учетом основных архитектур глубоких нейронных сетей, а именно сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. В статье предлагается метод восстановления аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей SemESRGAN за счет использования на этапе обучения дополнительной глубокой сети для семантической сегментации. При этом минимизируется общая функция потерь, включающая состязательные потери, потери на уровне пикселов и потери воспирятия (сходства признаков). Для экспериментов использовались шесть наборов аннотированных аэрофотоснимков и спутниковых снимков CLCD, DOTA, LEVIR-CD, UAVid, AAD и AID. Было выполнено сравнение результатов восстановления изображений предложенным методом SemESRGAN с базовыми архитектурами сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. Получены сравнительные результаты восстановления изображений с применением объективных метрик PSNR и SSIM, что позволило оценить качество восстановления с использованием различных моделей глубоких сетей.
Идентификаторы и классификаторы
- eLIBRARY ID
- 68499956
Задача восстановления изображений сверхвысокого разрешения относится к методам предварительной обработки изображений. До появления методов глубокого обучения задача решалась традиционными методами интерполяции, включая билинейную интерполяцию, бикубическую интерполяцию, интерполяцию Ланцоша (Lanczos) (для снимков дистанционного зондирования Земли) и т.д. Развитие методов глубокого обучения существенно повлияло на качество восстановления изображений сверхвысокого разрешения.
Существуют два подхода к восстановлению снимков сверхвысокого разрешения: подход на основе одного исходного изображения (Single Image Super-Resolution, SISR) и подход с использованием нескольких исходных изображений или кадров видеопоследовательности (Multi Image Super-Resolution, MISR). Преимущественно используется первый подход (SISR), не требующий одновременного получения нескольких исходных снимков низкого разрешения (Low Resolution, LR) при разных ракурсах съемки. Следует отметить, что обе постановки обратных задач являются некорректными с математической точки зрения, поскольку существует множество способов восстановления снимка сверхвысокого разрешения, близкого по объективным метрикам к реальному снимку высокого разрешения (High Resolution, HR) [1].
Список литературы
- Фаворская М.Н. Аналитическое исследование моделей глубокого обучения для создания снимков ДЗЗ сверхвысокого разрешения // Обработка пространственных данных в задачах мониторинга природных и антропогенных процессов (SDM-2023): Сб. тр. Всероссийской конф. с междунар. участ. 2023. С. 17-25. EDN: NAVBAM
- Lepcha D.C., Goyal B., Dogra A., Goyal V. Image super-resolution: A comprehensive review, recent trends, challenges and applications // Information Fusion. 2023. vol. 91. pp. 230-260. EDN: NNNSDA
- Goodfellow I., Pouget-Abadie J., Mirza M., Xu, B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial nets. Advances in Neural Information Processing Systems (NIPS 2014). 2014. vol. 27. pp. 1-9.
- Фаворская М.Н., Пахирка А.И. Улучшение разрешения снимков ДЗЗ на основе глубоких генеративно-состязательных сетей // Обработка пространственных данных в задачах мониторинга природных и антропогенных процессов (SDM-2023): Сб. тр. Всероссийской конф. с междунар. участ. 2023. С. 163-168. EDN: CXBHVX
- Conde M.V., Choi U.J., Burchi M., Timofte R. Swin2SR: SwinV2 transformer for compressed image super-resolution and restoration // Computer Vision - ECCV 2022 Workshops. LNCS. Springer, Cham. 2023. vol. 13802. pp. 669-687.
- Wang P., Bayram B., Sertel E. A comprehensive review on deep learning based remote sensing image super-resolution methods // Earth-Science Reviews. 2022. vol. 232(15). DOI: 10.1016/j.earscirev.2022.104110 EDN: KNFEWX
- Qiu D., Cheng Y., Wang X. Medical image super-resolution reconstruction algorithms based on deep learning: A survey // Computer Methods and Programs in Biomedicine. 2023. vol. 238. DOI: 10.1016/j.cmpb.2023.107590 EDN: QVSGFI
- Jiang J., Wang C., Liu X., Ma J. Deep learning-based face super-resolution: A survey // ACM Computing Surveys. 2021. vol. 55. no. 1. pp. 1-36.
- Liu H., Ruan Z., Zhao P., Dong C., Shang F., Liu Y., Yang L., Timofte R. Video super-resolution based on deep learning: A comprehensive survey // Artificial Intelligence Review. 2022. vol. 55. no. 8. pp. 5981-6035. EDN: NVIYEB
-
Sun Y., Deng K., Ren K., Liu J., Deng C., Jin Y. Deep learning in statistical downscaling for deriving high spatial resolution gridded meteorological data: A systematic review // ISPRS Journal of Photogrammetry and Remote Sensing. 2024. vol. 208. pp. 14-38. EDN: KYCBOF
-
Wang T., Sun W., Qi H., Ren P. Aerial image super resolution via wavelet multiscale convolutional neural networks // IEEE Geoscience and Remote Sensing Letters. 2018. vol. 15. no. 5. pp. 769-773.
-
Xu W.-J., Xu G.-L., Wang Y., Sun X., Lin D.-Y., Wu Y.-R. High quality remote sensing image super-resolution using deep memory connected network. Proceedings of the IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2018). 2018. pp. 8889-8892.
-
Tang J., Zhang J., Chen D., Al-Nabhan N., Huang C. Single-frame super-resolution for remote sensing images based on improved deep recursive residual network // EURASIP J Image Video Proc. 2021. vol. 2021. DOI: 10.1186/s13640-021-00560-8
-
Tang S., Liu J., Xie X., Yang S., Zeng W., Wang X. A stage-mutual-affine network for single remote sensing image super-resolution // Chinese Conference on Pattern Recognition and Computer Vision (PRCV). 2022. pp. 249-261.
-
Wang S., Zhou T., Lu Y., Di H. Contextual transformation network for lightweight remote-sensing image super-resolution // IEEE Transactions on Geoscience and Remote Sensing. 2022. vol. 60. pp. 1-13. DOI: 10.1109/TGRS.2021.3132093
-
Lei S., Shi Z., Mo W. Transformer-based multistage enhancement for remote sensing image super-resolution // IEEE Transactions on Geoscience and Remote Sensing. 2022. vol. 60. pp. 1-11. DOI: 10.1109/TGRS.2021.3136190 EDN: KUUBIX
-
Shang J., Gao M., Li Q., Pan J., Zou G., Jeon G. Hybrid-scale hierarchical transformer for remote sensing image super-resolution // Remote Sens. 2023. vol. 15. no. 13. pp. 1-20. EDN: HAGBMH
-
Peng G., Xie M., Fang L. Context-aware lightweight remote-sensing image super-resolution network // Frontiers in Neurorobotics. 2023. vol. 17. DOI: 10.3389/fnbot.2023.1220166 EDN: KYZGII
-
Li Y., Mavromatis S., Zhang F., Du Z., Sequeira J., Wang Z., Zhao X., Liu R. Single-image super-resolution for remote sensing images using a deep generative adversarial network with local and global attention mechanisms // IEEE Transactions on Geoscience and Remote Sensing. 2021. vol. 60. pp. 1-24. DOI: 10.1109/TGRS.2021.3093043
-
Guo M., Zhang Z., Liu H., Huang Y. NDSRGAN: A novel dense generative adversarial network for real aerial imagery super-resolution reconstruction // Remote Sens. 2022. vol. 14. no. 7. pp. 1-23. DOI: 10.3390/rs14071574 EDN: MONMIH
-
Zhang J., Xu T., Li J., Jiang S., Zhang Y. Single-image super resolution of remote sensing images with real-world degradation modeling // Remote Sens. 2022. vol. 14. no. 12. pp. 1-22. DOI: 10.3390/rs14122895 EDN: QTSOND
-
Haykır A.A., Oksuz I. Transfer learning based super resolution of aerial images // 2022 30th Signal Processing and Communications Applications Conference (SIU). 2022. pp. 1-4.
-
Haykir A.A., Öksuz I. Super-resolution with generative adversarial networks for improved object detection in aerial images // Information Discovery and Delivery. 2023. vol. 51. no. 4. pp. 349-357. EDN: PWQVIP
-
Tuna C., Unal G., Sertel E. Single-frame super resolution of remote-sensing images by convolutional neural networks // Int. J. Remote Sens. 2018. vol. 39. no. 8. pp. 2463-2479.
-
Dong C., Loy C.C., He K., Tang, X. Learning a deep convolutional network for image super-resolution // Computer Vision - ECCV 2014: 13th European Conference. 2014. pp. 184-199.
-
Wang J., Wang B., Wang X., Zhao Y., Long T. Hybrid attention-based U-shaped network for remote sensing image super-resolution // IEEE Transactions on Geoscience and Remote Sensing. 2023. vol. 61. pp. 1-15.
-
Gu J., Dong C. Interpreting super-resolution networks with local attribution maps // Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. pp. 9199-9208.
-
Wang X., Yu K., Wu S., Gu J., Liu Y., Dong C., Qiao Y., Loy C.C. ESRGAN: Enhanced super-resolution generative adversarial networks // Computer Vision - ECCV 2018 Workshops. 2019. pp. 63-79.
-
Johnson J., Alahi A., Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution // Computer Vision - ECCV 2016: 14th European Conference. 2016. pp. 694-711. EDN: YWVKWP
-
Liu M., Chai Z., Deng H., Liu R. A CNN-transformer network with multiscale context aggregation for fine-grained cropland change detection // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2022. vol. 15. pp. 4297-4306. EDN: MANXMS
-
Xia G., Bai X., Ding J., Zhu Z., Belongie S., Luo J., Datcu M., Pelillo M., Zhang L. DOTA: A large-scale dataset for object detection in aerial images // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. pp. 3974-3983.
-
Chen H., Shi Z. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection // Remote Sens. 2020. vol. 12. no. 10. DOI: 10.3390/rs12101662
-
Lyu Y., Vosselman G., Xia G-S., Yilmaz A., Yang M.Y. UAVid: A semantic segmentation dataset for UAV imagery // ISPRS Journal of Photogrammetry and Remote Sensing. 2020. vol. 165. pp. 108-119.
-
Airbus Aircraft Detection. URL: www.kaggle.com/datasets/airbusgeo/airbus-aircrafts-sample-dataset (дата обращения: 04.03.2024).
-
Xia G.-S., Hu J., Hu F., Shi B., Bai X., Zhong Y., Zhang L. AID: A benchmark dataset for performance evaluation of aerial scene classification // IEEE Transactions on Geoscience and Remote Sensing. 2017. vol. 55. no. 7. pp. 3965-3981.
-
Zhang R., Isola P., Efros A.A., Shechtman E., Wang O. The unreasonable effectiveness of deep features as a perceptual metric // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE: Salt Lake City, UT, USA. 2018. pp. 586-595. EDN: FZQHAF
Выпуск
Другие статьи выпуска
Одним из направлений разработки практичных постквантовых криптографических алгоритмов с открытым ключом является использование конечных алгебр в качестве их алгебраического носителя. Рассматриваются два подхода в этом направлении: 1) построение алгоритмов электронной цифровой подписи со скрытой группой на некоммутативных ассоциативных алгебр и 2) построение алгоритмов многомерной криптографии с использованием операции экспоненцирования в векторном конечном поле (коммутативной алгебре, являющейся конечным полем) для задания нелинейного отображения с секретной лазейкой. Первый подход включает разработку криптосхем двух типов: основанных на вычислительной трудности а) скрытой задачи дискретного логарифмирования и б) решения большой системы квадратных уравнений. Для второго подхода возникают проблемы обеспечения полной рандомизации цифровой подписи и задания некоммутативных ассоциативных алгебр большой размерности. Обсуждаются способы решения данных проблем. Показана важность исследования строения конечных некоммутативных алгебр с точки зрения декомпозиции на множество коммутативных подалгебр. Другое направление использования конечных алгебр для разработки криптографических алгоритмов с открытым ключом связано с существенным (в 10 и более раз) уменьшением размера открытого ключа в алгоритмах многомерной криптографии. В нем возникает проблема разработки формализованных параметризуемых унифицированных способов задания векторных конечных полей больших размерностей (от 5 до 130) с достаточно большим числом потенциально реализуемых типов и модификаций (до 2500 и более), задаваемых различными наборами структурных констант, с помощью которых определяется операция умножения векторов. Предложены варианты указанных способов и топологий нелинейных отображений на векторных конечных полях различных размерностей. Показано, что использование отображений, задающих операцию экспоненцирования в векторных конечных полях, потенциально обеспечивает устранение основного недостатка известных алгоритмов многомерной криптографии, связанного с большим размером открытого ключа.
Использование радиолокационных спутниковых данных в мониторинге сельскохозяйственных культур является перспективным дополнением методов и технологий, базирующихся на анализе мультиспектральных изображений. К основным достоинствам радиолокационных вегетационных индексов относится их чувствительность к поляриметрическим свойствам принимаемого сигнала, а также независимость от облачности. Это особенно важно для территории юга российского Дальнего Востока, муссонный климат которого обеспечивает влажную и облачную погоду в период набора сельскохозяйственными культурами максимальной биомассы. Для оценки возможностей радиолокационных спутниковых данных на примере пахотных земель Хабаровского края и Амурской области были проанализированы 64 снимка космического аппарата Sentinel-1 за период наблюдений с мая по октябрь 2021 года. Для каждого снимка были рассчитаны значения индексов DpRVI, RVI, VH/VV и построены временные ряды для всего периода наблюдений по отдельным полям (всего 342 поля). По мультиспектральным снимкам Sentinel-2 с использованием маски облачности были построены временные ряды NDVI. Были рассчитаны характеристики экстремумов временных рядов для разных типов пахотных земель: сои, овса, и залежи. Показано, что для каждой сельхозкультуры кривые сезонного хода DpRVI, RVI, VH/VV имели характерный вид. Установлено, что индекс DpRVI продемонстрировал наиболее высокую устойчивость - коэффициенты вариации сезонного хода DpRVI были существенно ниже показателей для RVI и VH/VV. Также было выявлено, что сходство между сезонным ходом индексов сохранялось для удаленных друг от друга регионов - Хабаровского края и Амурской области. Были рассчитаны основные характеристики сезонного хода временных рядов радиолокационных индексов в сравнении с NDVI - величина максимума, дата наступления максимума и вариабельность этих показателей. Установлено, во-первых, что значения этих показателей в разных регионах схожи между собой; во-вторых, вариабельность максимума и дня наступления максимума для DpRVI ниже, чем для RVI и VH/VV; в-третьих, вариабельность максимума и дня наступления максимума для DpRVI сопоставима с NDVI. Таким образом, можно сделать вывод о том, что временные ряды радиолокационных индексов DpRVI, RVI, VH/VV для основных типов сельскохозяйственных земель Дальнего Востока имеют отличительные особенности и могут быть использованы в задачах классификации, моделирования урожайности и контроля севооборота.
В статье представлен разработанный метод и прототип программы для определения наличия птиц в видеопотоке данных в режиме реального времени. Этот метод основан на использовании каскадного классификатора, который был применен для решения задачи обнаружения и идентификации птиц в биоакустической установке отпугивания птиц в аэропорту Томска. В рамках исследования был использован каскадный классификатор Виолы-Джонса, который является одной из реализаций алгоритма каскад Хаара. Этот алгоритм позволяет с высокой точностью и скоростью обнаруживать объекты на изображениях и видео. В данном случае классификатор был обучен на наборе данных, содержащем изображения птиц, что позволило достичь высокой точности обнаружения и идентификации птиц на видео. Также приведены результаты оценки возможностей созданного классификатора и продемонстрирована его высокая результативность. В ходе исследования были использованы различные методы машинного обучения и анализа видеоданных, что позволило получить точные и надежные результаты. В целом, данная работа представляет собой инновационный подход к решению актуальной задачи защиты аэропортов от птиц. Применение разработанного метода позволило повысить эффективность работы биоакустической установки отпугивания птиц и обеспечить безопасность полетов в аэропорту Томска, снизив вероятность столкновения самолетов с птицами. Новизна работы заключается в применении метода Виолы-Джонса к задаче обнаружения и идентификации птиц с оценкой его результативности. Таким образом, представленная в статье работа является важным вкладом в развитие методов обнаружения и идентификации объектов на видео и может быть использована в других областях, где требуется автоматическое обнаружение и классификация объектов в видеопотоке данных.
В статье рассматривается проблема распознавания сентимента и эмоций пользователей в русскоязычных текстовых транскрипциях речи с использованием словарных методов и машинного перевода. Количество имеющихся информационных ресурсов для анализа сентимента текстовых сообщений на русском языке очень ограничено, что существенно затрудняет применение базовых методов анализа сентимента, а именно, предобработки текстов, векторизации с помощью тональных словарей, традиционных классификаторов. Для решения этой проблемы в статье вводится новый метод на основе автоматического машинного перевода русскоязычных текстов на английский язык. Частичный перевод предполагает перевод отдельных лексем, не включенных в русскоязычные тональные словари, тогда как полный перевод подразумевает перевод всего текста целиком. Переведенный текст анализируется с использованием различных англоязычных тональных словарей. Экспериментальные исследования для решения задачи распознавания сентимента и эмоций были проведены на текстовых транскрипциях многомодального русскоязычного корпуса RAMAS, извлеченных из аудиоданных экспертным путем и автоматически с использованием системы распознавания речи. В результате применения методов машинного перевода достигается значение взвешенной F-меры распознавания семи классов эмоций 31,12 % и 23,74 %, и трех классов сентимента 75,37 % и 71,60 % для экспертных и автоматических транскрипций русскоязычной речи корпуса RAMAS, соответственно. Также в ходе экспериментов было выявлено, что использование статистических векторов в качестве метода преобразования текстовых данных позволяет достичь значение показателя взвешенной F-меры на 1-5 % выше по сравнению с использованием конкатенированного (статистического и тонального) вектора. Таким образом, эксперименты показывают, что объединение всех англоязычных тональных словарей позволяет повысить точность распознавания сентимента и эмоций в текстовых данных. В статье также исследуется корреляция между длиной вектора текстовых данных и его репрезентативностью. По результатам экспериментов можно сделать вывод, что использование лемматизации для нормализации слов текстовых транскрипций речи позволяет достичь большей точности распознавания сентимента по сравнению со стеммингом. Использование предложенных методов с полным и частичным машинным переводом позволяет повысить точность распознавания сентимента и эмоций на 0,65-9,76 % по показателю взвешенной F-меры по сравнению с базовым методом распознавания сентимента и эмоций.
В статье описывается общая концепция построения коллаборативных систем поддержки принятия решений, в которых коллективы, осуществляющие поддержку принятия решений, а) формируются гибко в соответствии с задачей и б) состоят как из людей-экспертов, так и из интеллектуальных агентов, реализующих те или иные методы искусственного интеллекта. Проводится анализ ключевых проблем создания коллаборативных систем поддержки принятия решений, основанных на взаимодействии человека и искусственного интеллекта. В частности, выделены следующие проблемы: обеспечение интероперабельности (взаимопонимания) между разнородными участниками коллектива, согласование различающихся позиций участников, обеспечение доверия между участниками, обеспечение эффективности планирования совместных действий и соблюдение баланса между предопределенными потоками работ и самоорганизацией. Сформированы принципы построения подобных систем, предлагающие решения выделенных проблем. В частности, предлагается онтолого-ориентированное представление информации о проблеме (в частности, применение мультиаспектных онтологий), набор методов для мониторинга деятельности команды, схема репутации, элементы объяснимого искусственного интеллекта, а также применение механизма ограниченной самоорганизации. Предложенная концепция положена в основу программной платформы для создания коллаборативных систем поддержки принятия решений, основные архитектурные положения которой также представлены в статье. Применение платформы иллюстрируется на примере из области рационального управления дорожной инфраструктурой и создания коллаборативной системы поддержки принятия решений для разработки мероприятий по снижению аварийности.
Извлечение терминов является важным этапом автоматизированного построения систем знаний на основе естественно-языковых текстов, поскольку обеспечивает формирование базовой системы понятий, используемой затем в прикладных задачах интеллектуальной обработки информации. В статье рассмотрена проблема автоматизированного извлечения терминов из естественно-языковых текстов с целью их дальнейшего использования при построении формализованных систем знаний (онтологий, тезаурусов, графов знаний) в рамках задачи мониторинга тематических обсуждений в социальных медиа. Данная задача характеризуется необходимостью включения в формируемую систему знаний как понятий из нескольких различных предметных областей, так и некоторых общеупотребительных понятий, используемых аудиторией социальных медиа в рамках тематических обсуждений. Кроме того, формируемая система знаний является динамичной как с точки зрения состава охватываемых ею предметных областей, так и состава релевантных понятий, подлежащих включению в систему. Применение существующих классических методов извлечения терминов в данном случае затруднительно, поскольку они ориентированы на извлечение терминов в рамках одной предметной области. Исходя из этого, для решения рассматриваемой задачи предложен комбинированный метод, совмещающий в себе подходы на основе внешних источников знаний, инструментов NER и правил. Результаты проведенных экспериментов демонстрируют эффективность предложенной комбинации подходов к извлечению терминов для задачи мониторинга и анализа тематических обсуждений в социальных медиа. Разработанный метод значительно превосходит по точности существующие инструменты извлечения терминов. В качестве дальнейшего направления исследования рассмотрена возможность развития метода для решения задачи выделения вложенных терминов или сущностей.
В последние годы существенно вырос интерес к искусственному интеллекту на основе нейросетевых подходов. Получен ряд значимых научных результатов, которые нашли широкое применение на практике. Большое внимание привлекли генеративно - состязательные нейросетевые модели, нейросетевые трансформеры и другие решения. Достигнут очевидный прогресс в нейросетевом распознавании и генерации образов, обработке текстов и речи, прогнозировании событий, управлении трудно формализуемыми процессами. Однако пока не удалось наделить нейросетевые машины мышлением. Все получаемые с использованием нейросетевых машин результаты можно отнести к решениям на основе различных видов связывания сигналов без полноценного управления процессами их обработки. Типичными представителями таких машин выступают ChatGPT. Возможности по интеллектуальному оперированию различными сигналами в известных нейросетевых машинах очень ограничены. Среди основных причин таких ограничений следует выделить несовершенство используемых базовых принципов нейросетевой обработки информации. Свойства нейронов длительное время рассматривались упрощенно. Обуславливалось это, как пробелами в области биологических исследованиях, так и отсутствием возможностей построения больших нейронных сетей на сложных моделях нейронов. В последние годы ситуация изменилась. Появились новые способы реализации больших нейронных сетей. Также установлено, что даже отдельные нейроны могут обладать обширной внутренней памятью и реализовывать различные функции. Однако до сих пор многие механизмы функционирования нейронов и их взаимодействия остаются не раскрытыми. Мало исследованы вопросы управляемого ассоциативного обращения к внутренней памяти нейронов. Эти недостатки существенно сдерживает создание мыслящих нейросетевых машин. Объектом исследования в статье выступает процесс интеллектуальной нейросетевой обработки информации.
Предмет исследования: принципы, модели и методы такой обработки. Преследуется цель расширения функциональных возможностей нейросетевых машин по решению трудно формализуемых творческих задач за счет разработки новых принципов, моделей и методов интеллектуальной обработки информации. В интересах достижения этой цели уточняются принципы функционирования интеллектуальных нейросетевых машин, предлагаются новые модели и методы нейросетевой обработки информации. Раскрывается новая модель импульсного нейрона, как базового элемента таких машин. Искусственный мозг нейросетевых машин рекомендуется формировать в виде многослойных нейронных сетей, наделенных логическими структурами, с различными по параметрам нейронами. Предлагается новый метод многоуровневой интеллектуальной обработки информации в нейросетевых машинах на основе умных импульсных нейронов. Поясняются механизмы мышления нейросетевых машин, лежащие в их основе функции интеллектуального оперирования образами и понятиями в нейросетевой памяти. Приводятся результаты моделирования, подтверждающие справедливость предложенных решений.
Проблема обучения глубоких нейронных сетей на малых выборках особенно актуальна для медицинских задач. В работе рассматривается влияние попиксельной разметки значимых объектов на изображении, в дополнении к истинной метке класса, на качество решения задачи классификации. Для достижения лучших результатов классификации на малых выборках предлагается мультизадачная архитектура Unet-boosted classifier (UBC), обучаемая одновременно для решения задач классификации и семантической сегментации. В качестве исследуемого набора данных используются МРТ-снимки пациентов c доброкачественной глиомой и глиобластомой, взятые из открытого набора данных BraTS 2019. В качестве входа рассматривается один горизонтальный срез МРТ-изображения, содержащий глиому (всего 380 кадров в обучающей выборке), в качестве выхода - вероятность глиобластомы. В качестве базового решения используется ResNet34, обученный без аугментаций с функцией потерь на основе взаимной энтропии (CrossEntropyLoss). В качестве альтернативного решения используется UBC-ResNet34 - тот же ResNet34 усиленный декодером, построенным по принципу U-Net, и предсказывающим положение глиомы. В качестве дополнительной функции потерь используется сглаженный коэффициент Соренсена-Дайса (DiceLoss). Результаты на тестовой выборке: доля правильных ответов (accuracy) для базовой модели составила 0.71, для альтернативной - 0.81, коэффициент Дайса (Dice score) при этом составил 0.77. Таким образом, глубокую модель можно качественно обучить даже на небольшом наборе данных, используя предложенную архитектуру и добавив в разметку информацию о пораженных тканях в виде семантической маски. Предлагаемый подход потенциально может быть полезен и в любых других задачах классификации изображений с ограниченным набором данных.
В секвенаторе ДНК «Нанофор СПС», разработанном в Институте аналитического приборостроения РАН, реализован метод массового параллельного секвенирования для расшифровки последовательности нуклеиновых кислот. Этот метод позволяет определять последовательность нуклеотидов в ДНК или РНК, содержащих от нескольких сотен до сотен миллионов звеньев мономеров. Таким образом, имеется возможность получения подробной информации о геноме различных биологических объектов, в том числе человека, животных и растений. Важнейшей частью этого прибора является программное обеспечение, без которого невозможно решение задач по расшифровке генома. Выходными данными оптической детекции в секвенаторе являются набор изображений по четырем каналам, соответствующим типам нуклеотидов: A, C, G, T. С помощью специального программного обеспечения определяется положение молекулярных кластеров и их интенсивностные характеристики вместе с параметрами окружающего фона. В ходе создания программного обеспечения прибора были разработаны алгоритмы и программы обработки сигналов флуоресценции, рассмотренные в работе. Также, для отладки и тестирования рабочих программ созданы модели построения изображений, аналогичных реальным данным, получаемым в ходе работы секвенатора. Данные модели позволили получить значительный массив информации без запуска дорогостоящих экспериментов. За последние годы достигнуты значительные успехи в области машинного обучения, в том числе и в области биоинформатики, что привело к реализации наиболее распространенных моделей и возможности их применения для практических задач. Однако, если на этапе вторичного анализа биоинформационных данных эти методы широко зарекомендовали себя, то их потенциал для первичного анализа остается недостаточно раскрытым. В данной работе особое внимание уделяется разработке и внедрению методов машинного обучения для первичного анализа оптических изображений сигналов флуоресценции в реакционных ячейках. Описаны методы кластеризации и их апробация на моделях и на изображениях, полученных на приборе. Цель этой статьи - продемонстрировать возможности алгоритмов первичного анализа сигналов флуоресценции, получающихся в процессе секвенирования на приборе «Нанофор СПС». В работе описаны основные задачи анализа сигналов флуоресценции и сравниваются традиционные методы их решения с использованием технологий машинного обучения.
Развитие цифровой трансформации требует широкого использования новых технологий в документах по стандартизации. Одной из задач является создание стандартов с машинопонимаемым содержанием, которые позволят использовать цифровые документы на различных этапах разработки и производства без необходимости участия человека-оператора. Целью данной работы является описание подхода для создания и перевода в машинопонимаемое представление нормативных документов отрасли для дальнейшего их использования в программных сервисах и системах. Содержимое SMART-стандарта бывает трех видов: машиночитаемое, машиноинтерпретируемое и машинопонимаемое. Для формализации данных и знаний при решении различных задач активно используются графы знаний. Предложен новый двухуровневый подход для создания и перевода в машинопонимаемое представление нормативных документов как графов знаний. Подход определяет два вида интерпретации такого документа (человекочитаемость и машинопонимаемость) через два связанных формата: граф, каждый семантический узел которого представляет текст на естественном языке, и сеть понятий и строгих связей. Каждому узлу «человекочитаемого» графа соответствует (в общем случае) поддерево машинопонимаемого графа знаний. В качестве основы для обеспечения преобразования одной формы представления SMART-стандарта в другую форму служат LLM модели, дополняемые специализированным адаптером, полученным в результате дообучения с помощью подхода Parameter-Efficient Fine-Tuning. Установлены требования к набору проблемно- и предметно-ориентированных инструментальных средств формирования графов знаний. Показана концептуальная архитектура системы поддержки решения комплекса задач на основе SMART-документов в виде графов, установлены принципы реализации программных компонентов, работающих со знаниями, для интеллектуальных программных сервисов.
Рассматривается задача оценивания состояния динамического объекта по наблюдаемым изображениям, сформированным оптической системой. Цель исследования состоит в реализации нового подхода, обеспечивающего повышение точности автономного слежения за динамическим объектом по последовательности изображений. Используется векторная модель изображения объекта в виде ограниченного количества вершин (базовых точек). Предполагается, что в процессе регистрации объект удерживается в центральной области каждого кадра, поэтому параметры движения могут описываться в виде проекций на оси системы координат, связанной с оптической осью камеры. Новизна подхода состоит в том, что наблюдаемые параметры (расстояние вдоль оптической оси и угловое положение) объекта вычисляются по координатам заданных точек на изображениях объекта. Для оценки состояний объекта строится фильтр Калмана-Бьюси в предположении, что движение динамического объекта описывается совокупностью уравнений поступательного движения центра масс вдоль оптической оси и изменений углового положения относительно плоскости изображения. Приведен пример оценивания углового положения объекта, иллюстрирующий работоспособность предложенного метода.
Издательство
- Издательство
- СПБНЦ
- Регион
- Россия, Санкт-Петербург
- Почтовый адрес
- 199034, Санкт-Петербург, Университетская наб., 5
- Юр. адрес
- 199034, Санкт-Петербург, Университетская наб., 5
- ФИО
- Орлова Марина Ивановна (ИСПОЛНЯЮЩАЯ ОБЯЗАННОСТИ ДИРЕКТОРА)
- E-mail адрес
- office@spbrc.nw.ru
- Контактный телефон
- +8 (812) 3283787
- Сайт
- https://spbrc.ru/