КОМБИНИРОВАННЫЙ МЕТОД ИЗВЛЕЧЕНИЯ ТЕРМИНОВ ДЛЯ ЗАДАЧИ МОНИТОРИНГА ТЕМАТИЧЕСКИХ ОБСУЖДЕНИЙ В СОЦИАЛЬНЫХ МЕДИА (2024)
Извлечение терминов является важным этапом автоматизированного построения систем знаний на основе естественно-языковых текстов, поскольку обеспечивает формирование базовой системы понятий, используемой затем в прикладных задачах интеллектуальной обработки информации. В статье рассмотрена проблема автоматизированного извлечения терминов из естественно-языковых текстов с целью их дальнейшего использования при построении формализованных систем знаний (онтологий, тезаурусов, графов знаний) в рамках задачи мониторинга тематических обсуждений в социальных медиа. Данная задача характеризуется необходимостью включения в формируемую систему знаний как понятий из нескольких различных предметных областей, так и некоторых общеупотребительных понятий, используемых аудиторией социальных медиа в рамках тематических обсуждений. Кроме того, формируемая система знаний является динамичной как с точки зрения состава охватываемых ею предметных областей, так и состава релевантных понятий, подлежащих включению в систему. Применение существующих классических методов извлечения терминов в данном случае затруднительно, поскольку они ориентированы на извлечение терминов в рамках одной предметной области. Исходя из этого, для решения рассматриваемой задачи предложен комбинированный метод, совмещающий в себе подходы на основе внешних источников знаний, инструментов NER и правил. Результаты проведенных экспериментов демонстрируют эффективность предложенной комбинации подходов к извлечению терминов для задачи мониторинга и анализа тематических обсуждений в социальных медиа. Разработанный метод значительно превосходит по точности существующие инструменты извлечения терминов. В качестве дальнейшего направления исследования рассмотрена возможность развития метода для решения задачи выделения вложенных терминов или сущностей.
Идентификаторы и классификаторы
- eLIBRARY ID
- 68499958
Задача извлечения терминов (term extraction) представляет собой процесс автоматического выделения ключевых терминов или слов из текста или набора текстов с целью определения наиболее репрезентативных слов в контексте рассматриваемой прикладной задачи. В данной работе рассматривается специфический класс подобных прикладных задач, характеризуемый множественностью предметных областей, с одной стороны, и важностью учета общеупотребительной лексики – с другой. Примером такой задачи является мониторинг и анализ социальнополитической ситуации на некоторой ограниченной территории (город, регион и т.п.).
Использование для ее решения данных социальных медиа сопряжено с проблемой извлечения структурированной информации из огромного объема постоянно генерируемых сырых данных, составляющих содержание тематических обсуждений в социальных медиа. Базовым компонентом такой информации являются термины, являющиеся лексическими обозначениями понятий, используемых участниками дискуссий. В то же время, специфика как лексических особенностей коммуникаций в социальных медиа в целом, так и рассматриваемой прикладной задачи, ограничивает возможность применения для извлечения терминов известных готовых технологий и методов.
Список литературы
- Матусевич А.А. Общение в социальных сетях: прагматический, коммуникативный, лингвостилистический аспекты характеристики: дис…. канд. филол. наук: 10.02.01. Киров. 2016. 190 с.
- Mykowiecka A., Marciniak M., Kupsc A. Rule-based information extraction from patients’ clinical data // Journal of Biomedical Informatics. 2009. vol. 42. no 5. pp. 923-936.
- Golik W., Bossy R., Ratkovic Z., Nedellec C. Improving term extraction with linguistic analysis in the biomedical domain // RCS. 2013. vol. 70. no. 1. pp. 157-172.
- Zhou X., Zhang X., Hu X. MaxMatcher: Biological Concept Extraction Using Approximate Dictionary Lookup // PRICAI 2006: Trends in Artificial Intelligence Lecture Notes in Computer Science. 2006. pp. 1145-1149.
- Yehia E., Boshnak H., AbdelGaber S., Abdo A., Elzanfaly. D.S. Ontology-based clinical information extraction from physician’s free-text notes // Journal of Biomedical Informatics. 2019. vol. 98. no. 103276.
- Lomov P., Malozemova M., Shishaev M. Training and application of neural-network language model for ontology population // Software engineering perspectives in intelligent systems: Proceedings of 4th Computational Methods in Systems and Software. 2020. vol. 1295. pp. 919-926. EDN: UBXTBU
- Пимешков В.К., Диковицкий В.В., Шишаев М.Г. Формирование тренировочных наборов данных для нейросетевого классификатора в задаче извлечения понятий и отношений из естественно-языковых текстов // Сборник Региональной научно-практической конференции-студенческой научной школы филиала МАГУ в г. Апатиты. 2021. С. 158-170. EDN: COLXSQ
- Pazienza M.T., Pennacchiotti M., Zanzotto F.M. Terminology Extraction: An Analysis of Linguistic and Statistical Approaches // Knowledge Mining. Studies in Fuzziness and Soft Computing. 2005. pp. 255-279.
- Heid U. Extracting terminologically relevant collocations from German technical texts // Terminology and Knowledge Engineering Proceedings. 1999. vol. 99. pp. 242-255.
-
Zhang S., Elhadad N. Unsupervised biomedical named entity recognition: Experiments with clinical and biological texts // Journal of Biomedical Informatics. 2013. vol. 46. no 6. pp. 1088-1098.
-
Lopez P., Romary L. HUMB: Automatic Key Term Extraction from Scientific Articles in GROBID // Proceedings of the 5th International Workshop on Semantic Evaluation. 2010. pp. 248-251.
-
GROBID. URL: https://github.com/kermitt2/grobid (дата обращения: 13.11.2023).
-
Lopez P., Romary L. GRISP: A Massive Multilingual Terminological Database for Scientific and Technical Domains // Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10). 2010. pp. 2269-2276.
-
RuWordNet. URL: https://ruwordnet.ru/ru/ (дата обращения: 13.11.2023).
-
RuThes. URL: http://www.labinform.ru/pub/ruthes/ (дата обращения: 13.11.2023).
-
AGROVOC. URL: https://www.fao.org/agrovoc/ (дата обращения: 13.11.2023).
-
DBpedia. URL: https://www.dbpedia.org/ (дата обращения: 13.11.2023).
-
SpaCy. URL: https://spacy.io/ (дата обращения: 07.12.2023).
-
Natasha. URL: https://github.com/natasha/natasha (дата обращения: 24.10.2023).
-
DeepPavlov. URL: https://docs.deeppavlov.ai/en/master/ (дата обращения: 07.12.2023).
-
Томита-парсер. URL: https://yandex.ru/dev/tomita/ (дата обращения: 13.11.2023).
-
Yargy parser. URL: https://github.com/natasha/yargy (дата обращения: 24.10.2023).
-
Korobov M. Morphological Analyzer and Generator for Russian and Ukrainian Languages // Analysis of Images, Social Networks and Texts. Communications in Computer and Information Science. 2015. pp. 320-332. EDN: WRGVPX
-
OpenCorpora. URL: https://opencorpora.org/ (дата обращения: 13.11.2023).
-
BERT NER-models. URL: https://docs.deeppavlov.ai/en/master/features/models/NER.html#6.-Models-list (дата обращения: 24.10.2023).
-
Bird S., Klein E., Loper E. Natural Language Processing with Python // O'Reilly Media Inc. 2009. 482 p.
-
Lu K. kevinlu1248/pyate: Python Automated Term Extraction (Version v0.5.3). Zenodo. 2021. DOI: 10.5281/zenodo.5039289
-
Rutermextract. URL: https://pypi.org/project/rutermextract/ (дата обращения: 07.12.2023).
-
Astrakhantsev N. ATR4S: toolkit with state-of-the-art automatic terms recognition methods in Scala // Language Resources and Evaluation. 2018. vol. 52. no. 3. pp. 853-872. EDN: RHRSEK
-
Hatty A., Schlechtweg D., Dorna M., im Walde S.S. Predicting Degrees of Technicality in Automatic Terminology Extraction // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. pp. 2883-2889.
-
Zhang X., Panizzon R., Musacchio M., Ahmad K. Terminology Extraction for and from Communications in Multi-disciplinary Domains // Proceedings of the LREC 2016 Workshop "EMOT: Emotions, Metaphors, Ontology and Terminology during Disasters". 2016. pp. 34-39.
-
Abrahams A.S., Jiao J., Fan W., Wang G.A., Zhang Z. What's buzzing in the blizzard of buzz? Automotive component isolation in social media postings // Decision Support Systems. 2013. vol. 55. no. 4. pp. 871-882.
-
Yates A., Goharian N., Frieder O. Extracting Adverse Drug Reactions from Social Media // Proceedings of the AAAI Conference on Artificial Intelligence. 2015. vol. 29. no. 1. DOI: 10.1609/aaai.v29i1.9527
-
Liu K., Chen L. Medical Social Media Text Classification Integrating Consumer Health Terminology // IEEE Access. 2019. vol. 7. pp. 78185-78193. EDN: XBUJOX
Выпуск
Другие статьи выпуска
Одним из направлений разработки практичных постквантовых криптографических алгоритмов с открытым ключом является использование конечных алгебр в качестве их алгебраического носителя. Рассматриваются два подхода в этом направлении: 1) построение алгоритмов электронной цифровой подписи со скрытой группой на некоммутативных ассоциативных алгебр и 2) построение алгоритмов многомерной криптографии с использованием операции экспоненцирования в векторном конечном поле (коммутативной алгебре, являющейся конечным полем) для задания нелинейного отображения с секретной лазейкой. Первый подход включает разработку криптосхем двух типов: основанных на вычислительной трудности а) скрытой задачи дискретного логарифмирования и б) решения большой системы квадратных уравнений. Для второго подхода возникают проблемы обеспечения полной рандомизации цифровой подписи и задания некоммутативных ассоциативных алгебр большой размерности. Обсуждаются способы решения данных проблем. Показана важность исследования строения конечных некоммутативных алгебр с точки зрения декомпозиции на множество коммутативных подалгебр. Другое направление использования конечных алгебр для разработки криптографических алгоритмов с открытым ключом связано с существенным (в 10 и более раз) уменьшением размера открытого ключа в алгоритмах многомерной криптографии. В нем возникает проблема разработки формализованных параметризуемых унифицированных способов задания векторных конечных полей больших размерностей (от 5 до 130) с достаточно большим числом потенциально реализуемых типов и модификаций (до 2500 и более), задаваемых различными наборами структурных констант, с помощью которых определяется операция умножения векторов. Предложены варианты указанных способов и топологий нелинейных отображений на векторных конечных полях различных размерностей. Показано, что использование отображений, задающих операцию экспоненцирования в векторных конечных полях, потенциально обеспечивает устранение основного недостатка известных алгоритмов многомерной криптографии, связанного с большим размером открытого ключа.
Использование радиолокационных спутниковых данных в мониторинге сельскохозяйственных культур является перспективным дополнением методов и технологий, базирующихся на анализе мультиспектральных изображений. К основным достоинствам радиолокационных вегетационных индексов относится их чувствительность к поляриметрическим свойствам принимаемого сигнала, а также независимость от облачности. Это особенно важно для территории юга российского Дальнего Востока, муссонный климат которого обеспечивает влажную и облачную погоду в период набора сельскохозяйственными культурами максимальной биомассы. Для оценки возможностей радиолокационных спутниковых данных на примере пахотных земель Хабаровского края и Амурской области были проанализированы 64 снимка космического аппарата Sentinel-1 за период наблюдений с мая по октябрь 2021 года. Для каждого снимка были рассчитаны значения индексов DpRVI, RVI, VH/VV и построены временные ряды для всего периода наблюдений по отдельным полям (всего 342 поля). По мультиспектральным снимкам Sentinel-2 с использованием маски облачности были построены временные ряды NDVI. Были рассчитаны характеристики экстремумов временных рядов для разных типов пахотных земель: сои, овса, и залежи. Показано, что для каждой сельхозкультуры кривые сезонного хода DpRVI, RVI, VH/VV имели характерный вид. Установлено, что индекс DpRVI продемонстрировал наиболее высокую устойчивость - коэффициенты вариации сезонного хода DpRVI были существенно ниже показателей для RVI и VH/VV. Также было выявлено, что сходство между сезонным ходом индексов сохранялось для удаленных друг от друга регионов - Хабаровского края и Амурской области. Были рассчитаны основные характеристики сезонного хода временных рядов радиолокационных индексов в сравнении с NDVI - величина максимума, дата наступления максимума и вариабельность этих показателей. Установлено, во-первых, что значения этих показателей в разных регионах схожи между собой; во-вторых, вариабельность максимума и дня наступления максимума для DpRVI ниже, чем для RVI и VH/VV; в-третьих, вариабельность максимума и дня наступления максимума для DpRVI сопоставима с NDVI. Таким образом, можно сделать вывод о том, что временные ряды радиолокационных индексов DpRVI, RVI, VH/VV для основных типов сельскохозяйственных земель Дальнего Востока имеют отличительные особенности и могут быть использованы в задачах классификации, моделирования урожайности и контроля севооборота.
В статье представлен разработанный метод и прототип программы для определения наличия птиц в видеопотоке данных в режиме реального времени. Этот метод основан на использовании каскадного классификатора, который был применен для решения задачи обнаружения и идентификации птиц в биоакустической установке отпугивания птиц в аэропорту Томска. В рамках исследования был использован каскадный классификатор Виолы-Джонса, который является одной из реализаций алгоритма каскад Хаара. Этот алгоритм позволяет с высокой точностью и скоростью обнаруживать объекты на изображениях и видео. В данном случае классификатор был обучен на наборе данных, содержащем изображения птиц, что позволило достичь высокой точности обнаружения и идентификации птиц на видео. Также приведены результаты оценки возможностей созданного классификатора и продемонстрирована его высокая результативность. В ходе исследования были использованы различные методы машинного обучения и анализа видеоданных, что позволило получить точные и надежные результаты. В целом, данная работа представляет собой инновационный подход к решению актуальной задачи защиты аэропортов от птиц. Применение разработанного метода позволило повысить эффективность работы биоакустической установки отпугивания птиц и обеспечить безопасность полетов в аэропорту Томска, снизив вероятность столкновения самолетов с птицами. Новизна работы заключается в применении метода Виолы-Джонса к задаче обнаружения и идентификации птиц с оценкой его результативности. Таким образом, представленная в статье работа является важным вкладом в развитие методов обнаружения и идентификации объектов на видео и может быть использована в других областях, где требуется автоматическое обнаружение и классификация объектов в видеопотоке данных.
В статье рассматривается проблема распознавания сентимента и эмоций пользователей в русскоязычных текстовых транскрипциях речи с использованием словарных методов и машинного перевода. Количество имеющихся информационных ресурсов для анализа сентимента текстовых сообщений на русском языке очень ограничено, что существенно затрудняет применение базовых методов анализа сентимента, а именно, предобработки текстов, векторизации с помощью тональных словарей, традиционных классификаторов. Для решения этой проблемы в статье вводится новый метод на основе автоматического машинного перевода русскоязычных текстов на английский язык. Частичный перевод предполагает перевод отдельных лексем, не включенных в русскоязычные тональные словари, тогда как полный перевод подразумевает перевод всего текста целиком. Переведенный текст анализируется с использованием различных англоязычных тональных словарей. Экспериментальные исследования для решения задачи распознавания сентимента и эмоций были проведены на текстовых транскрипциях многомодального русскоязычного корпуса RAMAS, извлеченных из аудиоданных экспертным путем и автоматически с использованием системы распознавания речи. В результате применения методов машинного перевода достигается значение взвешенной F-меры распознавания семи классов эмоций 31,12 % и 23,74 %, и трех классов сентимента 75,37 % и 71,60 % для экспертных и автоматических транскрипций русскоязычной речи корпуса RAMAS, соответственно. Также в ходе экспериментов было выявлено, что использование статистических векторов в качестве метода преобразования текстовых данных позволяет достичь значение показателя взвешенной F-меры на 1-5 % выше по сравнению с использованием конкатенированного (статистического и тонального) вектора. Таким образом, эксперименты показывают, что объединение всех англоязычных тональных словарей позволяет повысить точность распознавания сентимента и эмоций в текстовых данных. В статье также исследуется корреляция между длиной вектора текстовых данных и его репрезентативностью. По результатам экспериментов можно сделать вывод, что использование лемматизации для нормализации слов текстовых транскрипций речи позволяет достичь большей точности распознавания сентимента по сравнению со стеммингом. Использование предложенных методов с полным и частичным машинным переводом позволяет повысить точность распознавания сентимента и эмоций на 0,65-9,76 % по показателю взвешенной F-меры по сравнению с базовым методом распознавания сентимента и эмоций.
В статье описывается общая концепция построения коллаборативных систем поддержки принятия решений, в которых коллективы, осуществляющие поддержку принятия решений, а) формируются гибко в соответствии с задачей и б) состоят как из людей-экспертов, так и из интеллектуальных агентов, реализующих те или иные методы искусственного интеллекта. Проводится анализ ключевых проблем создания коллаборативных систем поддержки принятия решений, основанных на взаимодействии человека и искусственного интеллекта. В частности, выделены следующие проблемы: обеспечение интероперабельности (взаимопонимания) между разнородными участниками коллектива, согласование различающихся позиций участников, обеспечение доверия между участниками, обеспечение эффективности планирования совместных действий и соблюдение баланса между предопределенными потоками работ и самоорганизацией. Сформированы принципы построения подобных систем, предлагающие решения выделенных проблем. В частности, предлагается онтолого-ориентированное представление информации о проблеме (в частности, применение мультиаспектных онтологий), набор методов для мониторинга деятельности команды, схема репутации, элементы объяснимого искусственного интеллекта, а также применение механизма ограниченной самоорганизации. Предложенная концепция положена в основу программной платформы для создания коллаборативных систем поддержки принятия решений, основные архитектурные положения которой также представлены в статье. Применение платформы иллюстрируется на примере из области рационального управления дорожной инфраструктурой и создания коллаборативной системы поддержки принятия решений для разработки мероприятий по снижению аварийности.
В последние годы существенно вырос интерес к искусственному интеллекту на основе нейросетевых подходов. Получен ряд значимых научных результатов, которые нашли широкое применение на практике. Большое внимание привлекли генеративно - состязательные нейросетевые модели, нейросетевые трансформеры и другие решения. Достигнут очевидный прогресс в нейросетевом распознавании и генерации образов, обработке текстов и речи, прогнозировании событий, управлении трудно формализуемыми процессами. Однако пока не удалось наделить нейросетевые машины мышлением. Все получаемые с использованием нейросетевых машин результаты можно отнести к решениям на основе различных видов связывания сигналов без полноценного управления процессами их обработки. Типичными представителями таких машин выступают ChatGPT. Возможности по интеллектуальному оперированию различными сигналами в известных нейросетевых машинах очень ограничены. Среди основных причин таких ограничений следует выделить несовершенство используемых базовых принципов нейросетевой обработки информации. Свойства нейронов длительное время рассматривались упрощенно. Обуславливалось это, как пробелами в области биологических исследованиях, так и отсутствием возможностей построения больших нейронных сетей на сложных моделях нейронов. В последние годы ситуация изменилась. Появились новые способы реализации больших нейронных сетей. Также установлено, что даже отдельные нейроны могут обладать обширной внутренней памятью и реализовывать различные функции. Однако до сих пор многие механизмы функционирования нейронов и их взаимодействия остаются не раскрытыми. Мало исследованы вопросы управляемого ассоциативного обращения к внутренней памяти нейронов. Эти недостатки существенно сдерживает создание мыслящих нейросетевых машин. Объектом исследования в статье выступает процесс интеллектуальной нейросетевой обработки информации.
Предмет исследования: принципы, модели и методы такой обработки. Преследуется цель расширения функциональных возможностей нейросетевых машин по решению трудно формализуемых творческих задач за счет разработки новых принципов, моделей и методов интеллектуальной обработки информации. В интересах достижения этой цели уточняются принципы функционирования интеллектуальных нейросетевых машин, предлагаются новые модели и методы нейросетевой обработки информации. Раскрывается новая модель импульсного нейрона, как базового элемента таких машин. Искусственный мозг нейросетевых машин рекомендуется формировать в виде многослойных нейронных сетей, наделенных логическими структурами, с различными по параметрам нейронами. Предлагается новый метод многоуровневой интеллектуальной обработки информации в нейросетевых машинах на основе умных импульсных нейронов. Поясняются механизмы мышления нейросетевых машин, лежащие в их основе функции интеллектуального оперирования образами и понятиями в нейросетевой памяти. Приводятся результаты моделирования, подтверждающие справедливость предложенных решений.
В настоящее время происходит активное развитие технологий обработки изображений дистанционного зондирования, включающих как спутниковые снимки, так и аэрофотоснимки, полученные от видеокамер беспилотных летательных аппаратов. Зачастую такие снимки имеют артефакты, связанные с низким разрешением, размытостью фрагментов изображения, наличием шумов и т.д. Одним из способов преодоления таких ограничений является применение современных технологий для восстановления снимков сверхвысокого разрешения на основе методов глубокого обучения. Особенностью аэрофотоснимков является представление текстуры и структурных элементов более высокого разрешения, чем на спутниковых снимках, что объективно способствует лучшим результатам восстановления. В статье приводится классификация методов сверхвысокого разрешения с учетом основных архитектур глубоких нейронных сетей, а именно сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. В статье предлагается метод восстановления аэрофотоснимков сверхвысокого разрешения с учетом семантических особенностей SemESRGAN за счет использования на этапе обучения дополнительной глубокой сети для семантической сегментации. При этом минимизируется общая функция потерь, включающая состязательные потери, потери на уровне пикселов и потери воспирятия (сходства признаков). Для экспериментов использовались шесть наборов аннотированных аэрофотоснимков и спутниковых снимков CLCD, DOTA, LEVIR-CD, UAVid, AAD и AID. Было выполнено сравнение результатов восстановления изображений предложенным методом SemESRGAN с базовыми архитектурами сверточных нейронных сетей, визуальных трансформеров и генеративно-состязательных сетей. Получены сравнительные результаты восстановления изображений с применением объективных метрик PSNR и SSIM, что позволило оценить качество восстановления с использованием различных моделей глубоких сетей.
Проблема обучения глубоких нейронных сетей на малых выборках особенно актуальна для медицинских задач. В работе рассматривается влияние попиксельной разметки значимых объектов на изображении, в дополнении к истинной метке класса, на качество решения задачи классификации. Для достижения лучших результатов классификации на малых выборках предлагается мультизадачная архитектура Unet-boosted classifier (UBC), обучаемая одновременно для решения задач классификации и семантической сегментации. В качестве исследуемого набора данных используются МРТ-снимки пациентов c доброкачественной глиомой и глиобластомой, взятые из открытого набора данных BraTS 2019. В качестве входа рассматривается один горизонтальный срез МРТ-изображения, содержащий глиому (всего 380 кадров в обучающей выборке), в качестве выхода - вероятность глиобластомы. В качестве базового решения используется ResNet34, обученный без аугментаций с функцией потерь на основе взаимной энтропии (CrossEntropyLoss). В качестве альтернативного решения используется UBC-ResNet34 - тот же ResNet34 усиленный декодером, построенным по принципу U-Net, и предсказывающим положение глиомы. В качестве дополнительной функции потерь используется сглаженный коэффициент Соренсена-Дайса (DiceLoss). Результаты на тестовой выборке: доля правильных ответов (accuracy) для базовой модели составила 0.71, для альтернативной - 0.81, коэффициент Дайса (Dice score) при этом составил 0.77. Таким образом, глубокую модель можно качественно обучить даже на небольшом наборе данных, используя предложенную архитектуру и добавив в разметку информацию о пораженных тканях в виде семантической маски. Предлагаемый подход потенциально может быть полезен и в любых других задачах классификации изображений с ограниченным набором данных.
В секвенаторе ДНК «Нанофор СПС», разработанном в Институте аналитического приборостроения РАН, реализован метод массового параллельного секвенирования для расшифровки последовательности нуклеиновых кислот. Этот метод позволяет определять последовательность нуклеотидов в ДНК или РНК, содержащих от нескольких сотен до сотен миллионов звеньев мономеров. Таким образом, имеется возможность получения подробной информации о геноме различных биологических объектов, в том числе человека, животных и растений. Важнейшей частью этого прибора является программное обеспечение, без которого невозможно решение задач по расшифровке генома. Выходными данными оптической детекции в секвенаторе являются набор изображений по четырем каналам, соответствующим типам нуклеотидов: A, C, G, T. С помощью специального программного обеспечения определяется положение молекулярных кластеров и их интенсивностные характеристики вместе с параметрами окружающего фона. В ходе создания программного обеспечения прибора были разработаны алгоритмы и программы обработки сигналов флуоресценции, рассмотренные в работе. Также, для отладки и тестирования рабочих программ созданы модели построения изображений, аналогичных реальным данным, получаемым в ходе работы секвенатора. Данные модели позволили получить значительный массив информации без запуска дорогостоящих экспериментов. За последние годы достигнуты значительные успехи в области машинного обучения, в том числе и в области биоинформатики, что привело к реализации наиболее распространенных моделей и возможности их применения для практических задач. Однако, если на этапе вторичного анализа биоинформационных данных эти методы широко зарекомендовали себя, то их потенциал для первичного анализа остается недостаточно раскрытым. В данной работе особое внимание уделяется разработке и внедрению методов машинного обучения для первичного анализа оптических изображений сигналов флуоресценции в реакционных ячейках. Описаны методы кластеризации и их апробация на моделях и на изображениях, полученных на приборе. Цель этой статьи - продемонстрировать возможности алгоритмов первичного анализа сигналов флуоресценции, получающихся в процессе секвенирования на приборе «Нанофор СПС». В работе описаны основные задачи анализа сигналов флуоресценции и сравниваются традиционные методы их решения с использованием технологий машинного обучения.
Развитие цифровой трансформации требует широкого использования новых технологий в документах по стандартизации. Одной из задач является создание стандартов с машинопонимаемым содержанием, которые позволят использовать цифровые документы на различных этапах разработки и производства без необходимости участия человека-оператора. Целью данной работы является описание подхода для создания и перевода в машинопонимаемое представление нормативных документов отрасли для дальнейшего их использования в программных сервисах и системах. Содержимое SMART-стандарта бывает трех видов: машиночитаемое, машиноинтерпретируемое и машинопонимаемое. Для формализации данных и знаний при решении различных задач активно используются графы знаний. Предложен новый двухуровневый подход для создания и перевода в машинопонимаемое представление нормативных документов как графов знаний. Подход определяет два вида интерпретации такого документа (человекочитаемость и машинопонимаемость) через два связанных формата: граф, каждый семантический узел которого представляет текст на естественном языке, и сеть понятий и строгих связей. Каждому узлу «человекочитаемого» графа соответствует (в общем случае) поддерево машинопонимаемого графа знаний. В качестве основы для обеспечения преобразования одной формы представления SMART-стандарта в другую форму служат LLM модели, дополняемые специализированным адаптером, полученным в результате дообучения с помощью подхода Parameter-Efficient Fine-Tuning. Установлены требования к набору проблемно- и предметно-ориентированных инструментальных средств формирования графов знаний. Показана концептуальная архитектура системы поддержки решения комплекса задач на основе SMART-документов в виде графов, установлены принципы реализации программных компонентов, работающих со знаниями, для интеллектуальных программных сервисов.
Рассматривается задача оценивания состояния динамического объекта по наблюдаемым изображениям, сформированным оптической системой. Цель исследования состоит в реализации нового подхода, обеспечивающего повышение точности автономного слежения за динамическим объектом по последовательности изображений. Используется векторная модель изображения объекта в виде ограниченного количества вершин (базовых точек). Предполагается, что в процессе регистрации объект удерживается в центральной области каждого кадра, поэтому параметры движения могут описываться в виде проекций на оси системы координат, связанной с оптической осью камеры. Новизна подхода состоит в том, что наблюдаемые параметры (расстояние вдоль оптической оси и угловое положение) объекта вычисляются по координатам заданных точек на изображениях объекта. Для оценки состояний объекта строится фильтр Калмана-Бьюси в предположении, что движение динамического объекта описывается совокупностью уравнений поступательного движения центра масс вдоль оптической оси и изменений углового положения относительно плоскости изображения. Приведен пример оценивания углового положения объекта, иллюстрирующий работоспособность предложенного метода.
Издательство
- Издательство
- СПБНЦ
- Регион
- Россия, Санкт-Петербург
- Почтовый адрес
- 199034, Санкт-Петербург, Университетская наб., 5
- Юр. адрес
- 199034, Санкт-Петербург, Университетская наб., 5
- ФИО
- Орлова Марина Ивановна (ИСПОЛНЯЮЩАЯ ОБЯЗАННОСТИ ДИРЕКТОРА)
- E-mail адрес
- office@spbrc.nw.ru
- Контактный телефон
- +8 (812) 3283787
- Сайт
- https://spbrc.ru/