Статья: РАЗРАБОТКА НОВОГО ЭКСПЕРИМЕНТАЛЬНОГО МЕТОДА ОЦЕНКИ OCR ИНСТРУМЕНТОВ ДЛЯ ЗАДАЧИ КЛАССИФИКАЦИИ ЦИФРОВЫХ ДОКУМЕНТОВ (2024)

В настоящее время сбор и обработка персональных данных широко применяется при предоставлении цифровых услуг в сети Интернет. Информация о том, каким образом осуществляется их сбор и обработка, должна быть представлена в политиках конфиденциальности и/или пользовательских соглашения. Несмотря на то, что число утечек персональных данных у операторов различных цифровых сервисов с каждым годом растет, пользователи невнимательно читают данные документы, и часто, давая согласие на обработку персональных данных, они не знают, какие данные собираются, сколько они хранятся и в каких целях они используются. Одним из возможных решений данной проблемы является повышение читаемости пользовательских соглашений с помощью средств поддержки принятия решений, представляющих пользовательские соглашения в более простом для понимания виде, например, в виде инфографики, краткого описания или количественных оценок рисков, связанных с обработкой персональных данных. Однако, разработка таких средств требует использования структурированного и размеченного набора данных. Корпусы документов, которые удовлетворяют данным требованиям, существуют, однако все они состоят из соглашений, написанных на английском языке, аналогичных наборов данных на русском языке нет. В настоящей работе представлены методика формирования корпуса пользовательских соглашений на русском языке, методика его очистки, а также инструменты, реализующих данные методики. В результате применения разработанных программных средств был создан корпус, состоящий из 7510 очищенных русскоязычных пользовательских соглашений. Кроме того, в работе приведены результаты статистического анализа корпуса, проясняющего его некоторые особенности, что может быть использовано в дальнейших исследованиях, нацеленных на повышение прозрачности пользовательских соглашений для конечных пользователей.

В статье представлен новый метод сжатия аудиоданных с потерями. Метод базируется на психоакустических принципах восприятия звука человеком. Учет данных принципов позволяет получить метод сжатия аудиоданных различной природы: музыкальных композиций, речевого сигнала, различных звуков другого происхождения. Стоит отметить, что каждый из них имеет свои особенности. Речевые сигналы содержат паузы и имеют менее разнообразный частотный диапазон по отношению к музыке, что приводит к разработке специфических методов их компрессии. Целью построения представленной теории сжатия аудиоданных с потерями является достижение равенства исходного и восстановленного сигналов в перцептуальном смысле. Именно такой подход позволяет получить метод сжатия аудиоданных, который позволяет в значительной степени уменьшить битовое представление аудиосигнала, оставляя его на слух очень близким к оригиналу. Большое внимание при разработке метода уделено квантованию по уровню, причем при квантовании спектральных составляющих сигнала используется теория едва заметных изменений звука. Представляется целесообразным учет этой теории, поскольку она является значимой при обработке аудиосигналов, однако, до сих пор не была использована при разработке методов сжатия аудиоданных. Предлагаемая в статье процедура квантования по уровню сочетает в себе преимущества как адаптивного, так и равномерного квантования. Для адаптивного квантования основное преимущество это значительно меньшее число уровней квантования, которое необходимо для достижения сопоставимого с равномерным квантованием уровня шума квантования. Представленный метод квантования, который являясь по сути неравномерным (адаптивным) не требует передачи значения каждого из уровней квантования (или шага квантования). Кроме того, ошибка квантования в разработанном методе не превышает 1 дБ, что является порогом едваразличимых изменений звука.

Рассматривается задача прогнозирования поведения динамической системы с резко меняющимися стохастическими свойствами. Динамическая система представлена соответствующим числовым временным рядом показателей системы. Решение такой задачи требует определения моментов времени изменения стохастических свойств, разладки поведения временного ряда и выделения временных сегментов с однородным поведением. На таких сегментах можно строить статистические модели для краткосрочного прогнозирования. Для краткосрочного прогнозирования предложено вместо числовых статистических моделей, таких как ARIMA, рекуррентных нейронных сетей, использовать модель дискретной цепи Маркова для нечетких состояний. В этом случае задача регрессии заменяется на задачу нечеткой классификации и объектом исследования становится временной ряд нечетких состояний, порождаемый исходным числовым временным рядом. Такой подход позволяет упростить получение решения и повысить достоверность прогноза. Разработан алгоритм рекуррентного оценивания стохастической матрицы модели цепи Маркова с нечеткими состояниями. Для выделения однородных сегментов временного ряда нечетких состояний предложено на каждом шаге рекуррентного оценивания стохастической матрицы рассчитывать вектор стационарных вероятностей (собственный вектор матрицы) и на основе анализа его поведения выделять однородные сегменты. Работоспособность и эффективность предложенного подхода иллюстрируется примерами краткосрочного прогнозирования поведения временных рядов курсов различных активов Московской биржи.

Графовые нейронные сети в настоящее время являются объектом все возрастающего интереса в области машинного обучения и анализа данных. Их специализированная архитектура позволяет эффективно моделировать и анализировать сложные структуры данных на графах, такие как социальные сети, биоинформационные сети, транспортные сети и другие. С возрастанием объема данных, представленных в виде графов, растет их значимость как инструмента для понимания и прогнозирования сложных взаимосвязей и паттернов. Данная работа направлена на оценку эффективности метода L2-регуляризации, применяемого при машинном обучении в контексте задачи кластеризации узлов графа. Под кластеризацией понимается объединение узлов в группы, выделяемые по степени их связности. При обучении используется специальный метод регуляризации и реализующий его алгоритм распространения меток LPA (Label Propagation Algorithm), а также расширение данного подхода на две популярные архитектуры графовых нейронных сетей: GraphSAGE (Graph Sample and Aggregation) и GAT (Graph Attention Networks). В рамках исследования проводится сравнительный анализ эффективности применения метода LPA на различных датасетах, широко применяемых в научных и практических задачах. Результаты исследования показывают заметное улучшение точности анализа графовых моделей данных при использовании анализируемого подхода. Проведенное исследование способствует более глубокому пониманию воздействия общего подхода L2-регуляризации в плане обучения графовых нейронных сетей.

В данной обзорной статье представлен анализ основных направлений исследований по теме классификация объектов на изображении методами компьютерного зрения. Методы компьютерного зрения позволяют автоматизировать процесс выделения семантического смысла из изображений. Под классификацией объектов на изображении понимается локализация объектов, интересующих исследователя, и соотнесение их с определенным классом. Актуальность данной темы закреплена в государственной программе: национальная стратегия развития искусственного интеллекта на период до 2030 года. Так же в статье приведена статистика публикационной активности научных авторов по теме «компьютерное зрение», которая показывает актуальность данного направления. Работа имеет следующую структуру: во введении статьи приведены различные статистики, отражающие актуальность темы. Далее приведен обзор научных исследований посвященных решению прикладных аспектов задачи классификации объектов на изображении в различных областях человеческой деятельности. Основной упор сделан на следующие прикладные области: медицина, промышленность, безопасность, транспорт и военное дело. Далее приведен анализ методов, которые используются для решения задачи классификации объектов на изображении. Автор выделяет две группы методов: классические и нейросетевые методы. Под классическими алгоритмами и методами понимается подход к решению задачи классификации объектов на изображении, в котором не используются искусственные нейронные сети. Выводы. Тема исследования на сегодня является актуальной, что подтверждено статистикой и государственными программами. Для классических методов выявлены следующие недостатки: для каждой новой прикладной задачи требуется построение алгоритма ее решения, трудоемкость выделения значимых признаков и неустойчивость при работе с определенными видами данных. Для нейросетевых методов основным недостатком является зависимость конечной модели от качества набора данных, на котором она обучается.

Многоагентные системы относятся к технологиям искусственного интеллекта, а агент-ориентированный подход позиционируется как универсальное решение, которое способно конкурировать с другими технологиями в широком классе приложений. В данной статье рассматриваются традиционные и современные варианты формализации и интерпретации понятия агента в многоагентных системах, представлен обзор постановок задач, которые решаются при разработке таких систем для формирования признаков и свойств различных типов агентов.

Работа посвящена использованию методов математического моделирования как основного инструмента исследований функционирования водных экосистем, а именно прогнозирования изменения концентрации фитопланктона в летний период в мелководном водоеме с применением спутниковых данных. Системный подход на основе синтеза математического моделирования с методами усвоения данных дистанционного зондирования позволил выполнить комплексный анализ динамики изменения биогео-химических процессов, протекающих в пространстве и во времени, с учетом совокупного действия физико-химических, биологических и антропогенных факторов, влияющих на изучаемую водную экосистему. Разработанная математическая модель, коррелирующая со спутниковой информацией, позволяет осуществлять прогнозирование поведения летнего фитопланктона в мелководном водоеме, изменения плотности выделенных планктонных популяций в условиях ускоренного времени, описывать окислительно-восстановительные процессы водной среды, сульфатредукции, трансформации биогенных веществ (минерального питания фитопланктона), изучать развитие заморных явлений, возникающих в результате антропогенной эвтрофикации, строить прогнозы изменения кислородного и биогенного режимов функционирования водоема. Для прогнозирования поведения летнего фитопланктона построен и реализован исследовательско-прогнозный комплекс, а также алгоритм его взаимодействия с ГИС. Разработанный программно-алгоритмический аппарат позволяет оценивать масштабы развития стихийных катаклизмов (эвтрофирования, «цветения», загрязнение водных систем различной этиологии и пр.), но и строить кратко- и среднесрочные прогнозы их развития в ускоренном времени для дальнейшего предотвращения негативных последствий экономического и социального характеров. Разработан оперативный алгоритм восстановления параметров качества вод Азовского моря, которой базируется на методе многомерной оптимизации Левенберга - Марквардта. В качестве входных данных использовано пространственное распределение фитопланктонных популяций, являющееся результатом применения метода локальных бинарных шаблонов к спутниковым снимкам, полученным авторами данного метода

Разработана платформа, предназначенная для многоагентного моделирования социально-экономической динамики гипотетических обществ бронзового века. Эта система объединяет данные геоинформационной системы для создания реалистичного окружения и имитацию взаимодействия агентов, представляющих древние человеческие популяции. Агенты занимаются управлением ресурсами и популяцией, миграцией и конфликтами, также реагируя на наличие и истощение таких ресурсов, как медь и скот. Моделирование показывает, как факторы распределения ресурсов и окружающей среды могли влиять на поведение общества и изменения популяции в древние времена. Область применения включает в себя как образовательные цели, так и тестирование археологических гипотез.

В статье исследуется система с разделением и параллельным обслуживанием заявок, называемая также fork-join системой массового обслуживания, с Парето-распределением времени обслуживания и различными вариантами распределений промежутков между поступлениями заявок для входящего потока, а именно, распределением Эрланга, показательным распределением, а также гиперэкспоненциальным распределением (смесью двух показательных). Предлагается новый подход к оценке квантилей распределения времени пребывания заявки в fork-join системе. Определение данной характеристики является не менее важной задачей, чем более традиционная оценка математического ожидания и, соответственно, моментов более высокого порядка времени отклика системы, поскольку дает более широкое преставление о необходимом количестве ресурсов для обслуживания требований, поступающих в систему, математической моделью которой является система с разделением и параллельным обслуживанием. В частности, с помощью fork-join структур моделируются процессы функционирования систем с использованием распределенных или параллельных вычислений либо систем, использующих разделение исходной задачи на части с целью оптимизации рабочих процессов. Подход основывается на аппроксимации распределения времени отклика системы распределением Фреше, параметры которого определяются статистически с помощью метода моментов. Алгоритм нахождения оценок квантилей также включает в себя имитационное моделирование и метод оптимизации, который позволяет значительно снизить погрешность аппроксимации исходных формул. Численный эксперимент показал хорошее качество приближения для квантилей времени отклика высоких уровней, средняя относительная погрешность аппроксимации при этом во всех трех случаях не превышает 2 %, а максимальная - 5 %.