В статье представлены угрозы нарушения корректного функционирования систем, разработанных на основе глубоких нейронных сетей, посредством реализации против них состязательных атак уклонения и отравления данных. Состязательные атаки реализуются посредством подачи на вход системы специально подготовленных (состязательных) данных (adversarial samples), на основе которых она принимает неправильные решения. Последствия реализации состязательных атак могут быть очень серьезными, особенно в областях, критически важных для безопасности. Описаны основные виды и способы реализации атак. Рассмотрены математические модели, используемые для раз- работки состязательных атак. Представлен анализ методов защиты моделей глубоких нейронных сетей от угроз, связанных с состязательными атаками. Определено, что наиболее эффективным подходом к созданию средств.
Идентификаторы и классификаторы
- УДК
- 004.85. Обучение
В настоящее время для создания систем искусственного интеллекта (СИИ), применяемых в таких критичных с точки зрения безопасности областях, как авионика, транспорт, медицина, кибербезопасность, управление производственными комплексами и автономными робототехническими средствами, широко используются методы машинного обучения и нейросетевые модели. Наряду с классическими угрозами нарушения их корректного и безопасного функционирования в моделях угроз, разработанных организациями MITRE [1] и OWASP [2] для методов машинного обучения, присутствуют такие специфические способы, как состязательные атаки уклонения и отравления данных.
Список литературы
- Al-Sada B., Sadighian A. MITRE ATT&CK: State of the Art and Way Forward // arXiv:2308.14016v1 [cs.CR] 27 Aug 2023. URL: https://doi.org/10.48550/ arXiv.2308.14016 (дата обращения: 17.09.2024).
- OWASP. URL: https://owasp.org/www-project-top- 10-for-large-language-model-applications (дата обращения: 17.09.2024).
- NIST AI 100-2 E2023 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. URL: https://csrc.nist.gov/pubs/ai/100/2/e2023/final (дата обращения: 19.09.2024).
- Ad2 Attack: Adaptive Adversarial Attack on Real- Time UAV Tracking / Fu Changhong, Li Sihang, Yuan Xinnan, Cao Ziang // arXiv:2203.01516v1 [cs.CV] 3 Mar 2022. URL: https://arxiv.org/abs/2203.01516 (дата обращения: 17.09.2024).
- Намиот Д.Е., Куприяновский В.П., Пичугов А.А. Состязательные атаки для автономных транспортных средств // International Journal of Open Information Technologies. 2024. Vol. 12, no. 7. pp. 139–149. URL: http://injoit.org/index.php/j1/article/viewFile/ 1919/1738 (дата обращения: 17.09.2024).
- Намиот Д.Е. Схемы атак на системы машинного обучения // International Journal of Open Information Technologies. 2023. Vol. 11, no. 5. pp. 68–86. URL:
injoit.org/index.php/j1/article/viewFile/1566/1438 (дата обращения: 17.09.2024). - Exploring Adversarial Attacks on Neural Networks: An Explainable Approach // arXiv:2303.06032v1 [cs LG] 8 Mar 2023. URL: https://doi.org/10.48550/ arXiv.2303.06032 (дата обращения: 18.09.2024).
- Ильюшин Е.А., Намиот Д.Е., Чижов И.В. Атаки на системы машинного обучения – общие проблемы и методы // International Journal of Open Information Technologies. 2022. Vol. 10, no. 3. pp. 17–22. URL: http:// injoit.org/index.php/j1/article/viewFile/1276/1218 (дата обращения: 18.09.2024).
- Lu Zihao, Sun Hao, Xu Yanjie. Adversarial Robustness Enhancement of UAV-Oriented Automatic Image Recognition Based on Deep Ensemble Models // Remote Sensing. 2023. Vol. 15, iss. 12. 3007. URL: https://doi. org/10.3390/rs15123007 (дата обращения: 18.09.2024).
- Machine Learning Verification and Safety for Unmanned Aircraft – A Literature Study / Christoph Torens, Franz Jünger, Sebastian Schirmer, Simon Schopferer, Theresa Maienschein, Johann C. Dauer // AIAA 2022-1133. URL: https://arc.aiaa.org/doi/10.2514/6.2022-1133 (дата обращения: 18.09.2024).
- Намиот Д.Е, Ильюшин Е.А., Чижов И.В. Текущиепроекты, посвященные устойчивому машинному обучению // International Journal of Open Information Technologies. 2021. Vol. 9, no. 10. pp. 35–44. URL: http://www.injoit.org/index. php/j1/article/viewFile/1199/1134 (дата обращения: 19.09.2024).
- Атаки и методы защиты в системах машинного обучения: анализ современных исследований / И.В. Котенко [и др.] // Вопросы кибербезопасности. 2024. № 1 (59). С. 24–37.
- Linyi Li, Tao Xie, Bo Li. SoK: Certified Robustness for Deep Neural Networks // arXiv:2009.04131v9 [cs.LG] 12 Apr 2023. URL: https://arxiv.org/abs/2009.04131 (дата обращения: 19.09.2024).
- Ruihan Zhang Peixin Zhang, Jun Sun. Towards Certified Probabilistic Robustness with High Accuracy. arXiv:2309.00879v1 [cs.LG] 2 Sep 2023. URL: https://arxiv. org/abs/2309.00879 (дата обращения: 19.09.2024).
- A Novel Adversarial Detection Method for UAV Vision Systems via Attribution Maps/ Zhun Zhang, Qihe Liu, Chunjiang Wu, Shijie Zhou, Zhangbao Yan // Drones. 2023. Vol. 7, iss. 12. 697. URL: https://doi.org/10.3390/ drones7120697. (дата обращения: 19.09.2024).
- Samangouei P., Kabkab M., Chellapp R. Defense- GAN: Protecting Classifiers Against Adversarial Attacks Using Generative models // arXiv:1805.06605v2 [cs.CV]
18 May 2018. URL: https://arxiv.org/pdf/1805.06605 (дата обращения: 19.09.2024). - Adversarial Robustness Toolbox. URL: https:// github.com/Trusted-AI/adversarial-robustness-toolbox (дата обращения: 19.09.2024).
Выпуск
Другие статьи выпуска
В работе представлены основные методы повышения устойчивости функционирования мультисервисной сети связи плавучего энергетического блока, которая является основой его автоматизированной системы управления производством. Показано, что актуальность и важность результатов выполненного исследования определяются тем, что плавучий энергетический блок является энергетическим предприятием, реализующим непрерывный цикл производства, функционирующим в сложных географических и климатических условиях, вследствие чего сетевые элементы могут подвергаться различным деструктивным воздействиям.
Показано, что сочетание методов нагруженного резервирования с восстановлением, оперативной поддержки принятия решений по оценке технического состояния сетевых элементов на основе концепции распределенных интеллектуальных агентов, а также применение сетевых технологий, допускающих их аппаратно-программную реализацию, позволяет значительно повысить показатели устойчивости функционирования мультисервисной сети связи плавучего энергетического блока.
Представлен алгоритм оценки погрешностей идентификации параметров тепловых эквивалентных полупроводниковых изделий по результатам измерения переходной тепловой характеристики (ПТХ). С помощью компьютерного моделирования по представленному алгоритму выполнен расчет случайных погрешностей определения пара- метров одно- и двухзвенной тепловой эквивалентной цепи. Показано, что погрешности зависят от выбора моментов времени, в которые составляется и решается система уравнений, связывающих значения ПТХ с параметрами схемы. Путем выбора моментов времени в точках наибольшей и наименьшей крутизны ПТХ возможно достичь минимальной погрешности определения параметров тепловой эквивалентной цепи.
В статье описан подход к структурно-параметрической идентификации смесителя непрерывного действия, на вход которого поступает массопоток от двух спиральных дозаторов. Дано формализованное описание этапов идентификации динамических процессов смешивания. Цифровые сигналы смешивания при этом рассматриваются как стохастические. На первом этапе строится модель сигнала со спиральных дозаторов, который подается на вход смесителя непрерывного действия. Модель построена на основе использования структурного анализа и теории непрерывных дробей и представляется мультисинусоидальным сигналом с неизвестными параметрами. На следующем этапе переходят к построению математической модели самого смесителя непрерывного действия. Математическое описание алгоритма с учетом стохастичности вход-выходных сигналов смесителя предполагает предварительный расчёт корреляционных функций сигналов. Далее дискретную передаточную функцию смесителя аппроксимируют непрерывной дробью при помощи расчёта матрицы-идентификатора. Проверка качества мо- делирования на основе принципа вариации шага дискретизации показала их достаточно высокую эффективность. Актуальность работы обусловлена потребностью автоматизации процессов контроля, мониторинга и управления в области пищевых технологий.
В статье рассматривается применение когерентного оптического рефлектометра (COTDR) для проверки состояния волоконно-оптических линий связи (ВОЛС), в состав которых включены усилители. Разработана методика расчета максимальной протяженности репитативной линии связи, проверку состояния которой возможно провести с применением COTDR. Методика учитывает влияние мощности усиленной спонтанной эмиссии, генерируемой оптическими усилителями, на динамический диапазон COTDR. Верификация методики проведена с использованием разработанного на базе Научно-исследовательского центра световодной фотоники Университета ИТМО комплекта оборудования когерентной оптической временной рефлектометрии. Приведен пример расчета с использованием методики для ВОЛС с наиболее распространенной длиной регенерации и комплекта рефлектометрии, разработанного в Университете ИТМО. Созданная методика может применяться при проектировании ВОЛС для определения оптимального количества оптических усилителей и при обосновании возможности применения конкретного COTDR для диагностики ВОЛС с известными параметрами.
Качество функционирования блока усилителя мощности передающего устройства радиолокационной станции характеризуется выходной мощностью на различных частотах и зависит от характеристик поставляемых клистронов: импульсного тока катода, напряжения накала, тока накала, токопрохождения, тока управляющего электрода, потребляемой мощности, входной оптимальной мощности, выходной мощности с клистрона, импульсного тока резонаторного блока, коэффициента усиления и других. Для оценки качества работы блока предлагается решение двух задач. Первая связана с контролем стабильности параметров поставляемых клистронов. Решение этой задачи рассмотрено ранее. Вторая задача – оценка и прогнозирование выходной мощности блока по результатам испытаний. В настоящей статье предлагается подход к построению математической модели зависимости этой мощности от характеристик клистрона с применением метода опорных векторов.
Предиктивное кодирование (ПК) предполагает такую организацию нейронной сети, что на каждом ее уровне постоянно генерируется и обновляется внутреннее представление о поступающем внешнем сигнале. К настоящему времени предложены различные теоретические описания и алгоритмические представления ПК. В отличие от обычных статичных моделей машинного обучения, ПК основано на ансамблях нейронов с изменяющимся во времени поведением. Обычные искусственные нейронные сети плохо подходят для описания динамических процессов, и вместо них следует использовать импульсные (спайковые) нейронные сети. В данной работе представлены простые архитектуры динамических спайковых нейронных сетей, включающие элементы ПК для иерархического управления динамическими системами. Интеграторы, управляемые и связанные осцилляторы с ПК построены с использованием популяций импульсных нейронов с утечками (Leaky Integrate-and-Fire neurons). Показаны как обучаемые модели, так и модели, не требующие обучения. Динамические модели нейронов реализованы в свободно распространяемом пакете Nengo.
В статье исследуется влияние предварительного использования фильтра Калмана на качество обучения автоэнкодеров при обработке изображений с коррелированным шумом. Цель исследования заключается в сравнении эффективности применения фильтра Калмана с традиционными методами фильтрации, такими как медианный фильтр и фильтр Гаусса, в контексте предварительной обработки изображений. Для эксперимента использовались изображения с искусственно добавленным коррелированным шумом.
Методология включала настройку параметров фильтра Калмана для оптимального удаления коррелированного шума, а также применение медианного и Гауссового фильтров для сравнительного анализа. Оценка качества фильтрации проводилась с использованием индекса структурного сходства (SSIM) и пикового соотношения сигнал/шум (PSNR). Результаты эксперимента показывают, что фильтр Калмана значительно снижает уровень коррелированного шума, улучшая качество изображений и повышая точность обучения автоэнкодеров. Это подтверждает эффективность применения фильтра Калмана для предварительной обработки изображений и обеспечивает более чистые данные для последующих этапов машинного обучения. Результаты исследования подчеркивают важность выбора подходящих методов цифровой фильтрации шума для повышения производительности нейронных сетей.
В настоящее время одним из востребованных направлений применения интеллектуальных систем является использование нейронных систем (НС) в системах по распознаванию речи, выполняющее совместное разделение голоса и улучшение речи. Для этого необходимо различать различные шумы при смешивании чистого аудио с мешающими высказываниями.
В научной работе предложен новый подход в обучении НС при распознавании речи по двум направлениям:
во-первых, представлена обновленная функция потерь, способная напрямую учитывать производительность на уровне сигнала и транскрипции. Это позволит снизить показатель индикатора неправильно распознанных слов с 59,6 % до 55,6 % и улучшит отношение источника к искажению с ~ 4 дБ до ~ 4,1 дБ по сравнению с имеющимися аналогами. Интеграция индикатора неправильно распознанных слов в функцию потерь существенно повышает производительность разделения на уровне сигнала и транскрипции;
во-вторых, в работе предложена оригинальная модернизированная интеллектуальная система по распознаванию речи с учетом обновленной функции потерь. Преимуществом новой системы является ее возможность интегрироваться в другие системы без ограничения системной среды, что создает дополнительные возможности для более разнообразных комбинаций систем разделения и распознавания речи.В настоящее время одним из востребованных направлений применения интеллектуальных систем является использование нейронных систем (НС) в системах по распознаванию речи, выполняющее совместное разделение голоса и улучшение речи. Для этого необходимо различать различные шумы при смешивании чистого аудио смешающими высказываниями.
Одной из актуальных задач логистики сегодня является задача прогнозирования загруженности складского помещения и выбора оптимальной емкости складского помещения. В настоящей статье поставлена и решена задача разработки и апробации модели динамики загрузки склада, позволяющей учесть вероятностные характеристики потоков поступления и оттока груза со склада. В качестве исследуемого параметра в модели рассмотрен один из показателей загрузки склада – объем складируемого груза, как функция времени. Объем складируемого груза в каждый момент времени зависит от объема накопленных ранее грузов, поступлений груза на склад и оттока (выдачи) груза со склада. Указанные зависимости положены в основу имитационной модели для оценки динамики объема загрузки склада. Потоки поступления и оттока грузов со склада моделируются в общем случае как нестационарные случайные процессы. Для реализации модели применяется метод статистического моделирования Монте-Карло. Требуемую емкость склада предлагается определять с использованием доверительной вероятности обработки всего объема поступающего груза. Проведены вычислительные эксперименты. Применение разработанного инструментария позволяет получить выборки возможных значений загрузки склада для каждого момента времени, оценить закон распределения возможных значений загрузки склада для каждого момента времени, получить точечные оценки параметров, оценить требуемую емкость склада.Одной из актуальных задач логистики сегодня является задача прогнозирования загруженности складского по-мещения и выбора оптимальной емкости складского помещения. В настоящей статье поставлена и решена задача разработки и апробации модели динамики загрузки склада, позволяющей учесть вероятностные характеристики потоков поступления и оттока груза со склада. В качестве исследуемого параметра в модели рассмотрен один из показателей загрузки склада – объем складируемого груза, как функция времени. Объем складируемого груза в каждый момент времени зависит от объема накопленных ранее грузов, поступлений груза на склад и оттока (выдачи) груза со склада. Указанные зависимости положены в основу имитационной модели для оценки динамики объема загрузки склада. Потоки поступления и оттока грузов со склада моделируются в общем случае как нестационарные случайные процессы. Для реализации модели применяется метод статистического моделирования Монте-Карло. Требуемую емкость склада предлагается определять с использованием доверительной вероятности обработки всего объема поступающего груза. Проведены вычислительные эксперименты. Применение разработанного инструментария позволяет получить выборки возможных значений загрузки склада для каждого момента времени, оценить закон распределения возможных значений загрузки склада для каждого момента времени, получить точечные оценки параметров, оценить требуемую емкость склада.
Современные требования к специалистам из сферы здравоохранения давно вышли за рамки непосредственно медицины. Использование современных технических средств приводит к ситуации, когда медик должен максимально быстро адаптироваться к условиям развития информационных технологий. Необходимость помимо профессиональной деятельности развиваться в смежных областях, получение опыта в таких направлениях, как информационные технологии или телемедицина [1, с. 68], приводят к постоянному повышению когнитивной нагрузки, вследствие чего снижается качество и оперативность принимаемых врачебных решений.
В рамках данной статьи будет рассмотрена проблема визуального анализа медицинских данных, а также предложены решения для снижения когнитивной нагрузки аналитика при проведении первичной обработки и анализа слабоструктурированных медицинских данных. Для решения поставленных задач предложен метод визуализации медицинских данных, предназначенный для снижения когнитивной нагрузки и, как следствие, рисков профессионального выгорания у медиков.
Представленный в статье программный модуль получен в рамках этапа разработки программного комплекса, необходимого для решения задачи повышения качества и оперативности принятия медицинских решений.
В работе оценивается списочное представление когнитивных карт декодера перестановочного декодирования (ПД) двоичных кодов, которое может быть выполнено в формате двух списков: полного списка производительных перестановок нумераторов (ППН) и полного списка непроизводительных перестановок нумераторов (НПН) символов кодового вектора. Оценивается сложность реализации процедуры поиска запрещенных для перестановки нумераторов, для двух блоковых двоичных кодов. Показано, как могут быть организованы в памяти декодера списки НПН, на основании образующих комбинаций орбит (ОКО) перестановок, с оценкой машинного времени, требуемого на формирование такого списка. При этом учитывается разнообразие трансформаций различных комбинаций избыточного кода в процедуре априорного формирования когнитивной карты. Впервые отражены свойства НПН списков для кодов различных длин. Проведено их сравнение по ряду критериев. Указывается свойство, порождающее специфические особенности ряда перестановок в процессе реализации ПД, отмечается уникальность отдельных перестановок, выявленных в ходе исследования блоковых кодов различной длины.
Целью работы является исследование изменений организации списков НПН в системе ПД в зависимости от основных характеристик применяемых в системе избыточных кодов.
В статье рассмотрена практика верификации проектного решения, представленного алгоритмом (моделью работы потока реального времени Real) в аппаратно-программном средстве, опирающаяся на авторскую методологию верификации на этапе системного проектирования. Алгоритм включает оркестровку и хореографию проектируемого аппаратно-программного средства. Выявляются ошибки хорошей согласованности, корректности и темпора́льные ошибки.
Следует отметить, что исследование велось в рамках решения проблемы по модернизации аппаратно-программного средства сложного изделия, состоящего из бортового компьютера и специализированного программного обеспечения. Бортовой компьютер работает в жестком реальном времени, сопряжен с окружающими блоками и стойками по шине и синхронизирован с работой изделия по внешнему импульсу прерывания. Полученные сведения от верификации повышают качество алгоритмов аппаратно-программного средства, а автоматизация верификации сокращает трудоемкость разработки проектного решения.В статье рассмотрена практика верификации проектного решения, представленного алгоритмом (моделью работы потока реального времени Real) в аппаратно-программном средстве, опирающаяся на авторскую методологию верификации на этапе системного проектирования. Алгоритм включает оркестровку и хореографию проектируемого аппаратно-программного средства. Выявляются ошибки хорошей согласованности, корректности и темпора́льные ошибки.
Следует отметить, что исследование велось в рамках решения проблемы по модернизации аппаратно-программного средства сложного изделия, состоящего из бортового компьютера и специализированного программного обеспечения. Бортовой компьютер работает в жестком реальном времени, сопряжен с окружающими блоками и стойками по шине и синхронизирован с работой изделия по внешнему импульсу прерывания. Полученные сведения от верификации повышают качество алгоритмов аппаратно-программного средства, а автоматизация верификации сокращает трудоемкость разработки проектного решения.
Издательство
- Издательство
- НПО "МАРС"
- Регион
- Россия, Ульяновск
- Почтовый адрес
- 432057, Ульяновская обл, г Ульяновск, Заволжский р-н, ул Солнечная, влд 20
- Юр. адрес
- 432057, Ульяновская обл, г Ульяновск, Заволжский р-н, ул Солнечная, влд 20
- ФИО
- Маклаев Владимир Анатольевич (ГЕНЕРАЛЬНЫЙ ДИРЕКТОР)