Статья: МУЛЬТИМОДАЛЬНЫЙ ПОДХОД К ОБНАРУЖЕНИЮ ДИПФЕЙКОВ НА ОСНОВЕ САМООБУЧАЮЩИХСЯ СЕТЕЙ (2025)

Читать онлайн

В данной статье рассматривается проблема обнаружения дипфейков в мультимодальных данных. Предложен метод, основанный на архитектуре самообучающихся мультимодальных сетей (Self-Supervised MultiModal Versatile Networks), предназначенный для классификации видео на аутентичные и синтетически сгенерированные. Система анализирует три модальности: визуальную, аудиальную и текстовую (название видео). Для обработки видеопотока применяется временная модель TSM-50 (Temporal Shift Module), аудиоданные обрабатываются с помощью сверточной сети ResNet50 на основе спектрограмм, а текстовая информация преобразуется в векторное представление с использованием модели Word2Vec. Ключевой особенностью подхода является проекция специфичных для каждой модальности представлений в общее векторное пространство (Shared Space) с использованием методов контрастивного обучения - Noise Contrastive Estimation (NCE) для аудио и видео и Multiple Instance Learning with NCE (MIL-NCE) для текста. Объединенное мультимодальное представление подается на классификатор, который принимает итоговое решение о подлинности контента. Представленная система демонстрирует потенциал самообучения на немаркированных данных для решения актуальной задачи детекции дипфейков.

Ключевые фразы: обнаружение дипфейков, мультимодальное машинное обучение, самообучение, контрастивное обучение, общее векторное пространство, temporal shift module, tsm, resnet, word2vec, noise contrastive estimation
Автор (ы): Сироткина Анастасия Сергеевна (Sirotkina A. S.), Сизова Ольга Владимировна (Sizova O. V.)
Журнал: СБОРНИК НАУЧНЫХ ТРУДОВ ВУЗОВ РОССИИ "ПРОБЛЕМЫ ЭКОНОМИКИ, ФИНАНСОВ И УПРАВЛЕНИЯ ПРОИЗВОДСТВОМ"

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Экономика
УДК
004.8. Искусственный интеллект
Для цитирования:
СИРОТКИНА А. С., СИЗОВА О. В. МУЛЬТИМОДАЛЬНЫЙ ПОДХОД К ОБНАРУЖЕНИЮ ДИПФЕЙКОВ НА ОСНОВЕ САМООБУЧАЮЩИХСЯ СЕТЕЙ // СБОРНИК НАУЧНЫХ ТРУДОВ ВУЗОВ РОССИИ "ПРОБЛЕМЫ ЭКОНОМИКИ, ФИНАНСОВ И УПРАВЛЕНИЯ ПРОИЗВОДСТВОМ". 2025. № 57
Текстовый фрагмент статьи
Будьте первым, кто начнет обсуждение

Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.