В данной статье рассматривается проблема обнаружения дипфейков в мультимодальных данных. Предложен метод, основанный на архитектуре самообучающихся мультимодальных сетей (Self-Supervised MultiModal Versatile Networks), предназначенный для классификации видео на аутентичные и синтетически сгенерированные. Система анализирует три модальности: визуальную, аудиальную и текстовую (название видео). Для обработки видеопотока применяется временная модель TSM-50 (Temporal Shift Module), аудиоданные обрабатываются с помощью сверточной сети ResNet50 на основе спектрограмм, а текстовая информация преобразуется в векторное представление с использованием модели Word2Vec. Ключевой особенностью подхода является проекция специфичных для каждой модальности представлений в общее векторное пространство (Shared Space) с использованием методов контрастивного обучения - Noise Contrastive Estimation (NCE) для аудио и видео и Multiple Instance Learning with NCE (MIL-NCE) для текста. Объединенное мультимодальное представление подается на классификатор, который принимает итоговое решение о подлинности контента. Представленная система демонстрирует потенциал самообучения на немаркированных данных для решения актуальной задачи детекции дипфейков.
Традиционные методы оценки степени повреждения вмятин на автомобилях требуют привлечения квалифицированных экспертов, что является трудоемким и длительным процессом. Учитывая большое количество аварий, необходим надежный, автоматизированный и экономически эффективный подход к определению тяжести повреждений. Основная цель данной работы - применение современных методов обработки данных о повреждениях для минимизации ошибок, связанных с визуальной оценкой человеком. Как правило, автомобильные аварии характеризуются определенным набором параметров, которые играют ключевую роль в определении тяжести повреждений. Наша система использует метод трансферного обучения для извлечения признаков из изображений с помощью предварительно обученных моделей с целью прогнозирования степени повреждения автомобиля. Система начинает работу с извлечения выборочных изображений автомобилей, которые предварительно обрабатываются для устранения фона. Затем эти изображения передаются в предварительно обученные нейронные сети для тонкой настройки и извлечения признаков. На заключительном этапе вмятины классифицируются по степени тяжести на основе сравнения с предварительно размеченными образцами для достижения высокой точности прогнозирования. В результате многочисленных экспериментов и всесторонних испытаний предложенная система продемонстрировала способность определять степень повреждения автомобиля с общей точностью 96,34%, что превосходит существующие методы компьютерной классификации.