В данной статье рассматривается проблема обнаружения дипфейков в мультимодальных данных. Предложен метод, основанный на архитектуре самообучающихся мультимодальных сетей (Self-Supervised MultiModal Versatile Networks), предназначенный для классификации видео на аутентичные и синтетически сгенерированные. Система анализирует три модальности: визуальную, аудиальную и текстовую (название видео). Для обработки видеопотока применяется временная модель TSM-50 (Temporal Shift Module), аудиоданные обрабатываются с помощью сверточной сети ResNet50 на основе спектрограмм, а текстовая информация преобразуется в векторное представление с использованием модели Word2Vec. Ключевой особенностью подхода является проекция специфичных для каждой модальности представлений в общее векторное пространство (Shared Space) с использованием методов контрастивного обучения - Noise Contrastive Estimation (NCE) для аудио и видео и Multiple Instance Learning with NCE (MIL-NCE) для текста. Объединенное мультимодальное представление подается на классификатор, который принимает итоговое решение о подлинности контента. Представленная система демонстрирует потенциал самообучения на немаркированных данных для решения актуальной задачи детекции дипфейков.
В современном мире существует необходимость в автоматизации процесса взаимодействия организаций с клиентами. Интернет-пространство позволяет в этом достичь хороших результатов через применение различных моделей электронного бизнеса. Правильный выбор модели и способа её реализации приведет к высокому уровню интеграции и взаимодействия организации с клиентами. В данной работе рассмотрены вопросы выявления требований к web-сервису для планирования закупок и продаж текстильного предприятия. Проектируемый web-сервис будет иметь следующие функциональные подсистемы: управления пользователями и ролями, управления закупками, управления продажами, отчетности и аналитики. Проектируемый web-сервис будет важным инструментом для успешной работы предприятия, обеспечивая эффективную продажу товаров, улучшенное взаимодействие с клиентами и оптимизацию бизнес-процессов.