О применении причинно-следственных моделей в тестировании систем машинного обучения (2024)

Верификация систем машинного обучения – это сложная задача, предполагающая анализ взаимозависимостей между частями системы. Для тестирования таких систем представляется перспективным применение метода тестирования инвариантами (метаморфное тестирование, metamorphic testing). В данной работе предлагается использовать причинно-следственные модели для анализа причин невыполнения тестовых инвариантов (метаморфных соотношений, metamorphic relations), заданных для исследуемой системы машинного обучения. В результате расчета оценок влияния, рассчитанных на основе модели, могут быть определены компоненты, оказывающие наибольшее влияние на нарушения тестовых инвариантов. Приоритетное исправление ошибок в этих компонентах помогает уменьшить степень нарушения инвариантов. Применимость и полезность метода показана на примере многокомпонентной системы искусственного интеллекта для создания персонализированных стикеров.

Тип: Статья
Автор (ы): Якушева С. Ф., Хританков Антон Сергеевич
Ключевые фразы: тестирование инвариантами, причинно-следственные модели, тестирование сложных систем

Идентификаторы и классификаторы

УДК
004.054. Тестируемость, оцениваемость
Текстовый фрагмент статьи