Статья: О применении причинно-следственных моделей в тестировании систем машинного обучения

Верификация систем машинного обучения – это сложная задача, предполагающая анализ взаимозависимостей между частями системы. Для тестирования таких систем представляется перспективным применение метода тестирования инвариантами (метаморфное тестирование, metamorphic testing). В данной работе предлагается использовать причинно-следственные модели для анализа причин невыполнения тестовых инвариантов (метаморфных соотношений, metamorphic relations), заданных для исследуемой системы машинного обучения. В результате расчета оценок влияния, рассчитанных на основе модели, могут быть определены компоненты, оказывающие наибольшее влияние на нарушения тестовых инвариантов. Приоритетное исправление ошибок в этих компонентах помогает уменьшить степень нарушения инвариантов. Применимость и полезность метода показана на примере многокомпонентной системы искусственного интеллекта для создания персонализированных стикеров.