Статьи

Объектом исследования является технология федеративного обучения, которая позволяет осуществлять коллективное машинное обучение на распределенных обучающих наборах данных без их передачи в единое хранилище. Актуальность данной технологии обусловлена, с одной стороны, давно растущим трендом на использование машинного обучения для решения множества прикладных задач, а с другой - ростом запросов, в том числе законодательных, на приватность и обработку данных ближе к источнику или непосредственно на нем. Основными проблемами при создании систем федеративного обучения являются отсутствие гибких фреймворков для различных сценариев федеративного обучения: большинство существующих решений сосредоточено на обучении искусственных нейронных сетей в централизованной вычислительной среде. Предмет исследования - универсальная архитектура фреймворка для разработки прикладных систем федеративного обучения, позволяющая строить системы для разных сценариев, различных параметров и топологий вычислительной среды, моделей и алгоритмов машинного обучения. В статье рассмотрена предметная область федеративного обучения, даны основные определения и описан процесс федеративного обучения, приведены и разобраны различные сценарии возможных прикладных задач. Проведен анализ наиболее известных на данный момент фреймворков федеративного обучения, а также их применения для возможных сценариев использования. В качестве результата описана архитектура универсального фреймворка, который, в отличие от существующих, может быть использован для разработки прикладных систем федеративного обучения разного типа и разных сценариев использования.

В статье представлена формальная модель многоагентных систем для федеративного обучения. Концепция федеративного обучения очень близка к многоагентным системам, поскольку агенты позволяют обучать модели машинного обучения на локальных устройствах, сохраняя при этом конфиденциальную информацию. Возможности агентов взаимодействовать друг с другом позволяют обобщать (агрегировать) такие модели и повторно их использовать. В работе описываются взаимодействие и координация агентов, которые должны осуществляться с учетом стратегий обучения: последовательно, когда модель обучается по очереди на каждом узле; централизованно, когда модели обучаются параллельно на каждом узле и агрегируются на центральном сервере; децентрализованно, когда обучение и агрегация выполняются на каждом из узлов. Выделены основные типы агентов, необходимые для выполнения полного цикла федеративного обучения: принимающий задачу от пользователя, собирающий информацию о среде, выполняющий планирование обучения, выполняющий обучение на узле с данными, предоставляющий информацию и доступ к данным, осуществляющий агрегацию моделей. Для каждого из агентов определены основные действия и типы сообщений, которыми они обмениваются. Проанализированы и описаны конфигурации размещения агентов для каждой из стратегий федеративного обучения. На основе предложенной формальной модели можно осуществлять разработку многоагентных систем, используемых для задач федеративного обучения, а на основе выделенных типов агентов и видов сообщений - платформы агентов, сами агенты и протоколы их взаимодействия.