В настоящей статье исследуются существующие научные труды, связанные с графовыми нейронными сетями, такими как Graph Convolution Network (GCN, сверточная графовая нейронная сеть), Graph Attention Network (GAT, графовая нейронная сеть с механизмом самовнимания), Graph Sage, Physics-Informed Neural Networks (PINN, физически информированная нейронная сеть), и методы численной оптимизации, основанные на вычислениях производных: градиентный спуск, стохастический градиентный спуск, метод Ньютона, Adam, AdamW, AdaGrad, метод роя частиц, квазиньютоновский метод численной оптимизации L-BFG S. Рассматриваются различные архитектурные подходы при моделировании таких нейронных сетей, как полносвязные нейронные сети (FCNN), сверточные нейронные сети (CNN), нейронные сети, основанные на архитектуре глубокого нейронного оператора (DeepONet), их плюсы и минусы, сферы жизнедеятельности, в которых они применимы, например, рекомендательные системы и задачи комбинаторной оптимизации. Также определяются основные положения, связанные с методами численной оптимизации, которые используются для обучения созданных моделей, выделяются их сильные и слабые стороны и вариации, направленные на улучшение качеств того или иного метода. Цель работы – уточнение, систематизация и анализ объема существующей научной литературы в выбранных областях для определения возможности переосмысления и развития существующих методов численной оптимизации с использованием моделей на основе графовых нейронных сетей.