EISSN 2310-6018
Язык: ru

МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ МОДЕЛЕЙ ГЛУБОКОГО ОБУЧЕНИЯ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ТЕХНОЛОГИЧЕСКИХ ОПЕРАЦИЙ, КАК ПОСЛЕДОВАТЕЛЬНОСТИ ДВИЖЕНИЙ КИСТЕЙ РУК (2024)

В работе изучаются методы распознавания на видео специфического класса технологических операций ручного труда, который представляет собой последовательности движения кистей и пальцев рук. Технологическая операция здесь определяется как последовательность новых специфических символов жестового языка. Рассмотрены различные методы распознавания жестов на видео. Исследован двухэтапный подход: на первом этапе распознаются ключевые точки рук на каждом кадре с помощью открытой библиотеки mediapipe, на втором этапе покадровая последовательность ключевых точек трансформируется в текст с помощью обученной нейросети архитектуры трансформер. Основное внимание уделено обучению модели нейросети архитектуры трансформер на базе открытого датасета американского жестового языка (ASL) для распознавания предложений жестового языка на видео. Затронут вопрос применимости данного подхода и обученной модели ASL для распознавания технологических операций ручного труда с мелкой моторикой в виде текстовой последовательности. Полученные результаты могут быть полезны при исследовании трудовых процессов с быстрыми движениями и малыми отрезками времени в алгоритмах распознавания технологических операций ручного труда на видеоданных.

Тип: Статья
Автор (ы): Штехин Сергей Евгеньевич, Стадник А. В.
Ключевые фразы: ВИДЕОАНАЛИЗ ДВИЖЕНИЙ РУК, РАСПОЗНАВАНИЕ ЖЕСТОВ, РАСПОЗНАВАНИЕ ДЕЙСТВИЙ, глубокие нейронные сети, ТРАНСФОРМЕР, ТЕХНОЛОГИЧЕСКИЕ ОПЕРАЦИИ

Идентификаторы и классификаторы

УДК
004.896. Искусственный интеллект в промышленных системах. Интеллектуальные САПР и АСУ. Интеллектуальные роботы
eLIBRARY ID
67919955
Текстовый фрагмент статьи