Cтатья посвящена использованию компьютерного зрения для автоматизации процесса выравнивания на конвейерной линии упаковок с пищевым содержимым в картонных коробках. Данный процесс необходим для предотвращения появления неплотно закрытых коробок вследствие неравномерного распределения их содержимого. Объектом исследования является комбинация стереосистемы и алгоритмов искусственного интеллекта, решающих задачу детектирования и позиционирования объекта по 2D-изображению для выравнивания дельта-манипулятором. Такой манипулятор создан специально для автоматизации процесса выравнивания содержимого упаковок. Для задачи позиционирования был реализован алгоритм детектирования объектов на изображении, работающий в режиме реального времени. Обнаруженные 2D-участки изображения транслируются на стереосистему, формируя частичные карты глубин. Результатом является быстрый и точный алгоритм получения 3D-координаты объекта. Для определения текущего состояния содержимого упаковки и оптимизации количества операций выравнивания был реализован бинарный классификатор, который сообщает системе два типа статуса: объект выровнен, объект не выровнен. Для решения задачи собран специальный набор данных, состоящий из последовательности изображений частотой 30 кадров в секунду и протяженностью 1 час. В этом наборе на каждом изображении были размечены прямоугольными рамками упаковки с пищевым содержимым и отмечено их состояние - упаковка выровнена или нет. Для разметки использовалась программа с открытым исходным кодом LabelImg, предоставляющая графический интерфейс для разметки изображений, которая используется в дальнейшем обучении. Кроме того, создана программа, реализующая предложенный алгоритм на языке Python 3.6 с использованием интегрированной среды Jupyter Lab для операционной системы Ubuntu 18.04. Приведены результаты эксперимента по использованию предложенного алгоритма для оценки 2D-позиции объекта и текущего состояния детектируемого объекта. Для оценки качества алгоритма использованы метрика общей средней точности обнаружения объектов, а также метрики классификации - точность и полнота для задачи определения статуса содержимого упаковки.
Для выравнивания полуфабрикатов на скоростной конвейерной линии разработана система автоматического управления, ключевое место в которой занимают робот-манипулятор ДР-1 и рабочий орган, осуществляющий надавливание и оказывающий вибрационное воздействие. Система создана для повышения эффективности линии и снижения доли брака. В ее состав входят бортовой микроконтроллер STM32F407VG (тактовая частота 168 МГц, 192 Кб ОЗУ, 1 Мб ПЗУ) и управляющий компьютер на базе процессора Intel Atom (4 Гб ОЗУ, 32 Гб ПЗУ). Для микроконтроллера разработано ПО на языке программирования С++14 в среде CubeIDE. Операционная система реального времени FreeRTOS используется для обработки микроконтроллером нескольких задач в псевдопараллельном режиме: управление электродвигателями, обработка данных с датчиков, взаимодействие с управляющим компьютером. Для управляющего компьютера реализовано ПО на языке программирования С++11, используется операционная система Linux Ubuntu 18.04 LTS, программная платформа ROS. Управляющий компьютер предоставляет оператору системы автоматического управления интерфейс, написанный на языке программирования Python с использованием библиотеки KivyMD. Однако наиболее интересная часть ПО - решение задач прямой и обратной кинематики для дельта-манипулятора и алгоритм выравнивания полуфабрикатов. Задачи прямой и обратной кинематики являются решенными в общем виде. Приводятся особенности их реализации для робота-манипулятора ДР-1. Для формализации алгоритма выравнивания полуфабрикатов проводились эксперименты. Было необходимо выполнить около 110 выравниваний в минуту, а это требовало поиска наиболее эффективной траектории перемещения рабочего органа. В статье приводятся результаты испытаний ПО системы автоматического управления. Рассматриваются различные случаи расположения коробок с полуфабрикатами. Оцениваются сохранность полуфабрикатов и упаковки и эффективность рассматриваемого алгоритма. Применение предложенного ПО системы автоматического управления позволило повысить производительность линии и сократить долю брака.