Камера для компьютерного зрения: почему универсального варианта не существует

В промышленном компьютерном зрении камера — не просто источник видео. Она определяет, какую информацию система вообще сможет получить. Если нужная деталь не попала в кадр, смазалась при движении или слилась с фоном, нейросеть не восстановит то, чего нет на изображении.

Поэтому для разных задач мы используем разные камеры. Где-то достаточно стандартной IP-камеры. Где-то требуется высокая детализация, глобальный затвор или высокая частота кадров. Выбор зависит не от того, какая камера «лучше вообще», а от того, что именно нужно увидеть и в каких условиях.

Если сцена меняется медленно, объект хорошо освещён и нужный признак занимает достаточно места в кадре, стандартной камеры может быть достаточно. Например, для контроля присутствия объекта в зоне или для некоторых задач подсчёта не всегда нужны максимальное разрешение и высокая частота кадров.

Избыточные характеристики тоже имеют цену. Высокое разрешение увеличивает объём изображения и требования к передаче и обработке данных. Высокая частота кадров повышает вычислительную нагрузку. Мы не выбираем самую дорогую камеру по умолчанию: сначала определяем требования задачи, а затем подбираем конфигурацию.

У камер встречаются разные способы считывания изображения. Для промышленного применения важно понимать два распространённых варианта.

Rolling shutter считывает изображение построчно. Для неподвижной или медленно меняющейся сцены это часто приемлемо. Но при быстром движении объекта или вибрации камеры разные строки кадра могут соответствовать разным моментам времени. Геометрия предмета тогда выглядит искажённой: вертикальная деталь может наклониться, а граница объекта — сместиться.

Global shutter фиксирует изображение целиком в один момент. Он полезен при быстром движении, вибрации и в задачах, где важно сохранить геометрию объекта. Но глобальный затвор сам по себе не делает камеру лучшей для любого сценария: нужно учитывать разрешение, освещение, оптику, частоту съёмки и стоимость.

Высокое разрешение полезно, когда необходимо различать мелкие признаки или охватывать большую область без потери нужной детализации. Например, если контролируемый дефект занимает небольшую часть поверхности или в одном кадре нужно видеть и крупное изделие, и отдельные элементы на нём.

Но количество пикселей не гарантирует качество контроля. Влияют расстояние до объекта, объектив, угол съёмки, освещение, контраст, вибрация и размер нужного признака в итоговом изображении. Если дефект занимает слишком мало пикселей или скрыт бликом, более сложная модель может не решить проблему. Иногда нужно менять оптику, освещение или положение камеры.

Для быстро движущихся объектов важно не просто получать много кадров, а успевать снимать без критического смаза. Поэтому частоту кадров, выдержку и освещение подбирают вместе. Короткая выдержка уменьшает смаз, но пропускает меньше света; в таких сценариях может понадобиться более интенсивная и правильно расположенная подсветка.

Высокая частота кадров нужна, если объект быстро проходит контрольную точку или важное событие длится недолго. Для медленно меняющихся сцен она может оказаться избыточной. В некоторых задачах достаточно обрабатывать несколько кадров в секунду — при условии, что испытания подтверждают возможность обнаружить нужное событие в заданных условиях.

Камеру нельзя выбирать отдельно от оптики и условий съёмки. Один и тот же сенсор с разными объективами, ракурсами и освещением может давать совершенно разный результат.

Перед выбором мы выясняем:

• что требуется обнаружить или измерить;
• каков размер нужного признака и расстояние до объекта;
• насколько быстро движется объект и есть ли вибрация;
• какие есть блики, тени и ограничения по освещению;
• какая частота кадров и задержка необходимы;
• где будет стоять камера и в каких условиях она будет работать.

После этого можно выбирать камеру и проверять, достаточно ли получаемого изображения для задачи. Для некоторых сценариев подходят существующие IP-камеры. Для других нужен отдельный промышленный сенсор, другой объектив, подсветка или более жёсткое крепление.

В промышленной системе камера, вычислительное устройство и программное обеспечение образуют одну конфигурацию. Камера должна передать нужную информацию, Edge-устройство — обработать её с требуемой скоростью, а программный контур — превратить результат в понятное событие.

Поэтому для готового комплекта мы фиксируем проверенную конфигурацию под стандартную задачу. В заказном проекте подбираем камеру и остальные компоненты под условия конкретного объекта. Одинаковый комплект не будет одинаково хорошо подходить для проверки QR-кода, поиска мелкого дефекта и съёмки быстро движущегося предмета.

О том, как мы строим программную часть вокруг моделей и почему не привязываем ядро стека к одному детектору, рассказываем в статье «Собственный стек компьютерного зрения».

Если нужно оценить конкретную контрольную точку, можно начать с короткого видео текущего процесса. По нему предварительно оцениваются ракурс, освещение, видимость нужного признака и требования к оборудованию.

Нужна оценка задачи на вашем объекте? Обсудить пилот компьютерного зрения.