Комплект Arducam Camarray HAT объединяет четыре камеры на сенсорах IMX477 и плату синхронизации UC-512 для подключения к одному интерфейсу MIPI CSI-2 вычислительной платформы. Оборудование предназначено для машинного зрения: навигации роботов, отслеживания целей, измерения глубины и пространственной реконструкции. Синхронизированное получение изображений позволяет использовать кадры с нескольких камер при анализе одной сцены.
Каждый камерный модуль имеет разрешение 12 МП, максимальный размер изображения составляет 4056 x 3040 пикселей. Сенсор оптического формата 1/2,3 дюйма использует пиксели размером 1,55 x 1,55 мкм. При выборе режима съёмки разработчик может ориентироваться на детализацию объектов или частоту обновления кадров. Такой выбор требуется при переходе от регистрации неподвижных деталей к наблюдению за перемещающимися объектами.
Плата Camarray HAT принимает сигналы четырёх камер MIPI и передаёт данные через один двухлинейный выход CSI-2 со скоростью 1,0 Гбит/с на линию. Предусмотрены выходные форматы RAW8 и RAW10. Комплект занимает один камерный интерфейс основной платы, что позволяет построить многокамерную систему на платформе с соответствующим подключением. Для агрегатного режима указано разрешение 1/4, которое необходимо учитывать при организации обработки изображений.
На Raspberry Pi доступны режимы 1332 x 990 при 60 кадрах/с, 2028 x 1080 при 25 кадрах/с и 2028 x 1520 при 20 кадрах/с. Съёмка 4056 x 3040 выполняется с частотой 5 кадров/с. Режим с частотой 60 кадров/с подходит для наблюдения за движением, когда требуется чаще получать изображения сцены. Максимальное разрешение применимо к задачам, в которых приоритетом служит детализация отдельного кадра.
Для программной интеграции с Raspberry Pi предусмотрена нативная поддержка libcamera и использование официального алгоритма настройки камеры. Аппаратная обработка ISP поддерживается только на Raspberry Pi. Это различие необходимо учитывать при переносе приложения между вычислительными платформами: доступность обработки изображения зависит от выбранной системы. Программную среду проекта следует подбирать с учётом поддержки используемой платы и требуемого режима получения кадров.
Совместимость с NVIDIA Jetson охватывает Jetson Nano и Jetson Xavier NX. Частота кадров определяется используемой веткой L4T: при разрешении 2028 x 1080 для L4T 32.x указано 25 кадров/с, для L4T 35.x указано 15 кадров/с. Поэтому режим получения изображений следует выбирать вместе с программной средой проекта. Для L4T 35.x заявлена поддержка SDK JetPack 5.x и более поздних версий; требуется последняя версия прошивки CamArray Kit.
В робототехнической системе синхронизированные изображения могут использоваться для навигации и измерения глубины. При отслеживании целей комплект предоставляет изображения объекта с нескольких камер для последующей обработки на Raspberry Pi или Jetson. В измерительном стенде такой набор применим для 3D-измерений и 3D-реконструкции: данные нескольких ракурсов служат исходным материалом для алгоритмов определения пространственной структуры сцены. Получение результата зависит от программной обработки изображений.
Оптическая часть включает объективы M12 с эффективным фокусным расстоянием 3,9 мм и относительным отверстием F/2,8. Встроенный ИК-фильтр ограничивает применение камер видимым светом. Указанный горизонтальный угол обзора 75° относится к камере RPi формата 1/4 дюйма, поэтому при проектировании расположения модулей этот параметр необходимо соотносить с условиями его определения. Размер каждого камерного модуля составляет 24 x 25 мм.
При размещении комплекта в корпусе необходимо предусмотреть место для платы синхронизации размером 65 x 56 мм и отдельных камерных модулей. Камеры подключаются комплектными шлейфами длиной 150 мм с разъёмами на 22 контакта с обеих сторон. Для соединения с вычислительной платформой предусмотрены шлейфы 15–22 контакта длиной 300 и 70 мм. Наличие двух длин позволяет выбрать подключение с учётом взаимного расположения плат внутри разрабатываемого устройства.
Технические характеристики
- Тип оборудования: комплект синхронизированных камер машинного зрения
- Количество камер: 4
- Модель сенсора: IMX477
- Разрешение камеры: 12 МП
- Максимальное разрешение: 4056 x 3040 пикселей
- Размер пикселя: 1,55 x 1,55 мкм
- Оптический формат сенсора: 1/2,3 дюйма
- Плата синхронизации: UC-512, Arducam Camarray HAT
- Синхронизация камер: поддерживается
- Поддерживаемые платформы: Raspberry Pi, NVIDIA Jetson Nano, NVIDIA Jetson Xavier NX
- Интерфейс камер: двухлинейный MIPI CSI-2
- Выходной интерфейс платы синхронизации: 1 порт двухлинейного MIPI CSI-2
- Скорость передачи данных CSI-2: 1,0 Гбит/с на линию
- Выходные форматы: RAW8, RAW10
- Поддержка ISP: только на Raspberry Pi
- Разрешение в агрегатном режиме: 1/4
- Режимы съёмки на Raspberry Pi: 1332 x 990 при 60 кадрах/с, 2028 x 1080 при 25 кадрах/с, 2028 x 1520 при 20 кадрах/с, 4056 x 3040 при 5 кадрах/с
- Режимы съёмки на NVIDIA Jetson: L4T 32.x: 4056 x 3040 при 5 кадрах/с, 2028 x 1529 при 20 кадрах/с, 2028 x 1080 при 25 кадрах/с; L4T 35.x: 4056 x 3040 при 5 кадрах/с, 2028 x 1520 при 15 кадрах/с, 2028 x 1080 при 15 кадрах/с
- Программная поддержка Raspberry Pi: нативная поддержка libcamera, официальный алгоритм настройки камеры
- Поддержка SDK NVIDIA для L4T 35.x: JetPack 5.x и более поздние версии
- Требование к прошивке для работы с L4T 35.x: последняя версия прошивки CamArray Kit
- Спектральная чувствительность: видимый свет, встроенный ИК-фильтр
- Объектив: M12
- Эффективное фокусное расстояние: 3,9 мм
- Горизонтальный угол обзора на камере RPi формата 1/4 дюйма: 75°
- Относительное отверстие объектива: F/2,8
- Габариты модуля камеры: 24 x 25 мм
- Габариты платы синхронизации: 65 x 56 мм
- Области применения: навигация роботов, отслеживание целей, 3D-измерение, 3D-реконструкция, измерение глубины
