基于RK3399的AI摄像头软硬件设计_周胜杰.pdf

24ELECTRONIC ENGINEERING&PRODUCT WORLD 2023.7$视觉处理电子产品世界Design设计应用&Application基于RK3399的AI摄像头软硬件设计Software and hardware design of AI camera based on RK3399周胜杰（深圳康佳电子科技有限公司，深圳518057）摘 要：本文设计一款基于RK3399方案的AI摄像头，主控采用瑞芯微RK3399，传感器索尼IMX335，摄像头通过USB接口直连电视，实现4K高清呈现。支持UVC协议，具有行人追踪功能。关键词：AI摄像头；RK3399；IMX335；UVC协议随着智能电视的普及和家庭视频会议、家庭娱乐健身的需求,本文开发了一款基基于 RK3399 方案的 AI摄像头,通过 USB 连接线直连智能电视,即可实现 AI摄像头和智能电视连接,满足人们家庭视频会议、家庭娱乐健身的需求,AI 摄像头应用系统见图 1。AI摄像头智能电视USB数据线线图1 AI摄像头应用系统框图1 整机系统方案整体系统方案将索尼 IMX335 采集图像信息输入到海思 RK3399 中,RK3399 对图像进行编解码后经过 USB 接口输入到电视,电视显示图像,并通过 IO 口控制电机,实现AI 摄像头的升降。为了防止升降电机体验效果不佳,预留反馈电路,整机系统方案见图2。2 硬件系统设计硬件主控采用 RK3399 方案,传感器使用索尼 IMX335,硬件系统框图见图 3。RK3399 芯 片 是 一 款 低 功 耗、高 性 能的 处 理 器,集 成 双 核 Cortex-A72+四 核Cortex-A53 CPU,集成 ARM NEON 技术,可增强较多的多媒体应用体验。另外集成高性能Mali-T860 MP4 GPU,嵌 入 式 3D GPU 使 RK3399 完全 兼 容 OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和 DirectX 11.1,并且带有 MMU 的专用二维引擎将最大限度地提高显示性能并提供非常平稳的操作。RK1608 用于对MIPI CSI 信号进行 DSP 加速等预处理。方案支持各主流的多媒体解码、USB3.0、SD3.0、TYPE C 信源输入；视频解码支持 H.264/H.265/VP9 等,支持 H.264/MVC/VP8 1080P30HZ 视频编码,同时可支持多屏异显。智能电视USBI/O主控RK3399SensorIMX335DDREMMC时钟电源MCUABOV.1911驱动IC电机预留反馈电路图2 整机系统方案 2023.7电子产品世界设计应用视觉处理Design&Application索尼传感器芯片 IMX335 是一款 CMOS 固态的有源像素型图像传感器。芯片内部有模拟电压、数字电压和IO电压3种类型,其中模拟电压2.9 V,数字电压1.2 V,IO 电压 1.8 V。它具有无污迹,低暗电流和高灵敏度等效果。IMX335 内置始终反馈电路,串行驱动电路,宽动态电路,12 位 A/D 转换器。3 软件系统设计软件采用 DB 架构方案。业务逻辑功能代码通过媒体处理抽象层调用平台芯片相关代码,根据编译选项编译对应平台芯片的实现。业务逻辑代码主要分为 Media,UVC,UAC,Upgrade 等模块;使用生产者消费者模式来处理图像帧数据,生产者与消费者之间通过帧队列进行数据交互,AI 摄像头软件框图见图 4。摄像头数据处理主要包括 Media模 块 和 UVC 模 块。Media 模 块 包含 YUV Service,Encode Service 和Media Manager。YUV Service:负责从 VPSS 获取 YUV 帧数据并放到 YUV 帧 队 列。Encode Service：负责从 VENC 获取 H264 帧数据放到 H264 帧队列。Media Manager:负责管理 YUV Service 及 Encode Service 的创建,初始化及销毁。并给外部其他模块提供分辨率切换,图像参数设置等接口。UVC 模块包括 UVC Event Service,UVC Data Service和 UVC Manager。UVC Event Service:负责从 V4L2 中获取解析 TV 端的 UVC 请求事件。比如打开关闭预览,设置分辨率等。UVC Data Service：负责从 H264 帧队列中获取帧数据,通过 V4L2 接口发送给 TV。UVC Manager:负责管理 UVC Event Service及 UVC Data Service 的创建,初始化及销毁。4 结束语本文硬件采用 RK3399 方案,软件采用 DB 架构,通过传感器采集图像,用 RK3399 编解码,通过 USB传输到智能电视显示。实验结果表明,本方案设计的AI 摄像头应用于家庭视频会议、家庭娱乐健身,得到消费者的一致好评。图3 硬件系统框图图4 AI摄像头软件框图