基于3D图像识别技术的智能镜的设计与实现_黄煜琳.pdf

辽宁科技学院学报第 25 卷文章编号:1008 3723(2023)03 036 03doi:10 3969/j issn 1008 3723 2023 03 010基于 3D 图像识别技术的智能镜的设计与实现黄煜琳，吴艳，王鑫，王宣豪(辽宁科技学院 电气与自动化工程学院，辽宁 本溪 117004)摘要:镜子是人类日常生活用品之一，随着时代的发展，现代科学技术的进步，智能化“魔镜”逐步走进人们的生活。该设计主要利用 3D 图像识别、辨识影像、机器学习等技术，实现“挥挥手”就能试衣和居家健身等多功能，省去了传统繁琐的试衣过程，给人们带来真实、准确的体验，同时也解决了居家健身动作不标准而留下安全和健康隐患的痛点。关键词:3D 图像识别;红外感应;AI 人体动态传感器;无线传输中图分类号:TP391文献标识码:A0引言镜子是人类日常生活用品之一，早在旧唐书魏徵传 一书中就有言:“以铜为镜，可以正衣冠。”普通镜子可以用来整理自己的仪表，但其功能单一，有使用局限，目前市面上热卖的化妆镜虽然能根据环境的变化进行一定的补光，但是也仍然无法为人们的生活提供切实的便捷。文章设计了基于利用3D 图像识别、辨识影像、机器学习等技术建立人体图像数据库与物联网技术相结合，具有显示时间、实时天气、AI 智能试衣、健身纠错、手机互联等多项功能，为使用者提供了便利、省时、高效的生活条件 1。1智能镜子的功能介绍基于物联网等相关技术设计的智能镜子主要功能包括 AI 试衣与健身纠错。无论是在实体店还是网络平台购买衣服都有很多的不便利，实体店购买衣物时需要在试衣间里繁琐的试穿衣服，同时在试衣间里也存在一些隐形的不安全因素;网络平台购买衣服时，客户看不到上身效果，全凭感觉购买而承担着更大的退货风险。AI 试衣功能解决了此类问题，其可以根据试穿者的姿势变换而改变衣服的形状，产生一种即视效果，与实体试穿衣服感觉完全一致，为客户提供直观的帮助。同时智能镜子内置专家库，可以实现专业指导效果，其利用人体解析或分割算法获得人体分割图，其中不同的区域代表人体不同的部位，对运动角度、姿势以及强度进行科学的收稿日期:2022 11 15基金项目:2022 年辽宁科技学院课程思政示范课程建设项目;2021 年辽宁科技学院本科教学改革研究项目;2023 年校级大学生创新创业计划项目“魔镜 mirror”(202311430089)作者简介:黄煜琳(2002 )，女，辽宁营口人，辽宁科技学院电气与自动化工程学院学生通讯作者:吴艳(1975 )，女，辽宁本溪人，副教授，硕士 研究方向:人工智能指导与纠错。2智能镜子的关键性技术智能镜子的实现主要应用 3D 图像识别技术，该技术利用 3D 深度相机技术和红外感应准确捕捉人在空间中的位置2。3D 深度传感摄像机与红外传感器结合对图像的采集、显示更加精准。红外传感器通过红外发射器发射不可见光线，通过扩散板分布在被测空间中，光照射到人体时，形成反射斑点，另一个红外相机记录下这些斑点，并使用芯片创建具有深度信息的 3D 图像。3D 图像识别后还需要两种技术实现人形捕捉:辨识影像技术、机器学习技术。(1)辨识影像技术:智能镜将检测到的 3D 图像信息，传入追踪系统，系统通过分析得出动作指令。智能镜只能同时识别一个人的动作，跟踪头部、胳膊、腿部等身体部位，从而实现全身体感操作。(2)机器学习技术:为了使智能镜体感装置能够更好地识别用户的动作，还应用了机器学习技术实现了人体运动图像数据库的建立，使智能镜体感装置能够更准确地识别用户的身体动作。3智能镜子的设计与实现3 1智能镜子的外观设计智能镜子在外观上设计区别于传统的试衣镜，从外形、色彩的搭配等角度考虑，尤其是遵从相对年轻的一些消费群体的审美，其外观如图 1 所示。图 1智能镜子外观设计63第 25 卷第 3 期2023 年 6 月辽宁科技学院学报JOUNAL OF LIAONING INSTITUTE OF SCIENCE AND TECHNOLOGYVol 25No 3Jun20233 2智能镜子硬件部分设计智能镜的设计主要硬件包括主控板、显示器、镜面玻璃、体感摄像头等。在细节的选择与处理上，基于智能镜对时钟同步以及无线网络数据等方面的需求考虑，选择了 2520 晶振和 3225 晶振3。同时为保证视频播放的流畅度选择了较为高端的 6 核 CPU搭载 4 G+16 G 内存。CPU 与内存条的结构如图2、图 3 所示。图 26 核 CPU图 3内存条3 3智能镜的功能设计在试衣功能上，红外感应技术捕捉人的轮廓，手势控制技术进行接触选择，根据人与镜子的距离和用户的三维数据将衣服穿在身上，同时还可以将镜子上的数据传输至手机 APP;在健身功能上，在镜里安装深度摄像头和传感器等，通过摄像头和传感器对人体的运动进行跟踪，实现人体关节的视觉识别，在此基础上，实现健身指导服务。系统主要包括(1)感知层:传感器、单片机;(2)传输层:Wi Fi 无线传输技术;(3)应用层:数据监测终端。本项目的具体设计思路如图 4 所示。图 4项目设计思路图3 4整体方案设计智能镜的三色调光功能采用 PWM 调光，PWM调光结构简单、不偏色、省电、发热低，不依靠改变功率而是通过占空比来发光，基于此选择 OC7141LED线性降压恒流驱动器，内置过热保护功能，有效地保护芯片和外接 MOS(Metal Oxide Semiconductor，金属氧化物半导体)管，输出的电流可调范围为9 mA 3 000 mA。灯的触摸芯片采用 BS814A 1触摸芯片实现，集成度高，外部组件少，方便与外部MCU 之间的通讯，减小了发生按键错误的概率。同时由于温差问题，水蒸气凝结容易造成镜子起雾，通过弱电加热减小温差，以达到去除镜面水雾的效果。智能镜通过连接 OpenWeatherMap 来显示时间、日期、天气等，并可以实时显示、更新。当人们使用基于 3D 图像识别技术的智能镜子时，镜子通过 PID(Passive Infrared Detection，红外感应技术)捕捉人的轮廓和手势，然后通过触点选择，自动识别、测量站在虚拟试衣镜前用户的骨骼、身高、身体形态等各项身体参数构建使用者的三维人体模型。通过指定的标识和手势即可选择服装，智能镜上将呈现出本人换装后的立体效果图，服装会自动跟人体贴合移动，在智能体感试衣镜终端界面系统将引导用户试穿不同种类的衣服并实现服装搭配。用户不需要触摸屏幕就可以实现与魔镜的互动，让用户选择衣服并虚拟试穿。同时进行实时检测，搜集数据通过 Wi Fi 传输给数据检测终端。高清摄像头捕捉使用者的全身影像，与传感器取得的影像重合，系统中服饰的图片能够叠加到取得的影像上，使用者无论是前后还是左右摆动，都能与系统中的衣物完美贴合。智能镜通过对光束的遮挡和反射检测人体。光电开关将输入电流转换成光信号，接收器接收到有效的反射信号。主控 MCU(Microcontroller Unit，微型控制器)接收到有效电平，从而实现手势控制。为了提高抗干扰能力，采用音调解码器对红外反射信号进行有效过滤，处理后再发送到 MCU 进行处理。该系统利用 Kinect 获取骨骼坐标系，通过坐标数据的变化确定身体动作和图像数据，利用图像处理技术提取、计算和识别手部区域特征4。智能镜还可以实现雷达感应控制，雷达感应使用雷达模组判断人体与智能镜子的距离，雷达感应模块运用了多普勒原理，通过发射高频电磁波，处理后输出有效的高电平或低电平，MCU 通过检测电平可控制 LED 灯的开和关。雷达传感器嵌入智能镜子，同时安装 APP，可丰富镜子的功能。智能镜的核心技术为建模。3D 人物建模通过扫描人体采集信息，AI 对点实现表面重构，构建人体模型，同时将服装图片储存在计算机内部，通过网络与数字显示技术将身体与图像结合，真实地呈现试衣效果。建模部分主要包括以下几个部分:人物模型设计、虚拟试衣场景设计、交互设计。在建模部分需要用到的主要引擎为 Vuforia A(Augmentedeality 开发中使用最广泛的平台，创建与对象和环境实际交互的 A 体验)和 Unity3D(一款由 UniteTechnologies 研发的跨平台 2D/3D 游戏引擎，被广辽宁科技学院学报第 25 卷泛用于实时三维动画等类型互动内容的综合型创作工具)。深度摄像头可以录入人体图像数据(包括面部、头发、肤色、手臂、身高、体重等特征)或对用户自行输入身体数据进行分析，用 Unity3D 生成对应的人物模型。智能镜子的试衣场景也十分重要，Unity3D 具有独特的场景功能，使用户在自己想要的场景中看到试穿衣物的效果，Unity3D 还可以真实高清的还原衣服的材质，提高了使用者的参与感。其特色之一是 GUI(Graphical User Interface 图形用户界面)让用户可以快速更换衣物，系统将各个部分快速组合到一起，形成一个完整的试衣场景，给予用户高效、真实的体验。本设计除了采用 3D 图像识别技术实现对信息采集的有效性提升之外，还用到了无线射频识别技术、人体感应技术、网络与数字显示技术、A 增强现实技术、影识像技术等，红外传感器(用来捕捉骨骼和轮廓)，深度传感器(用来测量人体与显示屏的距离)，三维动画建模，Unity3D 引擎，摄像头图像采集与传输，图像智能分析，人脸检测与识别，肢体动作检测与识别，手势检测识别，人体骨骼坐标数据提取等5 知识与技术。4结语本项目利用 3D 图像识别、辨识影像、机器学习、专家库等技术与物联网技术相结合，在镜子的传统功能之上增添了智能化AI 试衣、健身纠错、天气播报、自动除雾等。该设计在某种程度上摆脱了镜子单一功能的局限性，使之成为具有能动性、可交互的现代化智能工具，为智能家居乃至其他领域的研究提供了新的思路，改善现代生活的同时也创造了高效家居情景，为人们提供了舒适的生活服务。参考文献:1 徐爱婧，周捷 虚拟试衣系统关键技术研究 J 纺织科技进展，2020(3):28 32 2 何文鑫 基于 A 技术的数字校园的研究与实现 J 信息与电脑(理论版)，2021(2):247 250 3 邓长顺，牛兰杰，黄辉 主从同步晶振频率误差的卡尔曼收敛算法 J 探测与控制学报，2022，44(2):41 47 4 王东 机器学习与科学发现:以 AI Einstein 为例 J 自然辩证法通讯，2023，45(1):33 40 5 胡银亨 现代媒体信息技术 M 成都:电子科技大学出版社，2015Design and Implementation of Intelligent Mirror Based on 3D Image ecognition TechnologyHUANG Yulin，WU Yan，WANG Xin，WANG Xuanhao(School of Electronic and Automation Engineering，Liaoning Institute of Science and Technology，Benxi Liaoning 117004，China)Abstract:Mirror is one of the living goods in daily life With the development of the times and the progress of modern science andtechnology，intellectualized magic mirror has gradually become the pursuit of people Some main modern technologies have been ap-plied in design of the mirror，for example，3D image recognition，video identification，machine learning Many functions such as fittingand at home fitness are realized by waving，avoiding some traditional tedious fitting process The mirror can not only give people a re-al and accurate experience，but also solve safety and health problems caused by non standard daily workoutKey words:3D image recognition;Infrared sensing;Sensor of AI motion;Wireless transmission(上接第 41 页)参考文献:1教育部高教司“新工科”建设复旦共识 EB/OL (2017 02 18)2018 05 12 http:/www moe edu cn/s78/A08/moe 745/201702/t20170223 297122 html 2姜波 OBE:以结果为基础的教育 J 外国教育研究，2003，30(3):35 37 3王丹，覃志居，李功平，等 以能力为导向的航海技术专业应用型模块化课程体系研究J 开封教育学院学报，2019，39(2):103 105 4陆鑫 OBE 工程教育模式下课程教学设计研究 J 计算机教育，2017(10):135 139 5朱政宇，王忠勇，吴德佩，等 基于 OBE 理念的通信工程专业人才培养模式建构 J 教育教学论坛，2019(52):168 169 6徐晓飞，李廉，战德臣，等 新工科的新视角:面向可持续竞争力的敏捷教学体系 J 中国大学教学，2018(10):44 49 7 中华人民共和国教育部，国务院办公厅 关于深化产教融合的若干意见 EB/OL (2017 12 19)http:/www moe educn/jyb_xxgk/moe_1777/moe1778/201712/t20171219_321953 html83