多源信息融合的物联网图书馆机器人机械手定位研究.docx

基于视觉的物联网图书馆机器人机械手精确定位研究
杜明芳1，2 ，方建军1 ，王军政2
（1. 北京联合大学自动化学院，北京100101
2. 北京理工大学自动化学院，北京 100081）
摘要：从分析以机器人为核心的无人值守物联网图书馆的协同工作过程和自动化流程入手，设计了一种新型图书RFID电子标签数据格式，并将RFID电子标签数据信息与CCD传感器获取的机器人视觉信息相融合，提高机械手定位的鲁棒性。提出了一种图书馆机器人机械手模糊定位、分区定位、精确定位逐步组合的 “三步定位法”，将复杂的图书抓取定位问题转化为目标图书上某点世界坐标的求解问题。实验结果表明，该方法可使机械手实现精确定位及图书准确抓取。
关键词：图书馆机器人，机械手，物联网，机器视觉，RFID
文献标识码：A 中图分类号：TP273
A Research on the Accurate Position Method for the Library Robot Manipulator based on Machine Vision
Mingfang Du1,2, Jianjun Fang1, Junzheng Wang2
(1.College of Automation, Beijing Union University, Beijing 100101
2.College of Automation, Beijing Institute of Technology, Beijing 100081)
【Abstract】Firstly the cooperative work process and the automation work flow of the no man keeping watch library taking the robot as its central and using the internet of things technology are introduced in this paper. A new data format of the RFID electronic label for books is designed, and the robustness of positioning of the manipulator is improved by the information fusion of the RFID label source and the CCD sensor source installed on the manipulator. A position method named ‘THREE STEPS’ by the combination of fuzzy position, area position and accurate position is advanced, and the complex books positioning and grasping question is transformed into the world coordinate solving question of some point on the objective books. The experiment result has proved this method can help the manipulator realize the accurate position and rapid grasp.
【Key Words】Library robot, Manipulator, Internet of things, Machine vision, RFID
目前，世界上成功应用图书馆机器人的有德国洪堡大学、美国犹他州大学、日本早稻田大学等，这些图书馆机器人的应用大大节省了图书管理成本，同时使读者借还图书更加便捷。2002年，美国约翰斯·霍普金斯大学的Jackrit Suthakom等人在其发表的文章中详细描述了图书馆机器人系统及其六自由度机械手的设计与控制软件编制法，但未涉及到机器视觉[1]。同年，新加坡的Kho Hao Yuan等人研究了基于RFID技术的无人图书馆系统[2]。2008年，D. J. Lee对书脊特征匹配问题展开了深入研究并在第4届IEEE自动化科学与工程国际会议上发表相关论文[3]。我国在物联网图书馆机器人研究方面的工作相对滞后，尤其是在图书上下架时如何利用机器视觉进行机械手的精确定位方面还有很大研究空间，这也是图书馆机器人系统设计中的难点。
1 图书馆物联网系统设计
1.1 以机器人为核心的系统
本文将物联网无人图书馆看作一个系统，该系统由以下实体元素组成：图书管理信息系统、书架、书、机器人。以机器人为核心，它在无人图书馆中与其他对象（读者、馆员、书架）协同工作，共同完成图书管理工作，协同工作示意图如图1所示：
馆员
读者

新书入库
旧书剔除
自助借还

图书馆机器人

图书清点和整理

书架

图1 图书馆机器人协同工作示意图
系统中的机器人是一种轮式移动机器人，机器人主体是一个自动引导车(Automatic Guided Vehicle,AGV)，车上安装有机械手臂，机械手臂前端装有摄像头和RFID读写器。图书馆内道路按照馆藏类型划分成多个区域，每个区域有相应的路面标志，车载无线图像采集模块获得路面标志图像并通过无线网络传送给上位机，上位机程序进行图像处理，并计算AGV控制参数，再通过无线网络发送至机器人主控制器调速系统，实现PWM直流电机调速控制[4-6]。
1.2 RFID电子标签设计
为每一本书贴上一个RFID电子标签，作为该书在图书馆中唯一的身份标识，标签中保存有特定格式的电子数据，本系统设计的书RFID电子标签数据格式为：“书库号+书架号+书架层号+书架层内绝对位置号+书架层内区间相对位置号+书架总数+书架总层数+层内书总数”。其中，“书架层内绝对位置号”是书在书架某层内的位置序号，书上架前按照在某层内的摆放顺序依次编号，该编号反映了书在某层内的绝对位置，序号从1开始，一直到“层内书总数”结束，此序号是引导机械手定位的重要参数之一。 “书架层内区间相对位置号”是为与视觉识别相结合特意设置的。为借助视觉识别达到机械手精确定位，将一个书架在横向上划分成若干个区间，区间的划分以机械手摄像机能清晰拍摄并能识别出当前区间中的每本书为依据，这是在无人图书馆系统投入运行前就需要完成的标定工作。通过这种RFID电子标签数据格式设计，可使图书馆中具有流动属性的每一本图书都具有一个空间上固定的唯一标识，即在空间中书具有固定的属性，正是利用这一点，机器人可实现对书的准确定位与查找。
1.3 无人图书馆自动化流程剖析
在图书馆机器人的核心作用下，无人图书馆中主要存在着以下3个自动化流程：
（1） 自助借书流程
读者有借书需求时，将此需求输入到图书管理信息系统，由此引发图2所示信息流发生：
图书管理信息系统

引导
运用视觉
取书
书
机器人
书架
借书
指令

机器人搬运

读者

图2 自助借书流程
（2） 自助还书流程
与自助借书流程相逆。信息流如图3所示：
① 引导
图书管理信息系统

机器人
用RFID识别书
待还书
书架
还书
结果

② 机器人搬运书

③ 运用视觉完成
图书上架

图3 自助还书流程
机器人靠自身安装的RFID读写设备读取待还书的RFID标签内容，将此信息通过无线网络传送给书架，书架引导机器人进入待还书应归入的区域，机器人完成书的搬运并利用视觉系统完成书的上架。
（3） 图书入库
图书管理信息系统通知书架确定空闲位置给待入库图书，引导机器人将图书放到指定位置。
2 机械手的模糊定位
视觉识别系统是图书馆机器人的重要子系统，其性能的优劣直接关系到机器人机械手臂抓取图书的准确性和效率。以自助借书为例，本系统实现图书视觉识别的方法是：当机器人被引导进入到目标书架所在区域后，机械手臂上的读写器受控发出微波查询信号，目标图书上的电子标签收到读写器的查询信号后，将此信号与标签中的数据信息合成后反射回机械手臂读写器。反射回的微波合成信号携带有目标图书电子标签数据信息，即目标图书所在的书库号、书架号、书架层号、书架层内绝对位置号及书架层内区间相对位置号，这些信息被读写器内部的微处理器处理后分离读取出来，机械手控制程序根据分离出的数据计算出目标图书所在的“模糊位置空间”，引导机械手移动到相应的位置。
对书架中目标图书上的一点B，设：
（XwB，YwB，ZwB，1）T 为B在世界坐标系中的齐次坐标；
（XcB，YcB，ZcB，1）T 为B在摄像机坐标系中的齐次坐标；
（xB，yB）为B在成像平面坐标系中的坐标；
（uB，vB）为B在图像坐标系中的坐标。
各坐标系间的关系如图4所示：

成像平面坐标系
u
YC
Zw
目标图书

O0
智能书架

摄像机坐标系
. B(XwB，YwB，ZwB)

焦距f
x
XC

O1

B(xB，yB)
B(XcB，YcB，ZcB)
Yw

Ow
y
O

Xw

世界坐标系
图像坐标系
v
ZC

图4 目标图书模糊定位时坐标系关系
“模糊位置空间”的含义是：根据读取的世界坐标系中“书架层号”和“书架总层数”信息，机械手可被引导到达Zw向的确定位置；根据读取的世界坐标系中“书架层内绝对位置号”和“层内书总数”，机械手并不能被引导到达确定的Xw向位置，这是由于每本书的厚度是一个随机变量，无法准确计算出目标图书的位置，因此本文提出一种模糊计算方法，设：
P = 书架层内绝对位置号层内书总数
根据读取到的射频信息计算出P，即大致计算出一个Xw向世界坐标，此坐标反映了目标图书所在的位置区间，是一个固定数值。
存在如下映射关系：
（XcB，YcB，ZcB，1）T = Rt0T1（XwB，YwB，ZwB，1）T （式1）
式1中，R为3×3正交单位矩阵；t为三维平移列矢量；0 = （0，0，0）T。“模糊位置空间”即为（XwB，YwB，ZwB）T。
图像坐标系和世界坐标系之间的关系为：

ZcBuBvB1 = αusu00αvv0001RtXwBYwBZwB1 = KRtXwBYwBZwB1 = PXwBYwBZwB1 （式2）
式2中，f为摄像机的焦距，αu= f/dx， αv= f/dy，s = s'f，s'为摄像机成像平面坐标轴相互不能正交引出的倾斜因子。
Rt完全由摄像机相对于世界坐标系的方位决定，为摄像机外部参数矩阵；
K只与摄像机内部结构有关，为摄像机内部参数矩阵；
P为投影矩阵，即从世界坐标系到图像坐标系的转换矩阵。
若已知摄像机的内外部参数，就已知P。对目标图书上的一点B，若已知其（XwB，YwB，ZwB），就可求出其图像坐标（uB，vB）。但到目前为止，XwB不能精确确定。
3 机械手的分区定位
通过模糊定位中的坐标映射，机械手可移动到一个相对准确的目标位置，但要想实现精确抓取还需进一步确定横向世界坐标XwB的精确值。本文提出一种基于视觉的分区搜索法。首先将目标图书所在的书架某层划分成N（N为自然数）个视觉区间，一个视觉区间对应着摄像机一次所能拍摄到的最大有效图像范围，N需根据实际系统情况通过实验确定，一层书架的视觉区间序列表示为1/N，2/N，…，1。视觉搜索的步骤是：
1） 将机械手移动到“模糊位置空间”；
2） 根据P及N移动机械手到“确定位置区间”i/N处，i为自然数且1 ≤ i ≤ N；
3） 对“确定位置区间”上拍摄到的图像进行处理和识别；
4） 根据识别结果完成精确抓取操作。
需要说明的是步骤2中i的确定法，举例如下：设某层内图书总数为30本，目标图书在本层内的位置序号为5，则P = 5/30 = 1/6；又假设此时摄像机至少要分4次才可无重复的完整拍摄到整层书架上的书脊图像，即N = 4，则i = 1，i/N = 1/4，这意味着应将机械手移动到书架横向尺寸的第一个1/4处。若目标图书在本层内的位置序号为16，则P = 16/30 = 8/15，i = 3，机械手应移动到书架横向尺寸的第3/4处。
4 多源信息融合精确定位
依据分区定位中的方法可进一步缩小机械手的定位范围，但仍不能精确确定出机械手抓取图书时的摄像机横向坐标。这可以通过读取到的 “书架层内区间相对位置号”信息与当前图像信息相融合实现。
通过图像处理可检测出当前区间中每本书的书脊线段，设目标图书所在位置之前检测出的书脊线段共有M根，则意味着有（M-1）本书，这些书的厚度之和（摄像机坐标系中）可计算出来，该值就是横向摄像机坐标XcB。本系统采用Canny算子做书脊边缘检测，采用累计概率霍夫变换（PPHT）算法实现对书脊线段的查找，用VC++和OpenCV开发了视觉检测与识别程序，经多次实验，反复调整阈值，得出的比较理想的检测效果如图5所示：

（a）原始图像 （b）视觉书脊检测结果
图5 Canny- PPHT法书脊检测效果图
经程序处理，可去除干扰线段，分离出有效书脊线段，但从检测效果看，鲁棒性仍不是很强，因此想到与机械手读取到的RFID射频信号“书架层内区间相对位置号”相融合，增强识别的鲁棒性。
采用并行分布式融合检测架构，如图6所示：
区间书脊对象

s2
s1

CCD传感器
RFID射频信号

u1

u2

机械手控制器
（融合中心）

u0

机械手

图6 两类传感器融合定位机械手
图5中s1 、s2分别为RFID读写器读取的、CCD传感器检测到的目标图书在书架某区间内的相对位置序号，u1、u2分别为两类传感器向机械手控制器发出的决策值，机械手控制器作为融合中心利用最优融合准则做出最终决策u0，即是否将确定的横向摄像机坐标Yc输出给机械手。RFID射频信号“书架层内区间相对位置号”也可以将目标图书相对精确的位置告诉机械手，但Yc的确定仍需借助视觉检测结果，又考虑到系统实时性与快速性的要求，融合准则不宜太复杂，定为[7]：
0 ，存在判决为0的信息源
u0 =
1 ，所有信息源判决为1

即只有两类传感器判决出的目标图书在书架层内区间相对位置序号一致时，控制器才向机械手发出抓取操作指令，这样就大大降低了误操作率。实验效果表明，该方法是有效的。
5 结论
图书馆机器人机械手的精确定位问题实质上是如何利用传感器反馈信号准确引导机械手到达目标位置问题。实践证明，单纯依赖机器视觉或RFID射频识别技术，都不能使图书馆机器人机械手实现精确定位。目前一种比较先进的物联网图书馆方案是：为每一本书配备一个图书存储盒，每个盒上安装一个RFID标签，机器人的机械手上装有RFID读写设备，存储盒与书架（装有多个RFID读写设备）引导机器人定位，配合机器人完成图书识别。这种方法需要为每一本书都配备一个图书存储盒，所花费的代价比较大。本文所设计的图书馆机器人不要求为每本书都配备一个图书存储盒，而是充分利用视觉识别优势，并巧妙设计RFID电子标签数据格式，提出一种由模糊到精确定位的机械手定位方法，采用多源信息融合法提高定位的鲁棒性，实验结果表明，机械手可实现精确定位与快速抓取。

参考文献
[1] Jackrit Suthakom, “A Robotic Library System for an Off-Site Shelving Facility”, Proceedings of the 2002 IEEE International Conference on Robotics 8 Automation Washington. DC May 2002
[2] Kho Hao Yuan, Ang Chip Hong, Marcel Ang, Goi SiPeng，” UnManned Library: An Intelligent Robotic Books Retrieval & Return Sytem Utilizing RFID Tags”, 2002 IEEE SMC TA2Rl
[3] D. J. Lee, “Matching Book-Spine Images for Library Shelf-Reading Process Automation”, 4th IEEE Conference on Automation Science and Engineering Key Bridge Marriott, Washington DC, USA August 23-26, 2008
[4] 汪焰恩， 魏生民，王碧辉，无线传输的视觉引导式AGV系统[J]，西北工业大学学报， 2010, 30(1)
[5] 张立勋，沈锦华，路敦民，杨勇 ，AVR单片机实现的直流电机PWM调速控制器[J]，机械与电子，2004,(4)
[6] 孙俊，蒋昕怡，韩杰，曹飞龙，图书馆机器人行走控制系统设计[J]，中国电力教育，2009,(15)
[7] 杨露青，余华主编，多源信息融合理论与应用[M]，北京邮电大学出版社，2006年2月

项目支持：北京市“模式识别与智能机器人系统学术创新团队”项目（编号：PHR201107149）

作者简介：

第一作者:杜明芳，女，北京联合大学自动化学院讲师，北京理工大学控制科学与工程专业博士研究生，主要研究方向为图像处理与模式识别、智能机器人
E-mail：zdhtmingfang@

通信作者:方建军，男，北京联合大学自动化学院教授，博士，主要研究方向为机器视觉、智能机器人
E-mail：fangjj1947@

第三作者:王军政，男，北京理工大学自动化学院教授，博士，主要研究方向为军用机器人、图像分析与模式识别
E-mail：wangjunzheng@