智能家居人机交互专项方案.doc

在智能家居试验室建设方案中，人机交互系统是一个相对比较独立系统。但它运行即需要其它子系统支持，同时也想高级服务提供依据。其中关键交互设备有家居机器人、智能手机、移动平板、智能视机、健康设备、遥控器、计算机等。
1家居机器人
1.1人机交互技术
在终端机器人中关键提供触摸显示和语音交互方法，并提供摄像头扩展接口，利于更高层次开发。
触摸显示交互是多媒体技术交互方法一个，其依靠于7寸触摸显示器进行操作界面实现和用户触摸输入。现在，在手机、平板等电子消费领域得到了很广泛应用。其有一个缺点是，触摸显示器安放在机器人机体结构中，属于机器人一部分，具体使用过程不是尤其方便。
语音交互是本设计中关键部分，是终端机器人和其它家电设备最大却别。经过自然语言交流，首先用户能够很方便使用机器人进行家庭中多种设备控制，其次其还能和老人对话，提供心理慰藉，或用于幼龄儿童教学。终端机器人中语音交互方案采取科大讯飞语音云平台进行高效开发。语音识别过程为：在当地进行语音采集，将采集信息发送到语音云端，当地接收来自云端识别结果在，然后进行智能处理；语音合成过程为：将要合成文本发送到语音云端，云端将语音信息返回到当地进行播放。科大讯飞云平台只是提供具体识别和合成，而怎么让语音识别更智能化则需要深入研究。
1.2系统硬件
1.2.1整体架构
电子芯片技术飞越发展，CPU处理关键处理和运算性能越来越强。基于最大化利用CPU能力、降低成本和降低系统能耗思想，本设计采取单处理关键，由Cortex-A8（S5PV210）统筹系统全部外设，进行设备控制和信息采集。对于外部设备，设备本身复杂程度和传输方法、传输速率上全部有不一样，所以在对系统设备进行选型时尽可能降低设备种类复杂程度。系统框架中定义了2种设备总线：USB总线和IO数据总线。USB总线用于数据传输量大、传输速率高复杂设备，IO数据总线则对应传输速率低简单设备。USB总线采取Hub形式进行多设备扩展。IO数据总线则采取抽象化和模块化思想设计，建立单独底层扩展系统，规范对应设备接口。系统从总线角度出发，将硬件分为2部分：底层扩展系统和上层Cortex-A8平台。
底层扩展系统关键用于传感器数据采集、机器人动力系统控制和情感控制，设备类型和控制较为简单。而上层Cortex-A8平台则是在关键控制器基础上搭载触摸显示器、用户按键接口、音频输出和USB类摄像头、Wi-Fi适配器、蓝牙适配器。
整体硬件架构图1

图1
1.2.1 Cortex-A8和S5PV210
ARM Cortex-A8 处理器是基于ARMv7-A体系结构，其设计关键面向高性能和低功耗。现在，其突出优势已经得到了市场认可，在智能手机、机顶盒、数字电视、打印机等终端设备中含有广泛应用。
Cortex-A8处理器关键特点以下：
1）128 位SIMD 引擎支持高性能媒体处理（NEON）；
2）优化1 级高速缓存和集成2 级高速缓存；
4）Thumb-2 技术，提升性能并节省指令存放空间；
5）动态分支估计，降低分支错误估计危害；
6）完整内存管理单元（MMU）；
7）Jazelle-RCT技术优化即时生产(JIT) 和动态自适应编译(DAC)；
8）高功效和高性能内存系统；
Mini210s开发板以Cortex-A8S5PV210为关键控制器。S5VP210是一款高效率、高性能、低功耗32为RISC处理器，其适适用于智能手机和平板电脑等智能终端。
S5PV210在Cortex-A8基础上拓展了多媒体方面性能，其包含很多强大硬件编解码功效，内置MFC（Multi Format Codec）、高性能PowerVR SGX540 3D图形引擎和2D图形引擎、IVA3硬件加速器、HDMIv1.3等多媒体相关处理模块。
S5PV210采取584引脚FCFBGA封装，含有丰富外围接口如TFT LCD控制器、摄像头接口、MIPI DSI、ATA接口、UART、24通道DMA、定时器、GPIO、USB Host 2.0、USB 2.0 OTG等。S5PV210同时含有丰富高质量外部存放接口，其DRAM支持LPDDR1、DDR2、LPDDR2，Flash/ROM支持NAND Flash、NOR-Flash、SRAM等。
S5PV210芯片结构图图2所表示。

图2 S5PV210芯片结构图

1.2.2 Mini210s开发平台
Mini210s是一款高性能高性价比Cortex-A8开发板，搭载三星S5PV210处理器，运行主频可高达1GHz，同时集成PowerVR SGX540高性能图形引擎。Mini210s开发板配置了512M DDR2内存和4G MLC NAND Flash，其外部应用接口很丰富如WM8960音频芯片、miniHDMI高清输出、USB2.0、CMOS摄像头、SDIO、矩阵键盘等接口（详见图4-15），其电源电路也支持低功耗待机省电模式。该款开发板提供开源Android2.3.1系统源码和Linux kernel源码，方便用户进行二次开发。同时其还提供方便易使用开发板烧写工具Superboot，缩短了系统开发周期。
依据终端系统功效设定要求，Mini210s开发板板载资源关键使用电阻触摸显示、USB OTG接口、音频接口三个部分。电阻触摸显示接口和7寸一线正确电阻触摸显示器连接，实现Android系统操作界面显示和触控操作检测。WiFi、蓝牙、USB摄像头等设备经过和USB HOST接口连接USB Hub完成基于USB设备设备扩展。音频部分采取I2S0接口，外接WM8960 CODEC解码芯片，提供声音输入和speaker输出（内置D类功放，能直接连接8Ω1W扬声器）功效。

图3 Mini210s接口布局

1.3服务内容
1.3.1 机器人动作及情感表示

图4 小优
机器人动作和情感是其和其它家居设备最关键区分，能够实现愈加好人机交互模式。
机器人动作关键包含2类，机器人正常行走和头部运动。行走控制是在2轮轮系结构上经过控制直流电机实现，机器人能够灵活地进行前进、后退、左右转等动作。头部运动关键包含了抬头和扭头动作，2个自由度均经过直流电机实现。机器人相关动作作为服务公布到智能家居服务网关，其它终端能够经过网关或直接网络连接实现机器人动作控制。
机器人情感表示是机器人智能性关键表现。其表现路径关键有三个方面：LED情感输出、机械动作和语音，经过三者结合向用户立体地展现了具体情感。

3.2.2 网络接入
网络是物联网关键基础之一，是物联网终端基础特征。物联网终端工作环境为一个家庭，其面积通常在几十到几百个平方米，所以在选择通信介质时需要选择覆盖面积较大、信号穿透力强网络通信方法。再则该终端在家庭中大多数情况出于运动状态，通信介质应选择无线类型。
现在，消费市场流行短距离无线通信方法关键有蓝牙和WiFi。蓝牙和WiFi技术全部是工作在全球通用2.4GHz ISM频段，有效处理了移动终端设备之间和和Internet通信。通常蓝牙技术有效通信距离为10m，新蓝牙标准4.0能够达成100m以上超长距离。WiFi有效通信距离则在几十米，发射功率足够大情况下能达成100m以上，足够覆盖整个家庭环境。另外，蓝牙传输速率较低，假如处理视频类数据时会出现延迟问题。所以，设计中使用WiFi作为机器人网络通信介质，连接局域网和互联网。为了方便WiFi模块驱动移植，设计中选择USB接口WiFi模块EDUP EP-8508GS。其采取REALTEK8188cus芯片，使用802.11n无线传输技术，传输速率高达150Mbps，内置高精密天线，传输稳定。另外，蓝牙通信在智能设备如手机、医疗健康类设备等中应用广泛，为了支持这类设备，终端系统使用USB接口蓝牙适配器提供蓝牙通信通道。

3.2.3 智能家居应用
在具体家居环境中，物联网终端首先作为设备对外公布自己服务，如动作相关服务、视频服务等（能够依据具体需求对其进行扩展），其它终端设备能够经过网络方法对其进行服务调用，其次终端能够经过网关调用其它设备所提供服务，比如家电控制实现。
服务调用实现依靠于家庭环境中网络环境，关键有2种模式：服务器模式和直接连接模式。具体网络结构图3所表示。
服务器模式依靠于现有家居PC网关，家居环境中多种设备和服务器网关进行连接，网关对设备统一进行管理。当需要控制其它设备时，设备从网关获取控制方法并将控制请求发送到网关，网关接收到请求后先判定目标设备正常后将控制请求发送到目标设备，目标设备接收请求并依情况进行响应。服务器模式优点是能够对设备进行统一管理，设备能够动态增减，但整体结构比较复杂，给家居环境增加了额外设备开销。
直接连接模式中各设备经过网络直接经过物理通信方法发送控制指令和数据直接抵达被控设备。因为直接连接模式没有网关对设备进行统一管理，所以在网络环境中必需对设备列表进行固化，不能实现设备动态添加。但此种模式技术实现简单而且没有额外开销。

图3智能家居网络结构图
物联网终端机器人对两种网络环境全部提供支持。智能家居控制时，终端经过WebService协议和网关通信，实现具体设备控制。同时终端也能够经过Wifi和家电控制终端直接连接，终端机器人经过socket通信传输控制指令，家电控制终端经过Wifi转RS232模块将socket信息转化为串口数据，处理模块接收控制指令后进行对应操作。终端机器人作为设备时，建立网络监听，接收对应控制信息即可进行响应
3.2.5 智能提醒及应用扩展
人到老年后伴随年纪增加记忆力不停退化，往往会出现遗忘需要完成事情或是忘记吃药等现象。针对这一老年人实际需求，物联网终端机器人含有智能提醒功效。用户依据需要经过语音命令或设置界面进行事件设定，设置内容关键包含时间和事件内容，当抵达预定时间时机器人将进行相关时间语音提醒并在Android系统窗口推送时间提醒消息。
智能提醒服务关键是基于时间、时间提醒应用，针对老人心理慰藉问题也能够开发语音相关诊疗软件。实际上，Android系统拥有很庞大应用APP商店，涵盖了健康、保健、娱乐、教育等多个方面，用户依据本身需求对应用程序进行定制，而且应用商店中绝大多数软件全部是能够无偿使用。对于部分专有性较强应用，开发者依据具体需求使用过Android SDK和相关工具即可开发。而且其上层应用开发几乎完全和底层硬件相独立，大大缩小了开发难度。也正是因为强大应用商店库和高效开发性，终端机器人实现选择搭载Android操作系统。

2智能手机
2.1 智能手机人机交互方法
智能手机作为物联网家居中一个关键智能终端，在人机交互上有多个表现方法。常见就有感应器、触摸屏、物理按键、加速度感应器、环境光线感应器、距离感应器、陀螺仪、指南针、GPS、摄像头、时钟、录音和常规数据输入口（2/3/4G数据、WIFI、蓝牙、数据线）。
（1）触摸屏
 触摸屏是大家所熟知命令输入设备，已经发展出全套多手指手势，用于自然命令输入。在智能手机上使用最多是点击、长按、横滑、拖动，以单指手势为主。两指以上手势并不太适合手机，因为常见持机方法是单手持机。多指手势比较适合平板电脑。
（2）传感器
现在移动操作系统全部提供了对传感器支持，假如硬件设备提供了这些传感器，现在支持传感器有加速度传感器、光线传感器、压力传感器、方向传感器、磁场传感器、温度传感器等，经过这些传感器，用户能够很方便取得手机运行状态、目前摆放方向、外界磁场、温度和压力等。
（3）GPS
 最直接用途是在地图应用中调取目前位置，在LBS服务中取得POI点名称。不过Nike Running将其用于统计跑步路径，也是一个比较有趣拓展。
（4）摄像头
  摄像头其实是一个很强大信息取得设备。二维码在O2O领域巨大潜力已经被微信搅起来了。之前一个颇为神奇用途就是被heart rate经过拍摄手指血管来测量心律。其它用途还有些人脸身份识别、计算机视觉手势识别、物体追踪等等。
（5）录音
  录音是一个长久被忽略人机交互方法，发觉它潜力人则发明了很神奇交互方法。比如
  Square用它作为信用卡刷卡信息输入口；
  部分游戏用它模拟部分“吹一吹”效果；
  Chirp利用声音传输身份识别码，用以在手机间传输文件；
另外，伴随移动智能终端设备发展，人机交互方法也日益多元化。
Mirage Table：真人和虚拟影像互动
　　由微软推出Mirage Table（幻影桌面）是一项颇为神奇技术，它将两台3D投影仪、Kinect体感监测仪、3D眼镜和人动作结合在一起，打造出一个真人和影像互动效果。经过MirageTable，大家全部动作全部会被Kinect捕捉并转化称3D影像，然后和已经有3D物品进行交互，比如用手移动影像中多米诺骨牌、皮球等。同时一个实体物品能够经过虚拟影像复制出多个，也能够将移动虚拟物品到任何位置。
　　用户只需要佩戴3D眼镜就能够看到MirageTable上3D投影图像。曲面设计能够让操作者经过投影仪来和虚拟画面实现互动交流，就像打保龄球一样。“MirageTable”还能够实现人和人之间双向写作，经过Miragetable，两个操作者不仅能够看到对方并谈话，而且一个人能够和视频中另一个人虚拟对象进行互动交流，甚至能够“触摸”虚拟对象。还能够一起下象棋、搭积木，甚至研究部分比较复杂项目方案等。
　　假如说AR（增强现实）技术能够在现实基础上模拟出虚拟场景，让人进入虚拟版现实世界，那么Mirage Table则能够将用户带入一个虚拟世界，想象一下，假如未来全部网络游戏全部能够将用户融入其中，在虚拟环境下直接操作，使用新奇装备，实现惊艳特效，世界将会变得多么神奇！
　　基于Kinect操控创新
　　微软推出Xbox 360体感外设Kinect很受用户欢迎，不过它意义并不仅仅是游戏外设，而在于对人机交互方法探索和创新。正因为如此，Kinect技术才能被广泛应用到其它创新产品之中，成为智能人机交互经典产品。
　　国外一家专注于人机交互技术创业企业3Gear Systems利用微软Kinect技术，推出了SDK包，能够帮助开发者将手势动作反馈到应用软件之中。这套系统能够帮助3D建模人员更方便快捷地对模型进行拼装操作，操作过程能够在一般显示器之上展现。开发者只需要购置Kinect传感器和固定装置就能够在这款SDK包基础上，设计新APP产品。
　　Kinect作用还不止于此。Oblong试验室近期公布了一项科研结果，它将Kinect和Xbox上IE浏览器结合起来，脱离鼠标来操作电脑屏幕，能够实现一系列复杂操作，比如拖动、摆放屏幕上个体，对三维模型进行旋转、缩放，进行复杂命令操作，或用手机、平板或遥控器来控制大屏幕，甚至能够多人玩游戏、经过手势控制飞行器，在多个屏幕之间进行无缝切换等。
　　微软研究院联合华盛顿大学也研发出了一个名为SoundWave系统，该系统可利用计算机内置麦克风和扬声器，提供和Kinect类似对象识别及手势识别功效。SoundWave将计算机内置扬声器用做超声波（18-22KHz）发射源，其频率会伴随你手或身体位置改变而改变。然后，计算机内置麦克风会测量这一频率改变，并把参数告诉一套相当复杂软件，由该软件计算出手势和动作。
　　语音交互行业应用
　　苹果于花2亿美金亲自将Siri收购，并将其深度融入到iPhone 4S中。Siri 和手机紧密结合，能够极大提升设备操作简易性、环境适应性和真正意义上智能性。实际上，不仅仅是Apple自己iPad、 iTV和车载设备，全部未来所谓智能设备全部将会使用Siri模式。
　　不过智能人机交互技术在行业应用中，还存在部分不足。以语音交互为例，传统语音交互包含关键技术包含语音识别和语音合成等全部已经比较成熟。在多年以前，IBM 语音识别软件在 PC 上就有不错识别率了，而微软名为Tellme项目也连续了多年。然而，即使达成100%正确率，仅限于输入识别功用语音识别不能代表智能人机交互真正意义，它并不是革命性。要实现完美人机交互，语音技术就必需跟人工智能技术结合起来。
　　现在以语音方法为主人机交互系统现在关键应用在如呼叫中心IVR系统、智能手机等终端中语音拨号，短信朗诵、车载语音导航系统等。但普遍存在交互模式比较机械固定（以声控命令为主）、用户体验通常、交互过程繁琐等问题。

2.2 智能手机市场现实状况
目前市场上主流移动操作系统平台有Andorid、iOS、Windows Phone。互联网数据中心（International Data Corporation，IDC）近日公布了全球最新智能手机市场份额数据，从数据表格中我们能够看到Android开始占据超出大半江山。而且依据IDC对未来5年智能手机市场估计，到Android市场份额仍将占到二分之一以上，到时候Microsoft市场份额（Windows Phone and Windows Mobile）将会有一个大幅度提升，将占到19.2%。
智能手机操作系统
（Smartphone Operating System）

市场份额
市场份额
—

复合年增加率
Android
61.0%
52.9%
9.5%
Windows Phone 7/Windows Mobile
5.2%
19.2%
46.2%
iOS
20.5%
19.0%
10.9%
BlackBerry OS
6.0%
5.9%
12.1%
Others
7.2%
3.0%
-5.4%
Total
100.0%
100.0%
12.7%
表1 智能手机操作系统—市场份额改变情况[
2.2.1 iOS
苹果iOS是由苹果企业开发手持设备操作系统，1月10正式公布，最初是设计给iPhone使用，以后陆续套用到iPod touch、iPad、和Apple TV等苹果产品上。它是以Darwin为基础，所以一样属于类Unix商业操作系统。iOS系统结构分为以下四个层次：关键操作系统（the Core OS layer），关键服务层（the Core Services layer），媒体层（the Media layer），Cocoa触摸框架层（the Cocoa Touch layer）。但iOS是一套封闭性很强系统，不开源，其它企业无法使用它系统，而且在能够预见未来，其也将一直保持封闭状态，不支持第三方软件运行，在很大程度上限制了各类软件在iOS上开发、安装和使用，给用户带来极大不便。优点：
（1）含有极高稳定性和安全性；
（2）Apple Store中应用程序数量多；
（3）操控性极高点触式用户界面，能够给带来很好用户体验；
（4）含有和其它操作系统高度协作性，支持多个磁盘卷格式，符合多种现有和发展中标准。
缺点：
（1）不支持第三方软件运行；
（2）不支持Flash，支持多媒体格式较少；

2.2.2 Windows Phone
10月12日，微软正式公布Windows Phone 7智能操作系统。6月21日，微软正式公布最新手机操作系统Windows Phone 8 , Windows Phone 8将采取和Windows 8相同内核。作为微软重新打造新一代智能终端平台，Windows Phone采取了和过去Windows Mobile完全不一样屏幕主页和用户界面，为用户带来全新操作体验。Windows Phone用户界面和交互模式均是以广受好评Zune HD高清播放器为基础而设计。在操作性能方面，Windows Phone操作系统重视用户实际使用效率。它整个界面简练实用，使用了较大、图形化字体，短信数量和未接来电数量全部直接显示在主屏上。在产品方面，Windows Phone和微软其它产品联络紧密，经过和各类面向企业及消费者产品进行整合，丰富了本身产品资源，同时极大地拓展了业务范围。
在个人电脑世界，微软Windows是独一无二王者，在移动世界，微软也一直有着称王野心。从Windows CE到Windows Mobile，再到今天Windows Phone，微软一直在努力，效果却不理想。非但没用超越智能操作系统老牌王者Symbian，反而被Android、iOS这些新星挤在身后。Windows Phone相对于微软以前系统如Windows CE和Moblie，可谓是做了根本性改变，摒弃了以前系统臃肿和多层菜单操作方法，采取了桌面定制、图标拖拽、滑动控制等方法。即使上市较晚，市场拥有率很低，不过凭借微软强大技术开发实力、个人电脑世界庞大用户群、和和老牌手机王者诺基亚合作，让人对它前景不敢小视。最近，诺基亚、三星、HTC等主流手机厂商也推出了部分基于Windows Phone智能手机。说明各大手机制造商还是对微软技术实力看好，Windows Phone系统在未来移动市场中大有潜力。
优点：
（1）应用开发难度低，UI界面友好；
（2）预装软件丰富，便于熟悉个人电脑用户操作；
（3）云计算技术优势；
缺点：
（1）对硬件平台要求较高；
（2）现在应用程序较少。

2.2.3 Android
Android是由谷歌企业牵手30多家企业成立“开放手机联盟”共同研发，基于Linux平台开源移动操作系统，由操作系统、中间件、用户界面和应用软件组成，号称是首个为移动终端打造真正开放和完整移动软件。
优点：
（1）开放性。Android是由谷歌企业牵手30多家企业成立“开放手机联盟”共同研发，这些全球各地手机制造商和移动运行商全部将基于该平台开发手机新型业务，应用之间通用性和互联性将在最大程度上得到确保，而且开发商也会得到新开放等级，更方便进行协同合作。
（2）应用程序无界限。Android上应用程序能够经过标准API访问关键移动设备功效，经过互联网，应用程序能够申明它们功效可供其它应用程序使用。
（3）应用程序是在平等条件下创建。移动设备上应用程序能够被替换或扩展，即使是拨号程序这么关键组件。
（4）应用程序能够轻松嵌入网络。应用程序能够轻松嵌入HTML、JavaScript和样式表，还能够经过WebView显示HTML文件或是网络内容。
（5）谷歌网络服务支持。拥有强大谷歌网络服务支持，如谷歌Talk、Gmail、谷歌 Map等，基于这些服务和庞大用户群支持，大大扩展了开发者设计空间。
缺点：
（1）Dalvik VM对于硬件配置要求较高，在进行应用程序开发时硬件成本同其它开发环境相比还是比较高。
（2）谷歌为了平台安全性设置了较多权限控制，造成任务管理器、模拟按键、屏幕截图、短信防火墙等类似功效实现全部较为困难、步骤繁琐。
移动操作系统
iOS
Windows Phone
Android
发行商
Apple
Microsoft
谷歌
应用商店
App store
Windows Phone Marketplace
谷歌 Play
应用程序数量
500000+
100000+
450000+
全球市场拥有率
Q1
23%
2.2%
59%
现在最新版本
iOS 6
Windows Phone 8
Android 4.1
最初公布时间
6月
10月
9月
内核类型
Darwin
Windows CE6.0R3/7.0
Linux
源码模式
封闭式
封闭式
开放式
开放者权限
开放度低
需要证书支持
高度开发
开发语言
Object-C
C#
Java
Native开发
支持
不支持
支持
地图支持
第三方
第三方
谷歌 Map
表2 移动操作系统比较

2.3 移动平台开发技术----以Android为例
2.3.1 Android体系结构
Android体系结构分为四层，从高到低分别是应用层、应用程序框架层、函数库和运行时环境层、Linux内核层。以下图所表示:

图3.1 Android体系结构[31]
（1）Linux内核层
Android基于Linux关键提供安全、内存管理、进程管理、网络协议栈、驱动模型等关键系统服务。Linux Kernel也是系统硬件和软件叠层之间抽象层，隐藏了具体硬件细节，并为上层提供统一服务。
（2）函数库和运行时环境层
函数库包含了一个运行于Kernel之上C/C++库集合，供Android系统各个组件使用，这些功效经过应用程序框架暴露给开发者，这些函数库包含：
系统C库：C语言标准库，也是系统中一个最为底层库，是经过Linux系统调用来实现。
多媒体框架：是Android多媒体关键部分。
SGL：2D图像引擎。
SSL：即Secure Socket Layer在TCP/IP协议和多种应用层协议之间，为数据通讯提供安全支持。
OpenGL ES1.0：提供对3D支持。
界面管理工具（Surface Management）：提供对管理显示子系统等功效。
SQlite：一个通用嵌入式数据库。
WebKit：网络浏览器关键。
FreeType：位图和矢量字体功效。
Android运行时由两部分组成：Android关键库和Dalvik虚拟机。其中关键库提供了Java语言关键库所能使用绝大部分功效，而虚拟机则负责运行Android应用程序。Dalvik是基于寄存器虚拟机，它经过了优化，使得一个设备能够高效地运行多个实例，所以Android系统能够方便地实现对应用程序进行隔离。
（3）应用程序框架层
应用程序框架提供用于创建Android应用类。它还提供了一个访问硬件通用抽象接口，并能管理用户界面和应用程序资源。经过开放平台，Android开发者能够编写极其丰富应用程序。开发者能够自由地利用设备硬件优势，访问位置信息、运行后台服务、设置闹钟、向状态栏添加通知等。
（4）应用层
应用层是和用户交互一个层次，用户能够看得见部分应用，用户能够操作。这类应用基础全部是经过Java语言编写独立能够完成一些功效应用程序。Android本身提供了桌面、联络人、拨打电话、浏览器等很多基础应用程序。
软件运行时应用层向下调用应用程序框架层，应用程序框架层又要调用之下库和关键包和虚拟机，最终要交给底层操作系统Linux Kernel来和硬件进行交互。
2.3.2 Android应用程序组件
要进行Android应用程序开发，我们必不可少就是要了解Android平台应用程序框架。Android应用程序关键是由Activity、BroadcastReceiver、Service、ContentProvider和Intent五大组件组成。在Android应用程序中，开发人员能够依据实际项目需要对这5个组件进行选择性使用。
（1）活动（Activity）
活动是Android应用程序中最基础组件，通常每个用户界面全部是一个活动。每个活动作为一个独立类全部要从活动基类Activity继承而来，它显示由视图空间组成用户接口，并对对应事件做出响应。大部分程序会有多个应用程序界面，多个对应活动。
（2）广播接收器（BroadcastReceiver）
BroadcastReceiver组件关键是让应用程序响应来自外部事件，可能是系统发出广播，也可能是其它应用程序发出。在使用Android系统时候常常会碰到很多各式各样广播，比如我们在玩游戏时，这时忽然发觉显示没电了或显示有其它人打电话进来，此时系统就必需对目前应用程序进行中止并响应。应用程序需要对一些广播事件进行响应，则需要注册对应BroadcastReceiver对象。
（3）服务（Service）
服务通常在后台运行，它通常不需要和用户交互，所以Service组件没有图形用户界面。Service组件需要继承Service基类，一个Service组件被运行起来以后，它将拥有自己独立生命周期，Service组件通常见于为其它组件提供后台服务或监控其它组件运行状态。
（4）内容提供者（ContentProvider）
ContentProvider关键功效是在不一样应用程序之间实现数据共享。Android每个应用程序全部拥有自己独立存放空间，能够将运行过程中数据保留到数据库或文件中。当一个程序要访问其它程序数据或向外部程序提供数据时，Content Provider就发挥作用了，它为应用程序提供了一组标准访问方法，用于在程序需要时能够访问这些数据，实现数据共享。
（5）意图（Intent）
严格说Intent并不是Android应用组件，但它对于Android应用作用很大，它是Android应用内不一样组件之间通信载体。当Android运行时需要连接不一样组件时，通常就需要借助于Intent来实现。Intent能够开启应用中另一个Activity，也能够开启一个Service，还能够发送一条广播消息来触发系统中Broadcast Receiver。Intent分为显示Intent和隐式Intent，其中封装了需要开启或触发目标组件大量信息。
从Android应用程序角度，各个组件对外联络是程序处理一个关键性问题，组件接口包含对用户接口和对其它包接口两部分内容。在对用户接口角度，包含展现给用户界面和接收用户控制，关键由Activity及其中View对外提供，其它组件能够使用通知方法和用户简单交互。Android应用程序包组件接口关系图5所表示。

2.3 智能手机接入方案

3 智能电视
伴随智能电视功效日渐丰富和强大，大家需要、也必需对电视机操控方法进行一点改变，很显然，仅依靠一个简单电视遥控器已经满足不了智能电视操控需求。大家需要愈加自然、愈加方便人机交互方法，诸如语音控制、动作识别、触摸控制、多屏互动等智能化操控。
3.1、语音控制
语音识别技术就是让机器经过识别和了解过程把语音信号转变为对应文本或命令高技术。语音识别技术关键包含特征提取技术、模式匹配准则及模型训练技术三个方面。
语音控制能够很好处理功效控制复杂、记忆频率数量大难题，相对于手动控制来说愈加紧捷、方便。比如，我们需要打开电视时，不需要满世界寻求遥控器，经过声音就能控制开机;再如，当我们忘记想看频道是几号时，也不需要将十多个节目挨个搜索一遍，直接说出想看频道，就能直接切换。
早在，海尔就推出了采取语音识别、汉语语音分析、数字声音信号处理、语音编码、说话人自适应、回声消除、抗干扰及消噪声等七大高新技术智能声控电视。海尔智能声控电视，不仅能够在挤满客人大厅中，识别出“主人”声音实施指令，还能够寻求你所喜爱节目频道。用户只需把自己声音及指令预先输入系统，声控电视就会对她们“言听计从”。
3月，TCL推出了“能听能说”超级智能电视，“能听能说”就是指导入基于云端语音识别和语音合成技术，电视不仅能听懂用户说话做出反应，而且还能说，比如打开WEB浏览器，对着电视喊声“新浪”，经过云搜索，浏览器页面立即展现出新浪网站，比如朗诵时事新闻、读报、读杂志等。
TCL还推出了“小智语音管家”， 据悉，小智语音管家是应用于云电视上新一代语音识别工具，和之前智能识别不一样，它首次应用了云计算技术，带来更强大智能语音识别、更便捷操控体验和更人性化人机交互。经过它，云电视将成为一台一呼即应智能机器人，为电视人工智能语音交互时代拉开序幕。
在国际消费电子展上三星公布了拥有语音控制功效电视产品。该款电视内置高清相机和麦克风，用户只需对其喊一声“Hi，TV”，就能够开启语音控制系统，比如你能够说“Web Browser”，然后你就能够上网冲浪，动动手就能够浏览网页、选择搜索结果或提升音量。
除此之外，在CES上，联想、LG等智能电视全部搭载了语音识别功效，用户可直接用遥控器说出电影片名进行查询。苹果电视机也将内置Siri功效，许可用户对电视进行语音控制。
2月，长虹汉字版语音电视在中国首发。仅凭语音指令完成换台、电视节目查询、网络浏览/搜索、文字输入等操作，甚至能和人对话交流。
语音控制和消费者实现了生动有趣、有情感交谈，并能针对性提供服务和帮助，真正意义上拉近了电器和消费者距离，实现电器智能化历史性跨越。不过就现在来说语音控制还只是限于部分基础操作，还不能完全替换按键操作，语音控制技术还需要向更高层次发展。
3.2动作识别
动作识别技术是由手型、身体动作辅以表情姿势为符号组成动作识别一个技术，是人机交互模式识别领域一项关键研究内容。动作识别系统能够消除健全人和聋哑人之间交流障碍，作为人体语言了解一部分，动作识别还能够更高效实现人机交流。

这项技术实际上也能够说是XBOX360Kinect上面技术引用。Kinect能够经过外置摄像头捕捉RGB和红外图像，来侦测出人体动作，进而借助一系列算法来识别出具体手势操作。
在，海信智能电视推出了智能感应触控电视Hi-Touch，能够经过动作识别系统，实现人和电视互动和体感游戏等功效。经过动作识别技术，电视能够完全摆脱遥控器，带来了智能互感虚拟触摸全新体验。
TCL推出超级智能电视也含有了动作识别功效，表现在智能手势和姿态识别和控制、体感游戏及视频通讯功效上。经过一个外接摄像头，消费者能够用手势控制电视，经过手势和身体姿态就可玩转3D体感游戏。
在CES上，三星展出了采取了CMOS图像传感器动作侦测系统，能够经过摄像头来侦测操作者手部动作，能够进行多个简单动作操作;LG魔术运动遥控器(Magic Motion remote control)采取了红外感应操作方法，也能够进行手势侦测。
因为人体结构较为复杂，动作识别技术要实现对对人体三维运动正确跟踪还有一定难度。动作识别技术在电视领域应用前景十分宽广，假如结合语音控制系统，基础能够完成全部电视机操作，在进行电视游戏时也会比传统意义上体感游戏更有意思，像水果忍者等常见游戏形式也能够不借助游戏主机直接游玩。能够想象，这种技术对于酷爱游戏用户来说，是一个不错选择。
3.3智能触控
自苹果企业推出智能手机iPhone后，触控技术就成为了市场关注焦点，现在触控技术已经广泛应用于中、小尺寸电子产品，比如，智能手机、数码相机、平板电脑等个人随身设备，技术方面，电容式技术和电阻式技术是现在应用最广泛两种技术。
早在，海尔就推出了全球首款超大LED屏之内触控模卡电视，该产品采取了优异多点触控功效，使用者可直接在屏幕上进行书写和绘画。可配置手写笔、无线鼠标和键盘等设备，全方位满足用户多样化需求。用户还能够依据需求自行调整画笔粗细及其颜色，而且经过三角板、量角器等多种内置辅助软件轻松完成多种文字和图片操作。
夏普也展示了能够触控操作裸眼3D便携电视，该产品采取视差栅栏裸眼3D技术，屏幕尺寸由10.6寸和3.8寸两种尺寸，分辨率分别为1280*768和800*480。TCL超级智能电视、海尔多点触控体感电视等产品在动作识别、触控等技术也已经基础含有了智能操控特征。
Displax Overlay也推出了一款可定制尺寸触摸电视框，该产品能够让一般显示设备变为多点触控产品，从32英寸到103英寸全部能够定制，一般电视瞬间变身触摸电视。
，LG推出Pentouch触控等离子电视，这款产品许可你使用Pentouch 触控笔在 Word 文件，幻灯片，简报上直接加亮标注，还能够直接手写网站地址，甚至你能够用它来玩愤怒小鸟;，惠普推出多点触控设备VantagePoint互动电视墙。
不仅电视机能够触控，就连遥控器也能够触摸输入。索尼和松下电视或蓝光播放设备全部采取了在遥控器上设置触摸板操作方法，相比传统遥控器在操作上要简化不少。
3.4多屏互动
多屏互动所指是，基于DLNA协议或闪联协议，经过WIFI网络连接，在不一样多媒体终端上，如常见基于IOS、Android、Symb