基于Android的手机语音记录器应用的设计与实现.docx

基于Android的手机语音记录器应用的设计与实现 冯江惠王颖洁王志军摘要：为了提升老年人等特殊群体对手机的使用效果，使中老年人更方便地使用手机，为了方便人们在不适合听语音的场合通过文字及时获取信息，研究了基于Android系统的手机语音记录器。采用Android应用开发，将语音转文字、语音记录、即时通讯、语音转发和语音的云存储结合起来，构成一套完整的语音交流、共享平台。基于Android的应用可以搭载到绝大多数手机上，具有开放、分享、高整合的优点。关键词：Android系统；语音转文字；即时通讯语音识别是人工智能和机器学习应用的一个重要方向，近年来，语音识别技术突飞猛进，大量产品被开发并应用到实际。前不久，微信App中就有了一个语音转文字的重大更新，长按语音文件，点击“转换为文字”，就可以进行识别，给不方便听语音的用户带来了福祉。近三十年来，语音识别技术发展迅速，逐渐从实验室走向市场，形成产品。语音识别发展到现在，在中小词汇量非特定人语音识别系统和特定人语音识别系统中的识别精度已经接近100%，这些技术已经能够满足一般应用的需求。在信息处理、通信与电子系统、自动控制等领域相继出现了不同用途的语音识别系统，已经逐渐显露出其强大的技术优势和生命力。随着硬件技术和软件技术的快速发展，语音识别为我们提供了一种崭新的远景。现在上线的手机应用中有很多聊天应用，但是缺少以语音为主的应用，所以本文借用了百度语音的语音识别技术，参考其他手机应用的成功案例，使用Android开发技术，结合Http和Mysql作为后台服务器，制作了一个以语音为主体的手机应用，功能包括语音录制、语音转文字、添加好友并进行即时语音通信等，将语音的功能整合到一起，形成一个完整的以语音为主体的手机应用。系统的功能主要在以下三个方面：1）语音录制实现录制的语音在外置存储卡中以PCM格式的文件长期存储。在语音录制中，可以随时暂停录制和继续录制；在语音播放中，可以随时暂停和继续播放，且可以调整播放进度。2）语音到文字的转换通过当前市场上比较成熟的百度语音开放平台的RESTAPI实现。3）即时通讯实现了用户之间的即时通讯，用户之间可以相互发送文字消息和语音消息。本文将介绍该系统实现所用的关键技术，并对相应技术进行概括分析。1软件的设计1.1设计流程图如图l所示。1.2平台搭建1.2.1客户端平台的搭建需要用到的工具包和软件：JDK和Android Studio需要添加的iar包及其用途：1）Bmob短信验证码API：BMobSMS-v1.0.1_20150710jar利用Bmob后端云平台的短信验证码接口，实现手机短信验证码功能。2）搭建Mina框架需要用到的两个包：mina-core-2.0.13.jar、slf4j-api-1.7.14.jar在阻塞模式下，若从网络流中读取不到指定大小的数据量，阻塞10就在那里阻塞着。在非阻塞模式下，若从网络流中读取不到指定大小的数据量，非阻塞10就立即通行。显然，非阻塞10比阻塞10有更高的性能，但是非阻塞式开发难度就成数倍递增了。我们需要开启线程专门去维护网络方面的操作，让它不影响主线程的运行。javal.4以上有NIO网络操作框架newl0，非阻塞式高伸缩性，但它的用法比较复杂，Mina和Nety，是用NIO封装的好用的网络操作框架，所以引入了Mina框架来进行客户端文件的上传。Slf4j是Simple Logging Facade for Java的全拼，是在Mina内部用来做日志用的。3）用于网络通信的包：volley.jarVolley是2013年Google I/O上发布的一款网络框架，基于Android平台，能使网络通信更快，更简单，更健全。Volley只适合数据量小，通信频繁的网络操作，不适合数据量大的，像音频，视频等的传输。4）用于解析和打包json数据的包：fastjson-1.1.38.jar1.2.2服務器端平台的搭建需要用到的工具包和软件：Eclipse的Java EE版本，Apache Tomcat v7.0，mysql数据库需要添加的ar包及其用途：1）用于连接数据库的包：mysql-connector-java-5.1.7-bin.jar2）使用servlet相关的类时需要用到的包：servlet-api.jar3）与客户端对应的搭建Mina框架时所用的包：mina-core-2.0.13.jar、slf4j-api-1.7.14.jar、slf4j-simple-1.7.21.jar与客户端相比，服务器端多了slf4i-simple-1.7.21.jar这个包，这个包是为了给类路径添加一个绑定，如果没有这个绑定，控制台就会有相应的警告，slf4i-simple-1.7.21.jar相当于slf4j-api-1.7.14.jar的日志接口的实现包。2功能的实现2.1录音功能的具体实现录音功能的实现过程可以通过分析录音界面每个控件的行为来分析，录音界面如图2所示：2.1.1录音按钮的实现（三种状态）1）准备状态：初次点击按钮时，图标为，就会得到一个AudioTrackManager对象，用来初始化存放录音的绝对路径，并且设置音源为麦克风，音频采样率为16k，声道为单声道，音频采样位数为PCM（脉冲编码调制）16位/羊本，设置音频的最小缓冲区大小，并转到录音线程开始录音并用Android API中拥有的类AudioRecord类的startRecord方法开始计时，在这之前还要隐藏保存和播放按钮，并且获取音量大小。 2）暂停状态：暂停计时，显示保存按钮和播放按钮，修改按钮的样式为图2.1，调用AudioRecord类的stop（）方法暂停录音，并调用AudioRecord类的release（）方法释放资源，如果不释放就会一直占用资源，导致后来再申请的时候无法申请。3）继续状态：在暂停之后点击继续可以继续进行录音，这时要重新开启录音线程，这里要判断是否是刚刚开始录音，如果AudioRecord未被初始化，说明是刚刚开始录音，如果AudioRecord被初始化，则是暂停录音之后继续录音，继续录音时要继续进行计时，并修改图标样式为。2.1.2退出录音按钮的实现点击退出录音按钮，在录音按钮的响应事件中进行相应的操作，首先弹出对话框，提示“是否退出录音？退出将不保存此条录音”，如果确定退出，则将删除当前音频对应的文件及路径信息，取消则仅仅取消对话框的显示，不做其他操作。2.1.3播放的实现播放时主要有播放和暂停播放两种状态，为了方便人们直观地看出音频播放的进度，还设置了一个可以拖动的滚动条，这样也可以方便用户对播放进度随时进行调整。播放界面的屏幕截图如图2.1所示1）初次播放：点击播放按钮，在鼠标点击事件中得到该语言的路径，并调用AudioTrack这个可以播放简单音频资源类的play（）方法，将音频播放出来。2）暂停播放：调用AudioTrack类的pause（）方法，进行暂停。3）继续播放：操作跟初次播放时相同，但播放进度要设置为暂停时的播放进度，这样就可以从暂停处继续进行播放。4）Seekbar滚动条的实现：主要需要计算好滚动条的进度和音频进度百分比的问题，根据滚动条已拖动的百分比计算继续播放开始时的位置，位置的计算公式如下：position=（int）（fileLength*1.0f*progress/100）；这里在实际设计的时候出现了一个问题：如果最后计算出的position的值不能被2整除，那么要让它加1，使它能被2整除，这是因为AudioRecord类中进行录音时，每次读取一个short类型的长度，而short型是2个字节，而且PCM采样位数设置的是16位，即2个字节，即每次读人两个字节的数据样本，如果不能被2整除，播放时就会出现杂音。5）柱状频谱图的绘制：柱状频谱图根据音量的大小绘制频谱中的振幅，振幅的大小根据声音的大小成正比调整，屏幕中显示200个条形柱，更新时，在handleMessage中每隔50ms更新一次界面显示效果。2.2语音转文字功能的实现过程调用第三方文档：百度的REST API实现在线语音转文字的功能。具体实现过程如下：1）在继承了AsyncTask的类中异步加载要发送到服务器的信息设置请求方式为“POST”，并设置文件的格式、采样频率和长度，语音数据转换为字节序列放在HTTP-BODY中，然后发送到百度服务器，发送前要首先获取百度的“access_token”这个验证字符串，获取连接权限。2）获取服务器来的响应信息在Http响应体中，给出了Json格式的文字，客户端接收到Json格式的输入流，并将其解析成字符串，再在继承AsyncTask类的继承类中的onPostExecute（Void avoid）方法中将文字放在handler中，显示在界面上，最终实现文字到语音的转换。文字转换界面和语音播放界面如下：2.3备份文件的实现过程2.3.1服务器备份（上传）将需要传送的文件打包成FileObject，发送到Service中，Service默认都在主线程中运行，因为若直接在Service中进行发送文件等耗时操作，应用进程将会被挂起，甚至出现ANR（应用无法响应）错误，所以在Service中的onStartCommandO方法中重新开启一个子线程，在子线程中通过IoSession发送FileObject，这个FileObject的file_type属性设置成TYPE_BACKUP，进行文件的传送，服务器根据所收到文件的文件名，创建文件，并建立好流通信，循环接收数据包，将数据报写入文件，当所接收数据的长度等于提前接收到的信息中的文件长度，则表示接收完毕。2.3.2本地备份在qq、微信等即时通讯中，目前还没有本地备份语音的功能，所以想到可以设计一个本地备份的功能，方便随时查看、分享语音文件。本地备份就是开启一个子线程，将文件通过DbHelper这个SQLite数据库帮助类写入到SD卡中。2.4即时通讯的实现过程要进行即时通讯，首先要注册账号并登录，截图如下：登录之后主要有两个方面：1）添加好友将要添加好友的手机号通过Service中的子线程发送给服务器端，服务器从数据库首先确认是否有该用户字段。如果有，就将此条消息通过Notification通知发送给对方，对方接受请求后，发送一个响应给服务器，服务器再更新当前用户的好友列表；如果没有该用户字段，就将反馈消息发送给用户，用户界面显示相应的提示信息。锁屏情况下添加好友，也是直接发送Notification通知给对方。2）发送消息发送消息可以是先用户A直接通过服务器发送过来的用户B的IP地址、TCP端口号等信息，直接向用户B的PC机发出聊天信息，用户B的IM客户端软件收到后显示在屏幕上，然后用户B再直接回复到用户A的PC机，这样双方的即时文字消息就不通过IM服务器中转，而是通过网络进行点对点的直接通讯，这称为对等通讯方式（Peer To Peer），也可以是每次发送信息都经过服务器中转，这样就可以解决用户A与用户B的点对点通讯由于防火墙、网络速度等原因难以建立或者速度很慢的问题，这里用的是通过服务器中转的方式。发送消息时，用户A先通过socket与服务器取得连接，服务器获得用户A的Id、要发送的信息和用户B的Id，然后把消息打包发送给用户B，用户B如果想要发送消息给用户A，也是同样的过程。发送消息时，手机界面当前所处的情况有多种，也要分别讨论：1）手机界面停在当前聊天界面：更新当前界面聊天信息。2）手机界面停留在好友列表界面：在对应的好友右侧显示未读消息数，当点开聊天界面時更新界面聊天信息。3）本应用的其他界面和非本应用的其他界面：发送Notification通知，提醒用户查看消息。4）锁屏界面：发送Notification通知，而且对方要首先获取好友昵称称，以便开锁后直接进入聊天界面。3结束语当下语音交互在即时通讯方面得到了足够的重视，语音识别技术在人机交互中成为非常重要的方式，语音交互极大地提高了人们的交互速度，了解并学习语音交互相关的技术，对未来在语音领域有更多的了解和深入有很大的帮助。本文介绍了一个相对完整的语音聊天工具，对文件的存储、文件的上传、消息的发送做了相应的研究，对语音的录制、播放、发送功能做了略为系统的阐述，帮助巩固和系统地运用已有的知识，未来在语音技术的研究上还需继续努力，不断前行。 -全文完-