运用语音情绪辨识於互动玩具设计之开发研究.docx

運用語音情緒辨識於互動玩具設計之開發研究

*張華城 **許濬聖
*多媒體與電腦娛樂科學系研究所專任助理教授兼系主任、所長
**多媒體與電腦娛樂科學系研究所研究生

摘要
本研究從文獻上所蒐集的資料，去做分析探討情緒、玩具與互動設計三種定義，普通心理學認為：「情緒是指伴隨著認知和意識過程產生的對外界事物的態度，是對客觀事物和主體需求之間關係的反應。是以個體的願望和需要為醫學教育網蒐集整理中介的一種心理活動。情緒包含情緒體驗、情緒行為、情緒喚醒和對刺激物的認知等複雜成分。」；而玩具經由文獻分析後本研究定義為「可被任何年齡層所遊玩且溝通，並且也可以輔助心靈以及能夠娛樂的一種功效之工具。」；張白苓(2007)指出，數位媒體互動設計最大的特色及表現形式之一，就是將某種程度的操控權移轉給觀賞者。了解了情緒、玩具與互動設計的定義皆是針對使用者，因此本研究將此三種功能整合在玩具上進而形成可以語音情緒辨識的互動玩具設計。本研究藉由情感設計相關理論原則，製作一隻附有互動功能的玩具，再利用Max/MSP軟體來辨識使用者所表達的語音情緒，運用玩具與軟體上的搭配來開發出一隻有情感互動設計的模組，提高面對於人類互動時之反應的合理與真實性，並引發使用者情緒感知，進而可以得到療癒心靈的作用。

關鍵詞： 情緒、語音辨識、情緒辨識、玩具、互動設計

壹、前言

1-1研究背景
情緒研究近數十年來逐漸受到重視，情緒心理學已成為心理學門獨立的一支，除此之外，眾多領域，如社會學、消費者及行銷學、電腦科學、設計等領域也相繼投入相關議題的研究，並致力於將相關情緒研究推向實務面運用。在2009年，一位來自於堪薩斯大學（KU）的研究者進行一項新研究，探討情緒與健康的關連。這項研究證明，人類情緒與身體健康是有影響的，因此近年來很多研究者開始探討一些有關情緒的研究，譬如，探討辨識人類情緒加強機器與人的溝通能力(Picard,1997)、產品與精油氣體結合來紓緩使用者情緒的功用(陳育民, 2007)等研究，均期望透過對情緒探索，理解情緒佔有的份量，證明研究者提出的問題。這些研究都指出情緒在人們的決策行為及生活經驗上扮演相當重要的角色。
近年來互動設計的興起，產品結合資訊科技而生的互動產品，改變產品與使用者之間單一向的遊戲娛樂，將玩具的互動功能漸漸的加入人的情感，這樣所帶來的互動特性，產生人與物的互動，也開啟了人與物對話的生活，根據使用者輸入訊號的差異，可輸出不同感覺的回饋，為產品帶來多樣性；而加入運算的功能，更可帶有為使用者量身定做服務的能力。
1-2研究目的
越來越多研究顯示產品對於人們在生活經驗上具有極大的潛力，而且在人們的心理感受中得到更多的關注，提高人類的生活品質。因此，如何結合語音情緒辨識特性與互動玩具搭配，來設計出可以使人心情愉悅的產品，便成為值得探討研究的一項課題。
本研究藉由製作可以依據使用者的語音並分析情緒來做出不同感覺的玩具，來達到輔助療癒心靈以及有娛樂功能的效果。
貳、文獻探討
2-1情緒
普通心理學認為：「情緒是指伴隨著認知和意識過程產生的對外界事物的態度，是對客觀事物和主體需求之間關係的反應。是以個體的願望和需要為醫|學教育網蒐集整理中介的一種心理活動。情緒包含情緒體驗、情緒行為、情緒喚醒和對刺激物的認知等複雜成分」。情緒，是人表現的各種感覺、思想和行為的一種綜合的心理和生理狀態，是個人受到某種刺激所產生的一種心理變化與行為反應，如：喜、怒、憂、思、悲、恐、驚等七種表現出來，且不易為個人所控制的，在身體動作上表現的越強就說明情緒越強，如喜是手舞足蹈、怒是咬牙切齒、憂是茶飯不思、悲是痛心疾首等等就是情緒在身體動作上的反應。情緒是一種個人的主觀體驗和感受，常跟心情、氣質、性格和性情有關。而人類的情緒表達方式是多種多樣的，一種是通過言語、文字等各種表達方式顯示心理感受並藉以達到和外界溝通的目的，例如一個眼神、一聲嘆息都能傳達出來，另外一種為非語文的情緒表達，有因情感的親疏遠近而表現出人際距離長短的變化以及因不同文化有不同的表達方式及意識用動作、姿勢及位置，在互動的情境中顯示其意義。
2-2 玩具的定義
依據玩具國家標準CNS 4797之定義：凡設計、製造、銷售、陳列或標示供14歲以下兒童玩耍遊戲之產品稱之為玩具，在教育部提供的線上字典所定義的玩具為可供遊戲玩弄的東西。玩具通常是通小孩或成人所遊戲的一種打開智慧天窗的工具。
黃志成（1996）提出玩具的分類，就發展功能來探討，玩具可以分成以下幾種：
1. 感官訓練玩具：如顏色球、音樂鈴、黏土等。
2. 大小肌肉和粗動作、細動作的玩具：如大小積木、球池、三輪車、拼圖、畫圖、剪貼和串珠等。
3. 協調性訓練玩具：如串珠、畫圖、積木（手眼協調）和三輪車（手、眼、腳協調）等。
4. 社會性玩具：如娃娃木偶等
5. 操作性玩具：剪貼、拼圖、沙、黏土和積木等。
6. 情緒鬆弛玩具：娃娃、繪畫、水、木工和積木等。
7. 想像創造性玩具：如剪貼、娃娃、繪畫和積木等。
8. 益智性玩具：如積木、下棋、拼圖等。
胡瑞原[2004]對玩具做一個簡單的定義，大致分為9種：
1. 好玩的東西
2. 培養技能的工具
3. 發揮創造力的工具
4. 鍛鍊體能的工具
5. 安慰人的工具
6. 發洩情緒的工具
7. 溝通感情的工具
8. 學習的工具
9. 激發成長動力的工具
因而本研究對「玩具」定義為「可被任何年齡層所遊玩且溝通，並且也可以輔助心靈以及能夠娛樂的一種功效之工具」。根據此定義，玩具在遊戲玩樂過程中，是沒有任何年齡層和身心發展的限制要求。
2-3互動設計
互動設計（Interaction Design是指設計出互動產品提供人類在日常生活或工作中使用 (Preece, Rogers, &Sharp, 2002)，在近年英國皇家藝術學院（Royal Art of College， RCA）的互動設計（Design Interaction）研究所，提出一系列的作品，暗示著未來傳媒的前衛性，在歐洲引起不小的話題，因為互動不僅涉及一些新技術的表達和通訊的可能性，還帶有找出一種技術與情感之間的相互作用，為設計提供一個有創造性與可能性的新契機。
李家祥(2005)認為凡是可以讓一種裝置與參與者產生互動的效果，其使用的方法、技術或科技，就可以稱之為互動技術。互動技術的使用，不在於科技是否是最先進的，而是整合的方式。張白苓(2007)指出，數位媒體互動設計最大的特色及表現形式之一，就是將某種程度的操控權移轉給觀賞者。創作者不再是唯一作者，因為觀賞者已經從被動轉為主動，成為共同創作者。
2-4聲音偵測
目前市面上已有許多能處理音訊的軟體，例如：C++、Java、MATLAB、Processing、Max/MSP、Goldwave、Protools、Flash 等，利用程式語言來撰寫的軟體能分析處理較複雜的音訊資料且其延伸性較強，並能夠連接較多樣而具一般性軟、硬體裝置，不過需要花費較多的時間撰寫來解決較高的技術門檻；而應用開發軟體在操作上則較簡單快速，不過功能方面相對的就比較受限，且延伸性較低，不易與其它周邊作連結。本研究基於方便性與延伸性之綜合考量，決定選用Max/MSP軟體來做聲音分析的平台，它屬於視覺化環境的互動開發軟體，使用者只需要編排圖形物件即可，不需要學習太過艱深複雜的程式語言，軟體就會自動處理一些較為底層的功能，也能藉由新增物件或安裝外掛的方式來串接其他周邊設備作為溝通橋梁。

2-5 Arduino 控制板
在本系統中為了讓電腦同時能夠連結步進馬達，再運用了一塊名為Arduino 的控制板來當作硬體與軟體溝通的橋梁，如圖1所示，它是一塊以簡單的I/O board 及Processing/Wiring 語言的原始碼為基礎而設計出的控制板，其開發環境與程式語法類似C和Java的撰寫方式，可以透過使用Arduino 控制板來與Flash、Virtools、Max/MSP 或Visual C++等軟體作連結，並搭配上一些電子零件例如：按鈕、感應器、LED、步進馬達或其他周邊裝置來作出互動作品，而它除了有線的USB 介面版本外，也有無線傳輸的版本如：藍芽與XBee 介面的控制板。

圖 1. 有線Arduino - USB 介面 圖 2. 無線Arduino - 藍芽介面

圖 3. 無線Arduino - XBee 介面

參、研究方法
本研究藉由Max/MSP偵測聲音的大小與頻率來辨別出三種情緒，辨別這三種情緒是經由多次的聲音測試後找出三種情緒的音量與頻率的界限值，來作為分辨一般、高興與憤怒的區別，一般情緒的聲音跟頻率的界限值是20到50與30到40、高興情緒的聲音跟頻率的界限值是50到80與40到50、生氣情緒的聲音跟頻率的界限值是80到100與50到60以上，圖4為本研究系統的執行流程圖，當使用者對著麥克風說話的時候便開始偵測音量與頻率，本系統是以5秒判斷為基準，再從這5秒鐘接受到的聲音大小與頻率高低再加以平均，平均後的數值和設定的界限值做判斷，區分出來後的情緒進而反應在玩具狗上（圖5），玩具狗跟使用者對應的情緒分別是平常走路對應一般情緒、高興叫對應高興情緒、哀嚎對應憤怒情緒（圖5）。

圖4.系統流程圖

圖5.實驗用-玩具狗
3.1 輸入裝置-麥克風
為了將麥克風裝置所偵測到的聲音輸入至Max/MSP 軟體中，首先我們利用adc~物件來作接收(如圖6 所示)其功能為將聲音的類比訊號轉換為數位訊號。在adc~物件上方增加了一個Toggle開關物件，當Max/MSP 執行程式時，可點選它來決定聲音接收的開或關。而在adc~物件的下方兩條虛線代表將音源送出，分別接到peakamp~和fiddle~，peakamp~用來決定聲音的大小，而fiddle~用來決定聲音的頻率，這兩個物件的用法將敘述於以下兩個小節。

圖6. Toggle 物件、adc~物件及聲音判斷物件

3.1.1 聲音大小 (振幅) 偵測
如圖 6 所示，”peakamp~”物件來偵測音量，它能夠從麥克風輸入的聲音訊號中擷取出振幅的數值，聲音越大則振幅也就越大，而物件後面的數字代表每擷取一次音量的間隔時間 (以毫秒為單位)，本研究設定為100 代表每0.1 秒送出一個音量訊號，指每一秒可送出10個振幅訊號，從peakamp~物件下方接點所送出數值的有效位數最多為小數點後面2位，較不方便計算，所以本研究透過一些四則運算來調整數值，像是乘上127.99，可將數值範圍限制在0~127 間作變化，最後在 * 127.99 物件下方的物件是用來顯示所送出的數值大小 (此為聲音振幅的大小)，以方便我們觀察聲音振幅的大小的變化。

3.1.2 聲音高低 (頻率) 偵測
如圖 6 所示，fiddle~物件來偵測麥克風輸入聲音的頻率高低變化fiddle~物件後面的數字（2048）代表記憶體暫存容量大小，而下方接點所送出的數值代表的就是聲音的頻率數值，不過需要注意的是此音頻值為非連續性訊號，也就代表說當沒有聲音輸入時，音頻值將會維持在之前所留下的頻率數值，不會自動歸零。

肆．使用裝置
本作品之軟硬體需求如下：
●硬體需求：Arduino 控制板、步進馬達、玩具狗
●軟體環境：Microsoft Windows
●開發工具：Max/MSP

伍、結果與討論
本研究將情緒、玩具以及互動設計整合在同一個模組上，所以本研究把傳統的玩具基本設計上加入了語音情緒辨識裝置的附加功能，在電腦軟體上經由插入電腦的麥克風，並透過感應器間的鏈結來實現一隻懂得使用者情緒的玩具狗，讓使用者的感受到有別於以往的互動體驗與回饋，除了玩具之外，語音情緒辨識系統的技術可以進而應用到日常生活用品上，可以讓每個使用者隨時都可以吐露心聲且紓緩心情。

參考文獻
[中文部分]
[1]方裕民(2003)，人與物的對話，田園城市。
[2]金芝寧(2009)，導入情感設計的互動式人工生命，元智大學，碩士論文。
[3]胡瑞原(2004)，製造科技課程－「玩具」的設計與製造，生活科技教育月刊。
[4]陳育民、彭剛毅(2007 )，Emotion Spectacle –結合情意運算於眼鏡設計之互動
設計研究，亞東學報第27期P.125~132。
[5]程薇(2003)，教育心理學，志光教育文化出版社。
[6]黃煒雄(2009)，多媒體情境水池，南台科技大學。
[7]黃志成(1996)，「幼兒玩具的選擇」，育兒生活，第76 期，頁149-150。
[8]張白苓(2007)。淺談數位藝術創作之互動設計概念。美育雙月刊，157。
[9]鄧怡莘、張華憫(2004)，情緒在人機互動之發展與挑戰，國立交通大學應用藝
術研究所。

[英文部分]
[1]Preece, J., Rogers, Y., and Sharp, H. (2002). Interaction design: Beyond
human-computer interaction, Hoboken,NJ: John Wiley & sons.

[中文網站部分]
[1]M之道
http://maxmsp.recorderz.org/?page_id=2
[2]李家祥(2005)。互動技術概念。台灣數位藝術知識與創作流通平台
http://www.digiarts.org.tw/ShowColumnTW.aspx?lang=zh-tw&CC_NO=109
[3]教育部國語線上字典
http://dict.revised.moe.edu.tw/
[4]情緒的心理學定義

[5]經濟部標準檢驗局
http://www.bsmi.gov.tw/wSite/ct?xItem=17393&ctNode=2975&mp=4

[英文網站部分]
[1]Arduino – HomePage
http://www.arduino.cc/
[2]MAX-MSP Externals
http://crca.ucsd.edu/~tapel/software.html
[3]Research finds human emotions hold sway over physical health worldwide