本發(fā)明涉及智能裝置技術(shù)領(lǐng)域，尤其涉及一種聾啞人輔助方法、裝置以及電子設(shè)備。

背景技術(shù)：

聽覺是人類感知世界的一種重要方式。人類通過(guò)聽覺可以實(shí)現(xiàn)人與人之間的思想與感情的傳遞和反饋、躲避環(huán)境中的危險(xiǎn)狀況等。

調(diào)查顯示，聽力語(yǔ)言殘疾人數(shù)居視力殘疾、肢殘、肢殘等五大殘疾人數(shù)之首，僅中國(guó)聽力語(yǔ)言殘疾人數(shù)就有2000萬(wàn)左右，并且其中包括許多七歲以下的兒童。聽力語(yǔ)言殘疾人群由于聽力語(yǔ)言能力的缺陷，造成生活中存在非常多的障礙，因此聽力語(yǔ)言殘疾人群是亟需幫助的。目前，常見的聽力常見的聾啞人輔助設(shè)備包括：助聽器或人工耳蝸，這些設(shè)備對(duì)很多聾啞人都有幫助，但同時(shí)也存在一定的局限性。一方面，不同殘疾程度對(duì)助聽器或人工耳蝸的設(shè)備參數(shù)要求不同，用戶在選擇相應(yīng)產(chǎn)品時(shí)需要復(fù)雜的甄選過(guò)程。另一方面，對(duì)于聽力在語(yǔ)前已完全喪失且成年人，即使通過(guò)人工耳蝸植入等方式使其恢復(fù)聽覺，也不是恢復(fù)聽覺后就能聽懂說(shuō)話，而是要進(jìn)行語(yǔ)言訓(xùn)練，而且由于錯(cuò)過(guò)了最佳語(yǔ)言學(xué)習(xí)期，語(yǔ)言訓(xùn)練效果往往不理想，導(dǎo)致交流時(shí)仍存在較大的障礙。綜上，現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備一定的局限性，如何輔助聾啞人方便、快捷的感知聲音仍是本領(lǐng)域技術(shù)人員不斷研究的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例提供一種聾啞人輔助方法、裝置以及電子設(shè)備，主要用于輔助聾啞人方便、快捷的感知聲音。

為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：

第一方面，提供一種聾啞人輔助方法，包括：

接收聲音；

對(duì)所述聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將所述聲音轉(zhuǎn)換為顯示信號(hào)；

在所述顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示。

第二方面，提供一種交流輔助裝置，包括：

接收單元，用于接收聲音；

轉(zhuǎn)換單元，用于對(duì)所述聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將所述聲音轉(zhuǎn)換為顯示信號(hào)；

顯示單元，用于在所述顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示。

第三方面，提供一種電子設(shè)備，包括：聲音采集設(shè)備、顯示設(shè)備、存儲(chǔ)器和處理器，聲音采集設(shè)備、顯示設(shè)備和存儲(chǔ)器耦合至所述處理器；所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)執(zhí)行代碼，所述計(jì)算機(jī)執(zhí)行代碼用于控制所述處理器執(zhí)行第一方面所述的聾啞人輔助方法。

第四方面，提供一種存儲(chǔ)介質(zhì)，其特征在于，用于儲(chǔ)存為第二方面所述的交流輔助裝置所用的計(jì)算機(jī)軟件指令，其包含執(zhí)行第一方面所述的聾啞人輔助方法所設(shè)計(jì)的程序代碼。

第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，可直接加載到計(jì)算機(jī)的內(nèi)部存儲(chǔ)器中，并含有軟件代碼，所述計(jì)算機(jī)程序經(jīng)由計(jì)算機(jī)載入并執(zhí)行后能夠?qū)崿F(xiàn)第一方面所述的聾啞人輔助方法。

本發(fā)明的實(shí)施例提供的聾啞人輔助方法，首先接收聲音，然后對(duì)接收到的聲音行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)，最后在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示，由于本發(fā)明實(shí)施例提供的聾啞人輔助方法可以將接收到的聲音轉(zhuǎn)換為顯示信號(hào)，并將在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示，即可以將接收到的聽覺信號(hào)轉(zhuǎn)換成視覺信號(hào)，進(jìn)而使聾啞人通過(guò)視覺看到與聲音對(duì)應(yīng)的顯示內(nèi)容，因此通過(guò)本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人感知聲音。此外，相比于現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備，本發(fā)明實(shí)施例提供的聾啞人輔助方法無(wú)需復(fù)雜的甄選過(guò)程，也無(wú)需進(jìn)行語(yǔ)言訓(xùn)練，因此相比于現(xiàn)有技術(shù)本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人方便、快捷的感知聲音。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之一；

圖2為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之二；

圖3為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之三；

圖4為本發(fā)明的實(shí)施例提供的聲音方位與顯示位置的對(duì)應(yīng)關(guān)系的示意圖；

圖5為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之四；

圖6為本發(fā)明的實(shí)施例提供的聾啞人輔助裝置的示意性結(jié)構(gòu)圖之一；

圖7為本發(fā)明的實(shí)施例提供的聾啞人輔助裝置的示意性結(jié)構(gòu)圖之二；

圖8為本發(fā)明的實(shí)施例提供的聾啞人輔助裝置的示意性結(jié)構(gòu)圖之三；

圖9為本發(fā)明的實(shí)施例提供的電子設(shè)備的示意性結(jié)構(gòu)圖。

具體實(shí)施方式

本文中術(shù)語(yǔ)“和/或”，僅僅是一種描述關(guān)聯(lián)對(duì)象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，a和/或b，可以表示：?jiǎn)为?dú)存在a，同時(shí)存在a和b，單獨(dú)存在b這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對(duì)象是一種“或”的關(guān)系。如果不加說(shuō)明，本文中的“多個(gè)”是指兩個(gè)或兩個(gè)以上。

需要說(shuō)明的是，本發(fā)明實(shí)施例中，“示例性的”或者“例如”等詞用于表示作例子、例證或說(shuō)明。本發(fā)明實(shí)施例中被描述為“示例性的”或者“例如”的任何實(shí)施例或設(shè)計(jì)方案不應(yīng)被解釋為比其它實(shí)施例或設(shè)計(jì)方案更優(yōu)選或更具優(yōu)勢(shì)。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現(xiàn)相關(guān)概念。

需要說(shuō)明的是，本發(fā)明實(shí)施例中，除非另有說(shuō)明，“多個(gè)”的含義是指兩個(gè)或兩個(gè)以上。

需要說(shuō)明的是，本發(fā)明實(shí)施例中，“的(英文：of)”，“相應(yīng)的(英文：corresponding，relevant)”和“對(duì)應(yīng)的(英文：corresponding)”有時(shí)可以混用，應(yīng)當(dāng)指出的是，在不強(qiáng)調(diào)其區(qū)別時(shí)，其所要表達(dá)的含義是一致的。

下面將結(jié)合本發(fā)明實(shí)施例的說(shuō)明書附圖，對(duì)本發(fā)明實(shí)施例提供的技術(shù)方案進(jìn)行說(shuō)明。顯然，所描述的是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。需要說(shuō)明的是，下文所提供的任意多個(gè)技術(shù)方案中的部分或全部技術(shù)特征在不沖突的情況下，可以結(jié)合使用，形成新的技術(shù)方案。

本發(fā)明實(shí)施例所提供的技術(shù)方案的基本原理為：對(duì)接收到的聲音進(jìn)行識(shí)別，將接收到的聲音轉(zhuǎn)換為顯示信號(hào)并在顯示信號(hào)的驅(qū)動(dòng)下將聲音對(duì)應(yīng)的內(nèi)容顯示出來(lái)，從而使聾啞人通過(guò)觀看與聲音對(duì)應(yīng)的視覺信息感知聲音。

本發(fā)明實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體可以為聾啞人輔助裝置或者可以用于執(zhí)行聾啞人輔助方法的電子設(shè)備。其中，聾啞人輔助裝置可以為上述電子設(shè)備中的中央處理器(centralprocessingunit，cpu)、cpu與存儲(chǔ)器等硬件的組合、或者可以為上述電子設(shè)備中的其他控制單元或者模塊。

示例性的，上述電子設(shè)備可以為采用本發(fā)明實(shí)施例提供的方法進(jìn)行聾啞人輔助的手機(jī)、增強(qiáng)現(xiàn)實(shí)眼鏡(簡(jiǎn)稱：ar眼鏡)、個(gè)人計(jì)算機(jī)((personalcomputer，pc)、上網(wǎng)本、個(gè)人數(shù)字助理(英文：personaldigitalassistant，簡(jiǎn)稱：pda)、服務(wù)器等，或者上述電子設(shè)備可以為安裝有可以進(jìn)行聾啞人輔助的軟件客戶端或軟件系統(tǒng)或軟件應(yīng)用的pc、服務(wù)器等，具體的硬件實(shí)現(xiàn)環(huán)境可以通用計(jì)算機(jī)形式，或者是asic的方式，也可以是fpga，或者是一些可編程的擴(kuò)展平臺(tái)例如tensilica的xtensa平臺(tái)等等。

基于上述內(nèi)容，本發(fā)明的實(shí)施例提供一種聾啞人輔助方法，具體的參照?qǐng)D1所示，該聾啞人輔助方法包括如下步驟：

s11、接收聲音。

具體的，上述實(shí)施例中的聲音可以為他人與用戶進(jìn)行交流時(shí)發(fā)出的說(shuō)話聲音、廣播發(fā)出的說(shuō)話聲音等；也可以為環(huán)境中的聲音，例如：汽車?guó)Q笛的聲音、狗叫的聲音、打雷的聲音等。

此外，上述步驟s11中具體可以通過(guò)麥克風(fēng)(英文名稱：microphone，簡(jiǎn)稱：mic)、mic陣列等聲音感應(yīng)裝置來(lái)對(duì)聲音進(jìn)行接收。

s12、對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)。

具體的，上述實(shí)施例中對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)的過(guò)程可以在聾啞人輔助裝置內(nèi)部完成，也可以通過(guò)遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成。

當(dāng)對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)的過(guò)程在聾啞人輔助裝置內(nèi)部完成時(shí)，步驟s12具體可以通過(guò)如下步驟實(shí)現(xiàn)：a、通過(guò)內(nèi)部的聲音處理裝置對(duì)聲音進(jìn)行識(shí)別，b根據(jù)聲音處理裝置的識(shí)別結(jié)果將聲音轉(zhuǎn)換為對(duì)應(yīng)的顯示信號(hào)。

當(dāng)對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)的過(guò)程通過(guò)遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成時(shí)，步驟s12具體可以通過(guò)如下步驟實(shí)現(xiàn)：c、將聲音發(fā)送至遠(yuǎn)端服務(wù)器，以便與端服務(wù)器對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)。d、接收遠(yuǎn)端服務(wù)器發(fā)送的顯示信號(hào)。示例性的，遠(yuǎn)端服務(wù)設(shè)備可以為云端服務(wù)器等。

可選的，上述步驟s12中將聲音轉(zhuǎn)換為顯示信號(hào)具體可以為：將聲音轉(zhuǎn)換為用于顯示文字的顯示信號(hào)、用于顯示標(biāo)識(shí)的顯示信號(hào)、用于顯示動(dòng)態(tài)畫面的顯示信號(hào)中的至少一種。

示例性的，當(dāng)接收到的聲音為與用戶面對(duì)面進(jìn)行交流的人發(fā)出的語(yǔ)音時(shí)，可以將接收到的聲音轉(zhuǎn)換成用于顯示文字的顯示信號(hào)。再例如：當(dāng)接收到的聲音為狗叫聲時(shí)，可以將接收到的聲音轉(zhuǎn)換成用于顯示狗的卡通畫等標(biāo)識(shí)的顯示信號(hào)。再例如：當(dāng)接收到的聲音為汽車行走時(shí)發(fā)出的聲音時(shí)，可以將接收到的聲音轉(zhuǎn)換為用于顯示汽車行走的動(dòng)態(tài)畫面的顯示信號(hào)。此外，上述實(shí)施例中還可以通過(guò)多種方式的組合來(lái)更加清楚的通過(guò)視覺信息表現(xiàn)接收到的聲音。例如：當(dāng)接收到的聲音為汽車行走時(shí)發(fā)出的聲音時(shí)，可以將接收到的聲音轉(zhuǎn)換為用于顯示汽車行走的動(dòng)態(tài)畫面以及汽車標(biāo)識(shí)的顯示信號(hào)。當(dāng)然，在上述實(shí)施例基礎(chǔ)上本領(lǐng)域技還可能想到將接收到的聲音轉(zhuǎn)換為其他類型的顯示信號(hào)，但這都屬于本發(fā)明實(shí)施例的合理變通方案，因此均應(yīng)屬于本發(fā)明實(shí)施例的保護(hù)范圍之內(nèi)。

s13、在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示。

上述對(duì)視覺信息進(jìn)行顯示的具體顯示方式可以基于本發(fā)明實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體來(lái)選擇。例如：當(dāng)上述實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體為手機(jī)時(shí)，在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示可以為通過(guò)顯示信號(hào)驅(qū)動(dòng)手機(jī)屏幕進(jìn)行顯示，再例如：當(dāng)上述實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體為ar眼鏡時(shí)，對(duì)視覺信息進(jìn)行顯示可以為通過(guò)顯示信號(hào)驅(qū)動(dòng)投影顯示裝置將顯示內(nèi)容投影在ar眼鏡的鏡片上進(jìn)行顯示。

本發(fā)明的實(shí)施例提供的聾啞人輔助方法，首先接收聲音，然后對(duì)接收到的聲音行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)，最后在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示，由于本發(fā)明實(shí)施例提供的聾啞人輔助方法可以將接收到的聲音轉(zhuǎn)換為顯示信號(hào)，并將在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示，即可以將接收到的聽覺信號(hào)轉(zhuǎn)換成視覺信號(hào)，進(jìn)而使聾啞人通過(guò)視覺看到與聲音對(duì)應(yīng)的顯示內(nèi)容，因此通過(guò)本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人感知聲音。此外，相比于現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備，本發(fā)明實(shí)施例提供的聾啞人輔助方法無(wú)需復(fù)雜的甄選過(guò)程，也無(wú)需進(jìn)行語(yǔ)言訓(xùn)練，因此相比于現(xiàn)有技術(shù)本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人方便、快捷的感知聲音。

可選的，參照?qǐng)D2所示，上述步驟s12中對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)，具體可以通過(guò)如下步驟實(shí)現(xiàn)：

s121、對(duì)聲音的種類進(jìn)行識(shí)別。

在步驟s121中，若通過(guò)對(duì)聲音的種類進(jìn)行識(shí)別后確定聲音為說(shuō)話聲時(shí)，執(zhí)行步驟s122；和/或，若通過(guò)對(duì)聲音的種類進(jìn)行識(shí)別后確定聲音為環(huán)境聲時(shí)，執(zhí)行步驟s123。即，本發(fā)明實(shí)施例中的步驟s122和步驟s123可以均執(zhí)行，也可以擇一執(zhí)行。

需要說(shuō)明的是，本發(fā)明實(shí)施例中的說(shuō)話聲一般是指人類在交談、演講、播報(bào)新聞等時(shí)發(fā)出的聲音。此外，在一些情況下，說(shuō)話聲也可能會(huì)經(jīng)過(guò)處理后被接收到，例如：在演講時(shí)將演講者發(fā)出的聲音經(jīng)過(guò)放大后輸出并被接收到。雖然此類聲音并不是人類直接發(fā)出的說(shuō)話聲，但此類聲音也屬于本發(fā)明實(shí)施例中的說(shuō)話聲。

還需要說(shuō)明的是，本發(fā)明實(shí)施例中的環(huán)境聲音是區(qū)別于說(shuō)話聲的其他聲音，即將接收到的聲音分為說(shuō)話聲和環(huán)境聲。具體的，環(huán)境聲可以為：汽車?guó)Q笛的聲音、狗叫的聲音、打雷的聲音、環(huán)境中的噪聲等。

s122、識(shí)別說(shuō)話聲的內(nèi)容，根據(jù)說(shuō)話聲的內(nèi)容將說(shuō)話聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示文字的顯示信號(hào)。

可選的，上述實(shí)施例中識(shí)別說(shuō)話聲的內(nèi)容具體可以通過(guò)如下步驟實(shí)現(xiàn)：e、通過(guò)語(yǔ)種類型識(shí)別技術(shù)判斷接收到聲音的語(yǔ)種類型，例如：將接收到的聲音識(shí)別為中文、英文、法文等。f、根據(jù)接收到聲音的語(yǔ)種類型與具體接收到的聲音識(shí)別說(shuō)話內(nèi)容。即，當(dāng)接收到的聲音為說(shuō)話聲時(shí)，可以先識(shí)別說(shuō)話聲的語(yǔ)種類型再識(shí)別說(shuō)話的具體內(nèi)容。

由于說(shuō)話內(nèi)容往往比較復(fù)雜，通過(guò)標(biāo)識(shí)、動(dòng)態(tài)畫面等方法很難清楚的對(duì)應(yīng)說(shuō)話內(nèi)容進(jìn)行顯示，因此在本發(fā)明實(shí)施中，當(dāng)聲音為說(shuō)話聲時(shí)，將根據(jù)說(shuō)話聲的內(nèi)容將聲音轉(zhuǎn)為文字，從而更加清楚的顯示出接收到的說(shuō)話聲的內(nèi)容。

s123、識(shí)別環(huán)境聲的類別，根據(jù)環(huán)境聲的類別將環(huán)境聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示標(biāo)識(shí)的顯示信號(hào)。

示例性的，上述實(shí)施例中的標(biāo)識(shí)具體可以為：狗的卡通畫、汽車的卡通畫、危險(xiǎn)標(biāo)識(shí)、雷電標(biāo)識(shí)等。

進(jìn)一步的，上述實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人感知說(shuō)話聲音以及環(huán)境中的各種聲音，但是當(dāng)用戶處于嘈雜的環(huán)境中接受到說(shuō)話聲時(shí)，接收到的說(shuō)話聲中可能包含有環(huán)境中的噪音，進(jìn)而可能會(huì)造成說(shuō)話聲的內(nèi)容識(shí)別不準(zhǔn)確。針對(duì)上述問(wèn)題本發(fā)明實(shí)施例提供了一種聾啞人輔助方法，具體的，參照?qǐng)D3所示，在圖2所示聾啞人輔助方的基礎(chǔ)上本發(fā)明實(shí)施例提供的聾啞人輔助方法還進(jìn)一步包括：

s31、獲取相對(duì)人的圖像。

其中，相對(duì)人為發(fā)出說(shuō)話聲的人。

具體的，可以通過(guò)單目攝像頭、雙目攝像頭、深度攝像頭、圖像傳感器等的一種或多種來(lái)獲取相對(duì)人的圖像。本發(fā)明實(shí)施例中可以采用任一種圖像采集裝置還獲取相對(duì)人的圖像，本發(fā)明實(shí)施例中對(duì)獲取相對(duì)人的圖像的方式不作限定，以能夠獲取相對(duì)人的圖像為準(zhǔn)。此外，示例性的，相對(duì)人的圖像可以為相對(duì)人說(shuō)話時(shí)的動(dòng)態(tài)畫面。

s32、根據(jù)相對(duì)人的圖像獲取相對(duì)人的嘴唇動(dòng)作。

上述步驟s122中根據(jù)所述說(shuō)話聲的內(nèi)容將所述說(shuō)話聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示文字的顯示信號(hào)，可以通過(guò)步驟s33所提供的實(shí)現(xiàn)方式來(lái)實(shí)現(xiàn)。

s33、根據(jù)所述說(shuō)話聲的內(nèi)容和所述相對(duì)人的嘴唇動(dòng)作將所述說(shuō)話聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示文字的顯示信號(hào)。

上述實(shí)施例中通過(guò)進(jìn)一步獲取獲取相對(duì)人的圖像，對(duì)相對(duì)人的圖像進(jìn)行識(shí)別獲取相對(duì)人的嘴唇動(dòng)作，然后在聲音為說(shuō)話聲時(shí)，識(shí)別說(shuō)話聲的內(nèi)容，以及根據(jù)說(shuō)話聲的內(nèi)容和相對(duì)人的嘴唇動(dòng)作將說(shuō)話聲的內(nèi)容轉(zhuǎn)換為與文字對(duì)應(yīng)的顯示信號(hào)，由于通過(guò)唇語(yǔ)識(shí)別技術(shù)可以根據(jù)相對(duì)人的嘴唇動(dòng)作解讀部分相對(duì)人說(shuō)的話，因此可以提高轉(zhuǎn)換的準(zhǔn)確性。

進(jìn)一步的，上述實(shí)施例提供的聾啞人輔助方法還包括：

獲取聲音的方位；

上述步驟s13中在所述顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示具體可以通過(guò)如下實(shí)現(xiàn)方式來(lái)實(shí)現(xiàn)：根據(jù)所述聲音的方位在所述顯示信號(hào)的驅(qū)動(dòng)下在顯示界面的相應(yīng)位置上進(jìn)行顯示。

示例性的，參照?qǐng)D4所示，當(dāng)聲音所在方為位于用戶后方f1時(shí)，將與聲音對(duì)應(yīng)的顯示內(nèi)容41在顯示界面40的下方；當(dāng)聲音所在方為位于用戶前方f2時(shí)，將與聲音對(duì)應(yīng)的顯示內(nèi)容42顯示在顯示界面40的上方；當(dāng)聲音所在方為位于用戶左側(cè)f3時(shí)，將與聲音對(duì)應(yīng)的顯示內(nèi)容43顯示在顯示界面40的左側(cè)；當(dāng)聲音所在方為位于用戶右側(cè)f4時(shí)，將與聲音對(duì)應(yīng)的顯示內(nèi)容44顯示在顯示界面40的右側(cè)。

根據(jù)聲音的方位將顯示內(nèi)容在顯示界面的相應(yīng)位置上進(jìn)行顯示，可以進(jìn)一步使用戶了解到聲音產(chǎn)生的方位，進(jìn)而可以輔助聾啞人更加全面的對(duì)聲音進(jìn)行感知。

聾啞人可以通過(guò)手語(yǔ)與正常人進(jìn)行交流、溝通，但當(dāng)聾啞人面對(duì)一些對(duì)手語(yǔ)不了解的人時(shí)，交流、溝通將無(wú)法進(jìn)行。針對(duì)上述問(wèn)題，本發(fā)明實(shí)施例進(jìn)一步提供了一種聾啞人輔助方法，具體的，參照?qǐng)D5所示，本發(fā)明實(shí)施例提供的聾啞人輔助方法包括：

s51、檢測(cè)用戶的手部動(dòng)作。

可選的，檢測(cè)用戶的手部動(dòng)作具體可以為：通過(guò)單目攝像頭、雙目攝像頭、深度攝像頭、圖像傳感器等的一種或多種來(lái)獲取用戶的動(dòng)態(tài)畫面，進(jìn)而根據(jù)用戶的動(dòng)態(tài)畫面獲取用戶的手部動(dòng)作。此外，檢測(cè)用戶的手部動(dòng)作還可以通過(guò)手部穿戴設(shè)備，檢測(cè)用戶手部的加速度、旋轉(zhuǎn)角度等運(yùn)動(dòng)參數(shù)，并根據(jù)運(yùn)動(dòng)參數(shù)來(lái)獲取用戶的手部動(dòng)作。其中，手部穿戴設(shè)備可以為：指環(huán)、腕帶、數(shù)據(jù)手套等。

s52、對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為語(yǔ)音。

同樣，上述實(shí)施例中對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為語(yǔ)音的過(guò)程可以在聾啞人輔助裝置內(nèi)部完成，也可以通過(guò)遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成。

當(dāng)對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為語(yǔ)音的過(guò)程在聾啞人輔助裝置內(nèi)部完成時(shí)，步驟s52具體可以通過(guò)如下步驟實(shí)現(xiàn)：a、通過(guò)聾啞人輔助裝置內(nèi)部的圖像處理裝置對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別。b根據(jù)圖像處理裝置的識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為對(duì)應(yīng)的語(yǔ)音。

當(dāng)對(duì)圖像進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將圖像轉(zhuǎn)換為聲音信息的過(guò)程通過(guò)遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成時(shí)，步驟s52具體可以通過(guò)如下步驟實(shí)現(xiàn)：c、將圖像發(fā)送至遠(yuǎn)端服務(wù)器，以便遠(yuǎn)端服務(wù)器對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為語(yǔ)音。d、接收遠(yuǎn)端服務(wù)器發(fā)送的語(yǔ)音。示例性的，遠(yuǎn)端服務(wù)設(shè)備可以為云端服務(wù)器等。

s53、對(duì)語(yǔ)音進(jìn)行播報(bào)。

具體的，可以通過(guò)語(yǔ)音合成技術(shù)將手勢(shì)表達(dá)的手語(yǔ)內(nèi)容轉(zhuǎn)換為語(yǔ)音，并通過(guò)揚(yáng)聲器(英文名稱：speaker)將語(yǔ)音播報(bào)出來(lái)。

上述實(shí)施例中可以將手語(yǔ)內(nèi)容轉(zhuǎn)換成語(yǔ)音并播報(bào)出來(lái)，所以可以使不了解手語(yǔ)的人通過(guò)播報(bào)出來(lái)的語(yǔ)音獲知手語(yǔ)聾啞人通手語(yǔ)所表達(dá)的內(nèi)容，進(jìn)而進(jìn)一步輔助聾啞人進(jìn)行溝通。

下面說(shuō)明本發(fā)明實(shí)施例提供的與上文所提供的方法實(shí)施例相對(duì)應(yīng)的裝置實(shí)施例。需要說(shuō)明的是，下述裝置實(shí)施例中相關(guān)內(nèi)容的解釋，均可以參考上述方法實(shí)施例。

在采用對(duì)應(yīng)各個(gè)功能劃分各個(gè)功能模塊的情況下，圖6示出了上述實(shí)施例中所涉及的聾啞人輔助裝置的一種可能的結(jié)構(gòu)示意圖。參照?qǐng)D6所示，聾啞人輔助裝置包括：

接收單元61，用于接收聲音；

轉(zhuǎn)換單元62，用于對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)；

顯示單元63，用于在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示。

本發(fā)明實(shí)施例提供的聾啞人輔助裝置包括：接收單元、轉(zhuǎn)換單元以及顯示單元，其中，接收單元用于接收聲音，轉(zhuǎn)換單元用于對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)，顯示單元用于在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示，所以本發(fā)明實(shí)施例提供的聾啞人輔助裝置可以將接收到的聽覺信號(hào)轉(zhuǎn)換成視覺信號(hào)，進(jìn)而使聾啞人通過(guò)視覺看到與聲音對(duì)應(yīng)的顯示內(nèi)容，因此通過(guò)本發(fā)明實(shí)施例提供的聾啞人輔助裝置可以輔助聾啞人感知聲音。此外，相比于現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備，本發(fā)明實(shí)施例提供的聾啞人輔助裝置無(wú)需復(fù)雜的甄選過(guò)程，也無(wú)需進(jìn)行語(yǔ)言訓(xùn)練，因此相比于現(xiàn)有技術(shù)本發(fā)明實(shí)施例提供的聾啞人輔助裝置可以輔助聾啞人方便、快捷的感知聲音。

可選的，轉(zhuǎn)換單元62具體用于對(duì)聲音的種類進(jìn)行識(shí)別；

轉(zhuǎn)換單元62具體用于當(dāng)聲音為說(shuō)話聲時(shí)，識(shí)別說(shuō)話聲的內(nèi)容，根據(jù)說(shuō)話聲的內(nèi)容將說(shuō)話聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示文字的顯示信號(hào)；和/或當(dāng)聲音為環(huán)境聲時(shí)，識(shí)別環(huán)境聲的類別，根據(jù)環(huán)境聲的類別將環(huán)境聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示標(biāo)識(shí)的顯示信號(hào)。

可選的，接收單元61還用于獲取相對(duì)人的圖像；其中，相對(duì)人為發(fā)出說(shuō)話聲的人；

轉(zhuǎn)換單元62還用于根據(jù)相對(duì)人的圖像獲取相對(duì)人的嘴唇動(dòng)作；

所述轉(zhuǎn)換單元62具體用于根據(jù)所述說(shuō)話聲的內(nèi)容和所述相對(duì)人的嘴唇動(dòng)作將所述說(shuō)話聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示文字的顯示信號(hào)。

可選的，接收單元61還用于獲取聲音的方位；

所述顯示單元63還用于根據(jù)所述聲音的方位在所述顯示信號(hào)的驅(qū)動(dòng)下在顯示界面的相應(yīng)位置上進(jìn)行顯示。

可選的，參照?qǐng)D7所示，轉(zhuǎn)換單元62包括：發(fā)送模塊71和接收模塊72；

發(fā)送模塊71用于將聲音發(fā)送至遠(yuǎn)端服務(wù)器，以便與端服務(wù)器對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)；

接收模塊72用于接收遠(yuǎn)端服務(wù)器發(fā)送的顯示信號(hào)。

可選的，參照?qǐng)D8所示，聾啞人輔助裝置600還包括：語(yǔ)音播報(bào)單元64；

接收單元61還用于檢測(cè)用戶的手部動(dòng)作；

識(shí)別單元62還用于對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為語(yǔ)音；

語(yǔ)音播報(bào)單元64用于對(duì)語(yǔ)音進(jìn)行播報(bào)。

即，接收單元61用于實(shí)現(xiàn)上述聾啞人輔助方法中的接收聲音、獲取相對(duì)人的圖像以及獲取聲音的方位的步驟；識(shí)別單元62用于實(shí)現(xiàn)上述聾啞人輔助方法中的對(duì)聲音進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將聲音轉(zhuǎn)換為顯示信號(hào)、對(duì)聲音的種類進(jìn)行識(shí)別、識(shí)別說(shuō)話聲的內(nèi)容，根據(jù)說(shuō)話聲的內(nèi)容將說(shuō)話聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示文字的顯示信號(hào)、識(shí)別環(huán)境聲的類別，根據(jù)環(huán)境聲的類別將環(huán)境聲轉(zhuǎn)換為用于驅(qū)動(dòng)顯示標(biāo)識(shí)的顯示信號(hào)、根據(jù)相對(duì)人的圖像獲取相對(duì)人的嘴唇動(dòng)作、根據(jù)說(shuō)話聲的內(nèi)容和相對(duì)人的嘴唇動(dòng)作將說(shuō)話聲的內(nèi)容轉(zhuǎn)換為與文字對(duì)應(yīng)的顯示信號(hào)以及對(duì)用戶的手部動(dòng)作進(jìn)行識(shí)別并根據(jù)識(shí)別結(jié)果將用戶的手部動(dòng)作轉(zhuǎn)換為語(yǔ)音的步驟；發(fā)送模塊71用于實(shí)現(xiàn)上述聾啞人輔助方法中的將聲音發(fā)送至遠(yuǎn)端服務(wù)器的步驟；發(fā)送模塊72用于實(shí)現(xiàn)上述聾啞人輔助方法中的接收遠(yuǎn)端服務(wù)器發(fā)送的顯示信號(hào)的步驟；顯示單元63用于實(shí)現(xiàn)上述聾啞人輔助方法中的在顯示信號(hào)的驅(qū)動(dòng)下進(jìn)行顯示和根據(jù)環(huán)境聲的方位將標(biāo)識(shí)顯示在顯示界面的相應(yīng)位置的步驟，語(yǔ)音播報(bào)單元64用于實(shí)現(xiàn)上述聾啞人輔助方法中的對(duì)語(yǔ)音進(jìn)行播報(bào)的步驟。

還需說(shuō)明的是，上述方法實(shí)施例涉及的各步驟的所有相關(guān)內(nèi)容均可以援引到對(duì)應(yīng)功能模塊的功能描述，在此不再贅述。

在硬件實(shí)現(xiàn)上，上述的接收單元61可以是mic、mic陣列、攝像頭、圖像傳感器、超聲波檢測(cè)裝置、紅外攝像頭等中的一種或多種。識(shí)別單元62可以處理器或者收發(fā)機(jī)；顯示單元63可以是顯示屏、激光投影顯示裝置；語(yǔ)音播報(bào)單元64可以是揚(yáng)聲器等。上述聾啞人輔助裝置所執(zhí)行的動(dòng)作所對(duì)應(yīng)的程序均可以以軟件形式存儲(chǔ)于聾啞人輔助裝置的存儲(chǔ)器中，以便于處理器調(diào)用執(zhí)行以上各個(gè)單元對(duì)應(yīng)的操作。

在采用集成的單元的情況下，圖9示出了包括上述實(shí)施例中所涉及的聾啞人輔助裝置的電子設(shè)備的可能的結(jié)構(gòu)示意圖。電子設(shè)備900包括：處理器91、存儲(chǔ)器92、系統(tǒng)總線93、通信接口94、聲音采集設(shè)備95、顯示設(shè)備96。

上述處理器91可以是一個(gè)處理器，也可以是多個(gè)處理元件的統(tǒng)稱。例如，處理器91可以為中央處理器(centralprocessingunit，cpu)。處理器91也可以為其他通用處理器、數(shù)字信號(hào)處理器(digitalsignalprocessing，dsp)、專用集成電路(applicationspecificintegratedcircuit，asic)、現(xiàn)場(chǎng)可編程門陣列(field-programmablegatearray，fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等，其可以實(shí)現(xiàn)或執(zhí)行結(jié)合本發(fā)明公開內(nèi)容所描述的各種示例性的邏輯方框，模塊和電路。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。處理器91還可以為專用處理器，該專用處理器可以包括基帶處理芯片、射頻處理芯片等中的至少一個(gè)。處理器也可以是實(shí)現(xiàn)計(jì)算功能的組合，例如包含一個(gè)或多個(gè)微處理器組合，dsp和微處理器的組合等等。進(jìn)一步地，該專用處理器還可以包括具有該裝置其他專用處理功能的芯片。

存儲(chǔ)器92用于存儲(chǔ)計(jì)算機(jī)執(zhí)行代碼，處理器91與存儲(chǔ)器92通過(guò)系統(tǒng)總線93連接，當(dāng)電子設(shè)備運(yùn)行時(shí)，處理器91用于執(zhí)行存儲(chǔ)器92存儲(chǔ)的計(jì)算機(jī)執(zhí)行代碼，以執(zhí)行本發(fā)明實(shí)施例提供的任意一種聾啞人輔助方法，如，處理器91用于支持電子設(shè)備執(zhí)行圖1所示的步驟s12、圖2所示的步驟s121、s122、123、圖3所示的步驟s32、s33以及圖5所示的步驟s52，和/或用于本文所描述的技術(shù)的其它過(guò)程，具體的聾啞人輔助方法可參考上文及附圖中的相關(guān)描述，此處不再贅述。

系統(tǒng)總線93可以包括數(shù)據(jù)總線、電源總線、控制總線和信號(hào)狀態(tài)總線等。本實(shí)施例中為了清楚說(shuō)明，在圖9中將各種總線都示意為系統(tǒng)總線93。

通信接口94具體可以是該裝置上的收發(fā)器。該收發(fā)器可以為無(wú)線收發(fā)器。例如，無(wú)線收發(fā)器可以是該裝置的天線等。處理器91通過(guò)通信接口94與其他設(shè)備，例如，若該裝置為該電子設(shè)備中的一個(gè)模塊或組件時(shí)，該裝置用于與該電子設(shè)備中的其他模塊之間進(jìn)行數(shù)據(jù)交互。

結(jié)合本發(fā)明公開內(nèi)容所描述的方法的步驟可以硬件的方式來(lái)實(shí)現(xiàn)，也可以是由處理器執(zhí)行軟件指令的方式來(lái)實(shí)現(xiàn)。本發(fā)明實(shí)施例還提供一種存儲(chǔ)介質(zhì)，用于儲(chǔ)存為圖9所示的電子設(shè)備所用的計(jì)算機(jī)軟件指令，其包含執(zhí)行上述任一實(shí)施例提供的聾啞人輔助方法所設(shè)計(jì)的程序代碼。其中，軟件指令可以由相應(yīng)的軟件模塊組成，軟件模塊可以被存放于隨機(jī)存取存儲(chǔ)器(英文：randomaccessmemory，縮寫：ram)、閃存、只讀存儲(chǔ)器(英文：readonlymemory，縮寫：rom)、可擦除可編程只讀存儲(chǔ)器(英文：erasableprogrammablerom，縮寫：eprom)、電可擦可編程只讀存儲(chǔ)器(英文：electricallyeprom，縮寫：eeprom)、寄存器、硬盤、移動(dòng)硬盤、只讀光盤(cd-rom)或者本領(lǐng)域熟知的任何其它形式的存儲(chǔ)介質(zhì)中。一種示例性的存儲(chǔ)介質(zhì)耦合至處理器，從而使處理器能夠從該存儲(chǔ)介質(zhì)讀取信息，且可向該存儲(chǔ)介質(zhì)寫入信息。當(dāng)然，存儲(chǔ)介質(zhì)也可以是處理器的組成部分。處理器和存儲(chǔ)介質(zhì)可以位于asic中。另外，該asic可以位于核心網(wǎng)接口設(shè)備中。當(dāng)然，處理器和存儲(chǔ)介質(zhì)也可以作為分立組件存在于核心網(wǎng)接口設(shè)備中。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序可直接加載到計(jì)算機(jī)的內(nèi)部存儲(chǔ)器中，并含有軟件代碼，計(jì)算機(jī)程序經(jīng)由計(jì)算機(jī)載入并執(zhí)行后能夠?qū)崿F(xiàn)上述任一實(shí)施例提供的聾啞人輔助方法。

本領(lǐng)域技術(shù)人員應(yīng)該可以意識(shí)到，在上述一個(gè)或多個(gè)示例中，本發(fā)明所描述的功能可以用硬件、軟件、固件或它們的任意組合來(lái)實(shí)現(xiàn)。當(dāng)使用軟件實(shí)現(xiàn)時(shí)，可以將這些功能存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中或者作為計(jì)算機(jī)可讀介質(zhì)上的一個(gè)或多個(gè)指令或代碼進(jìn)行傳輸。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)，其中通信介質(zhì)包括便于從一個(gè)地方向另一個(gè)地方傳送計(jì)算機(jī)程序的任何介質(zhì)。存儲(chǔ)介質(zhì)可以是通用或?qū)Ｓ糜?jì)算機(jī)能夠存取的任何可用介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。