本發(fā)明屬于教育大模型評(píng)測(cè)技術(shù)和口語(yǔ)評(píng)測(cè)，尤其涉及一種面向口語(yǔ)練習(xí)場(chǎng)景的教育大模型評(píng)測(cè)方法。

背景技術(shù)：

1、口語(yǔ)練習(xí)是指通過(guò)對(duì)話、模仿、角色扮演等方式，提高個(gè)人語(yǔ)言口頭表達(dá)能力的活動(dòng)，它在語(yǔ)言學(xué)習(xí)中扮演著重要角色。隨著大規(guī)模語(yǔ)言模型在語(yǔ)音識(shí)別和語(yǔ)音生成方面的能力不斷提高，它們逐漸應(yīng)用于用戶與系統(tǒng)之間的口語(yǔ)對(duì)話交互，衍生出了一系列口語(yǔ)練習(xí)場(chǎng)景下的人工智能產(chǎn)品，這些產(chǎn)品不僅能夠理解用戶的語(yǔ)音輸入，還能生成自然、流暢的口語(yǔ)回答，從而幫助用戶學(xué)習(xí)外語(yǔ)，提升口語(yǔ)能力。目前，面向中小學(xué)生的口語(yǔ)練習(xí)產(chǎn)品眾多，如何評(píng)估它們回答的質(zhì)量成為一個(gè)需要考慮的問(wèn)題。然而，相關(guān)技術(shù)方案主要有以下不足之處：

2、1.評(píng)測(cè)角度不適用：現(xiàn)有的口語(yǔ)評(píng)測(cè)方法多集中在針對(duì)用戶提供發(fā)音反饋，大部分評(píng)估的是人的發(fā)音準(zhǔn)確性、流利度，但并不適用于評(píng)測(cè)大模型的回答，針對(duì)大模型產(chǎn)品生成內(nèi)容的評(píng)測(cè)方法依然有空缺。

3、2.評(píng)測(cè)維度較單一：目前的口語(yǔ)評(píng)測(cè)方法主要評(píng)估語(yǔ)音生成質(zhì)量，例如基于隱馬爾可夫模型(hidden?markov?model，hmm)的gop(goodness?of?pronunciation)方法主要評(píng)價(jià)的是發(fā)音準(zhǔn)確性，而口語(yǔ)練習(xí)是通過(guò)用戶與大模型產(chǎn)品的對(duì)話完成的，更注重與用戶的交互性。大多數(shù)產(chǎn)品和方法只關(guān)注發(fā)音的準(zhǔn)確度、流利度，而忽視了模型是否很好地回答了問(wèn)題、語(yǔ)法運(yùn)用是否準(zhǔn)確、內(nèi)容是否豐富等。評(píng)測(cè)維度較單一，導(dǎo)致現(xiàn)有評(píng)測(cè)系統(tǒng)往往不能全面反映大模型在實(shí)際口語(yǔ)對(duì)話中的表現(xiàn)，因此依然缺乏一種更全面的大模型口語(yǔ)評(píng)測(cè)方法。

4、3.主觀因素影響大：用來(lái)評(píng)估合成語(yǔ)音或口語(yǔ)發(fā)音的自然程度的mos(meanopinion?score)方法，是一種基于人工的主觀評(píng)價(jià)方法，可以用于評(píng)測(cè)模型生成的語(yǔ)音聽(tīng)起來(lái)是否接近真人發(fā)音。但是這種方法依賴于人的主觀感受，直接反映人對(duì)語(yǔ)音自然度的主觀感受，受評(píng)價(jià)者個(gè)體差異和主觀因素的影響較大，結(jié)果會(huì)在一定程度的主觀性和不確定性。

5、4.人力成本高：現(xiàn)有的方法評(píng)估發(fā)音的自然程度、內(nèi)容是否切題等主觀評(píng)價(jià)都需要人工參與，參與者需要花費(fèi)時(shí)間試聽(tīng)和評(píng)分，這在大規(guī)模語(yǔ)音庫(kù)的質(zhì)量評(píng)估中效率低下，同時(shí)，主觀評(píng)價(jià)需要嚴(yán)格的操作流程和標(biāo)準(zhǔn)化的測(cè)試指導(dǎo)，以減少操作誤差的影響，這也增加了人工成本和復(fù)雜性。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提出了一種面向口語(yǔ)練習(xí)場(chǎng)景的教育大模型評(píng)測(cè)方法，以解決上述現(xiàn)有技術(shù)存在的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種面向口語(yǔ)練習(xí)場(chǎng)景的教育大模型評(píng)測(cè)方法，包括：

3、獲取語(yǔ)音數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)文本，通過(guò)語(yǔ)音數(shù)據(jù)與測(cè)試模型進(jìn)行交互，獲取測(cè)試模型提供的識(shí)別文本、音頻數(shù)據(jù)和回答文本；

4、將標(biāo)準(zhǔn)文本與識(shí)別文本進(jìn)行比對(duì)評(píng)測(cè)，得到語(yǔ)音識(shí)別準(zhǔn)確性；

5、基于多模態(tài)特征融合對(duì)音頻數(shù)據(jù)進(jìn)行發(fā)音準(zhǔn)確性、流利度和韻律評(píng)測(cè)，得到音頻評(píng)分；

6、基于動(dòng)態(tài)懲罰機(jī)制和構(gòu)建的prompt大模型對(duì)回答文本進(jìn)行語(yǔ)法準(zhǔn)確性評(píng)測(cè)，基于構(gòu)建的prompt大模型對(duì)回答文本進(jìn)行切題度評(píng)測(cè)，得到回答文本評(píng)分；

7、對(duì)語(yǔ)音識(shí)別準(zhǔn)確性、音頻評(píng)分和回答文本評(píng)分進(jìn)行綜合匯總，得到最終評(píng)測(cè)結(jié)果。

8、可選的，將標(biāo)準(zhǔn)文本與識(shí)別文本進(jìn)行比對(duì)評(píng)測(cè)的過(guò)程包括：

9、對(duì)識(shí)別文本和標(biāo)準(zhǔn)文本進(jìn)行誤差評(píng)估，得到詞錯(cuò)誤率、字符錯(cuò)誤率和單詞信息丟失率；通過(guò)動(dòng)態(tài)加權(quán)對(duì)詞錯(cuò)誤率、字符錯(cuò)誤率和單詞信息丟失率進(jìn)行平均綜合，得到語(yǔ)音識(shí)別準(zhǔn)確性：

10、accuracy＝wwer*max(0,1-wer)+wcer*max(0,1-cer)+wwil*max(0,1-wil)

11、其中，accuracy表示語(yǔ)音識(shí)別準(zhǔn)確性，wwer是詞錯(cuò)誤率wer的權(quán)重，wcer是字符錯(cuò)誤率cer的權(quán)重，wwil是單詞信息丟失率wil的權(quán)重；

12、其中，動(dòng)態(tài)加權(quán)中的權(quán)重根據(jù)評(píng)測(cè)需求進(jìn)行調(diào)整。

13、可選的，通過(guò)multipa模型對(duì)音頻數(shù)據(jù)進(jìn)行測(cè)評(píng)，其中multipa模型的數(shù)據(jù)處理流程包括：

14、通過(guò)hubert對(duì)音頻數(shù)據(jù)進(jìn)行特征提取，得到幀級(jí)特征；

15、通過(guò)asr模型對(duì)音頻數(shù)據(jù)進(jìn)行轉(zhuǎn)錄，其中，asr模型進(jìn)行轉(zhuǎn)錄時(shí)whisper?base.en提供識(shí)別轉(zhuǎn)錄文本，whisper?medium.en在推理階段生成替代的目標(biāo)轉(zhuǎn)錄文本，得到文本特征；

16、通過(guò)charsiu模型對(duì)識(shí)別轉(zhuǎn)錄文本、目標(biāo)轉(zhuǎn)錄文本和音頻數(shù)據(jù)進(jìn)行對(duì)齊處理，得到對(duì)齊信息，對(duì)齊信息包括單詞級(jí)對(duì)齊特征、音素級(jí)對(duì)齊特征和音素向量；

17、通過(guò)roberta模型對(duì)目標(biāo)轉(zhuǎn)錄文本和識(shí)別轉(zhuǎn)錄文本進(jìn)行語(yǔ)義嵌入的提取，得到對(duì)應(yīng)的嵌入向量，并拼接為單詞級(jí)語(yǔ)義嵌入；

18、根據(jù)對(duì)齊信息將幀級(jí)特征通過(guò)平均池化處理，得到單詞級(jí)特征；對(duì)單詞級(jí)特征進(jìn)行聚合得到句子級(jí)特征；

19、根據(jù)對(duì)齊信息對(duì)音素特征與單詞級(jí)特征進(jìn)行對(duì)齊和融合，得到音素級(jí)特征；

20、將音頻特征、文本特征、單詞級(jí)語(yǔ)義嵌入和經(jīng)過(guò)多粒度對(duì)齊后的特征通過(guò)transformer編碼器進(jìn)行融合，通過(guò)不同頭數(shù)的transformer編碼器分別處理不同類型的特征，實(shí)現(xiàn)深度融合，并將融合結(jié)果進(jìn)行拼接，得到最終統(tǒng)一的特征表示，通過(guò)線性層對(duì)最終統(tǒng)一的特征表示進(jìn)行處理，得到句子級(jí)的發(fā)音準(zhǔn)確性、流利度和韻律結(jié)果，其中經(jīng)過(guò)多粒度對(duì)齊后的特征包括單詞級(jí)特征、句子級(jí)特征和音素級(jí)特征。

21、可選的，對(duì)音頻數(shù)據(jù)進(jìn)行發(fā)音準(zhǔn)確性評(píng)測(cè)的過(guò)程包括；

22、通過(guò)charsiu模型對(duì)音頻數(shù)據(jù)和識(shí)別轉(zhuǎn)錄文本進(jìn)行音素級(jí)對(duì)齊，得到第一對(duì)齊特征，第一對(duì)齊特征包括目標(biāo)音素與識(shí)別音素的時(shí)間占比、音素與相鄰音素之間的時(shí)間間隔、目標(biāo)音素與識(shí)別音素的時(shí)間對(duì)齊誤差和目標(biāo)音素與識(shí)別音素的匹配概率——對(duì)齊概率；

23、通過(guò)levenshtein距離計(jì)算目標(biāo)音素序列與識(shí)別音素序列的匹配程度，得到因素準(zhǔn)確率即發(fā)音準(zhǔn)確性得分。

24、可選的，對(duì)音頻數(shù)據(jù)進(jìn)行流利度評(píng)測(cè)過(guò)程包括：

25、獲取對(duì)齊特征中的單詞時(shí)長(zhǎng)和間隔特征，根據(jù)單詞時(shí)長(zhǎng)和間隔特征計(jì)算得到語(yǔ)音的流利性得分；根據(jù)間隔特征，得到停頓分析結(jié)果；通過(guò)目標(biāo)轉(zhuǎn)錄文本和識(shí)別轉(zhuǎn)錄文本嵌入分析識(shí)別句法和語(yǔ)義連貫性，對(duì)目標(biāo)轉(zhuǎn)錄文本和識(shí)別轉(zhuǎn)錄文本的句法和語(yǔ)義連貫性進(jìn)行對(duì)比評(píng)估，得到語(yǔ)義一致性得分，對(duì)流利性得分、停頓分析結(jié)果和語(yǔ)義一致性得分，通過(guò)線性回歸層得到流利度得分。

26、可選的，對(duì)音頻數(shù)據(jù)進(jìn)行韻律評(píng)測(cè)的過(guò)程包括：

27、通過(guò)hubert提取音頻數(shù)據(jù)的基頻特征，并根據(jù)基頻特征獲取能量水平和對(duì)齊程度，根據(jù)對(duì)齊程度計(jì)算節(jié)奏評(píng)分，根據(jù)基頻特征、能量水平和節(jié)奏評(píng)分，分析基頻的變化是否符合語(yǔ)言的語(yǔ)調(diào)規(guī)律，通過(guò)線性回歸層得到韻律得分。

28、可選的，節(jié)奏評(píng)分過(guò)程為：

29、

30、其中，rmse為節(jié)奏的均方根誤差，max?timing?difference為對(duì)齊的最大時(shí)間誤差。

31、可選的，對(duì)回答文本進(jìn)行語(yǔ)法準(zhǔn)確性評(píng)測(cè)的過(guò)程包括：

32、通過(guò)構(gòu)建的prompt大模型對(duì)回答文本進(jìn)行語(yǔ)法檢查并進(jìn)行統(tǒng)計(jì)，得到語(yǔ)法錯(cuò)誤數(shù)量和類型，根據(jù)得到語(yǔ)法錯(cuò)誤數(shù)量和類型計(jì)算語(yǔ)法準(zhǔn)確性得分：

33、accuracy＝max(0,(1-error_count/word_count)*length_penalty)

34、其中，error_count為語(yǔ)法錯(cuò)誤數(shù)量，word_count為總詞數(shù)，length_penalty為長(zhǎng)度懲罰系數(shù)，長(zhǎng)度懲罰系數(shù)根據(jù)回答文本的句子長(zhǎng)度進(jìn)行調(diào)整。

35、可選的，對(duì)回答文本進(jìn)行切題度評(píng)測(cè)的過(guò)程包括：

36、通過(guò)構(gòu)建的prompt大模型對(duì)回答文本根據(jù)設(shè)計(jì)規(guī)則進(jìn)行評(píng)分，得到切題度得分。

37、可選的，通過(guò)平均綜合或加權(quán)計(jì)算的方式對(duì)語(yǔ)音識(shí)別準(zhǔn)確性、音頻評(píng)分和回答文本評(píng)分進(jìn)行綜合匯總。

38、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果：

39、本發(fā)明提出的評(píng)測(cè)方法相較于現(xiàn)有技術(shù)，在經(jīng)過(guò)實(shí)驗(yàn)測(cè)試后，展現(xiàn)出了一系列顯著且有益的效果。

40、1.減少人工成本和提高效率

41、本發(fā)明通過(guò)自動(dòng)化的口語(yǔ)評(píng)測(cè)技術(shù)，顯著減少了對(duì)人工評(píng)測(cè)的依賴，降低了人力成本。multipa模型結(jié)合了自監(jiān)督學(xué)習(xí)、多任務(wù)評(píng)估和深度學(xué)習(xí)技術(shù)，與傳統(tǒng)的方法相比，不需要大量的人工參與，從而提高了評(píng)測(cè)的效率和可擴(kuò)展性。

42、2.多維度全面評(píng)測(cè)

43、本發(fā)明提出了一種更全面的口語(yǔ)練習(xí)大模型產(chǎn)品的評(píng)測(cè)方法，不僅評(píng)估發(fā)音準(zhǔn)確性、流利度和韻律，還涵蓋了語(yǔ)法運(yùn)用、內(nèi)容切題度等多個(gè)維度。這一方法能夠全面反映大模型在實(shí)際口語(yǔ)對(duì)話中的表現(xiàn)，填補(bǔ)了現(xiàn)有技術(shù)中對(duì)大模型生成內(nèi)容評(píng)測(cè)方法的空缺。同時(shí)，提出的口語(yǔ)練習(xí)大模型評(píng)測(cè)方法減少了主觀因素的干擾，提供了更為客觀和精確的評(píng)測(cè)結(jié)果，使得評(píng)測(cè)結(jié)果更加安全可信。

44、3.直觀對(duì)比評(píng)測(cè)結(jié)果

45、本發(fā)明的評(píng)測(cè)結(jié)果直觀易懂，能夠清晰地展示口語(yǔ)練習(xí)產(chǎn)品在各個(gè)方面的表現(xiàn)，包括發(fā)音、語(yǔ)法、內(nèi)容等，便于用戶理解和使用。并且能夠生成清晰、量化的評(píng)測(cè)報(bào)告，增強(qiáng)了評(píng)測(cè)結(jié)果的直觀性和可比性，使得用戶和開(kāi)發(fā)者能夠一目了然地識(shí)別出各個(gè)口語(yǔ)練習(xí)產(chǎn)品的優(yōu)勢(shì)和不足。這種對(duì)比提供了一個(gè)全面的視角，幫助用戶根據(jù)具體的學(xué)習(xí)需求和目標(biāo)，選擇最合適的口語(yǔ)練習(xí)產(chǎn)品，從而實(shí)現(xiàn)個(gè)性化和高效的語(yǔ)言學(xué)習(xí)。本發(fā)明也為智能教育領(lǐng)域中的口語(yǔ)練習(xí)產(chǎn)品提供了有效的評(píng)估工具，為教育大模型口語(yǔ)練習(xí)評(píng)測(cè)技術(shù)的進(jìn)一步發(fā)展和應(yīng)用提供了有力支持。