沉浸式飛行模擬器的制作方法

文檔序號：11235210閱讀：417來源：國知局

本發(fā)明涉及飛行模擬器技術(shù)領(lǐng)域，具體涉及沉浸式飛行模擬器。

背景技術(shù)：

隨著計算機技術(shù)的不斷發(fā)展，在軍事演習或者訓練中越來越多地應(yīng)用虛擬現(xiàn)實技術(shù)進行作戰(zhàn)模擬。目前此類基于虛擬現(xiàn)實技術(shù)的飛行模擬器存在一些不足：雖然支持人體手部在虛擬場景實體化，無法實體化其他設(shè)備或人體其他部位；光照系統(tǒng)上只是在一定程度上模擬光照，和實際光照差異較大；頭部運動跟蹤技術(shù)不夠先進；需要拼接幾個固定視角的拍攝視頻，拼接后的視頻與裸眼觀察內(nèi)容在角度和深度上存在不易消除的誤差，不能下視、視覺受限等問題。這些問題導致人與座艙交互模擬與實際模擬情況差異較大，沉浸感質(zhì)量較差，降低了飛行模擬器的實用性。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中軍事演習或訓練中的飛行模擬器存在人與座艙交互模擬與實際模擬情況差異較大，沉浸感質(zhì)量較差的問題，本發(fā)明提供一種能夠解決上述問題的沉浸式飛行模擬器。

實現(xiàn)本發(fā)明目的的技術(shù)方案為：

沉浸式飛行模擬器，包括具有3d雙目攝像裝置的頭戴式虛擬現(xiàn)實裝置、追蹤定位裝置、視頻處理裝置、視景處理裝置和顯示裝置，其中3d雙目攝像裝置與視頻處理裝置連接，視景處理裝置分別與虛擬現(xiàn)實裝置、追蹤定位裝置和顯示裝置連接。

進一步的技術(shù)方案，所述頭戴式虛擬現(xiàn)實裝置內(nèi)設(shè)磁力計、陀螺儀和加速度計。

進一步的技術(shù)方案，所述視景處理裝置內(nèi)設(shè)有：

視景生成模塊：生成包含戰(zhàn)場信息的整個訓練場或戰(zhàn)場仿真場景；

立體視覺生成模塊：將視景生成模塊生成的仿真場景進行立體化；

虛擬現(xiàn)實視景追蹤模塊：根據(jù)六自由度信息設(shè)置立體視覺生成模塊內(nèi)的攝像機位置和姿態(tài)，模擬操作人員頭部運動軌跡；

實景采集模塊：調(diào)用攝像頭軟件開發(fā)工具包，創(chuàng)建虛擬相機對象，設(shè)置所需參數(shù)，進行實景采集；

前景抽取模塊：用于將前景進行抽取；

視頻壓縮模塊：將jpeg圖像進行壓縮；

虛擬現(xiàn)實虛實融合模塊：通過技術(shù)處理后的視頻融合到虛擬現(xiàn)實場景中，保證視頻幀數(shù)和大小位置與虛擬場景適配。

所述前景抽取模塊包括：2d四點紋理技術(shù)模塊：用來獲取前景視頻圖像的除深度外的位置信息；基于hough變換的深度圖像連通域的輪廓提取模塊：用來獲取前景視頻圖像的深度信息；基于標記和膚色檢測的抽取模塊：用來獲取非截取聯(lián)通區(qū)域的肢體圖像；基于模型遮罩和多重空間定位的前景抽取模塊：基于2d四點紋理技術(shù)模塊和輪廓提取模塊中獲取的信息提取前景圖像，再融合基于模型遮罩和多重空間定位的前景抽取模塊中的圖像完成前景抽取。

進一步的技術(shù)方案，所述基于模型遮罩和多重空間定位的前景抽取模塊利用真實攝像機六自由度信息和虛擬攝像機六自由度信息對視景進行等比例模型遮罩。

進一步的技術(shù)方案，所述視頻壓縮模塊基于標準jpeg圖像壓縮框架進行優(yōu)化，保證算法的兼容性。

進一步的技術(shù)方案，所述虛擬現(xiàn)實虛實融合模塊通過三維幾何注冊與遮擋處理、邊緣平滑過渡、插幀補償、光照一致性、陰影合成處理后的視頻融合到虛擬現(xiàn)實虛擬場景中，保證視頻幀數(shù)和大小位置與虛擬場景適配。

進一步的技術(shù)方案，所述六自由度信息是指在追蹤定位裝置可追蹤范圍內(nèi)，主要由追蹤定位裝置捕捉操作人員頭部視頻生成頭位的六自由度信息；或由頭戴式虛擬現(xiàn)實裝置內(nèi)置的磁力計、陀螺儀和加速度計獲取頭位的六自由度信息。

本發(fā)明的有益效果為：

本發(fā)明通過混合現(xiàn)實座艙技術(shù)，攝像頭固定在虛擬現(xiàn)實頭盔上的方式準確地實體化了人體部位和操作平臺在虛擬場景中的空間位置，通過人體部位控制操作平臺增加了現(xiàn)實觸覺體驗；視角采用跟隨頭部轉(zhuǎn)動方式，更大地真實還原人類視角，尤其解決了某些直升機下視問題；并且實現(xiàn)了虛實光照一致性、畸變消除等技術(shù)難點。彌補了當前大型飛行模擬器系統(tǒng)存在的不足，提高了學員沉浸感、真實感，使模擬訓練更好地貼近真實訓練，增強了飛機模擬系統(tǒng)的實用性，以最小的代價鞏固理論知識，提高操作與處置能力，以高度的沉浸感和臨場感將單人和編隊飛行訓練轉(zhuǎn)化為趣味性強的交互方式，并可突破訓練場地限制及最大化利用室內(nèi)空間，降低訓練成本的同時提高訓練安全和質(zhì)量。

本發(fā)明的軟件系統(tǒng)依托三維地理信息平臺，綜合利用三維立體建模、虛擬仿真、海量數(shù)據(jù)管理、三維空間分析等技術(shù)，以沉浸式體驗下的訓練信息全局共享、訓練資源統(tǒng)一調(diào)配、科學輔助作戰(zhàn)指揮為目標，集成了基于三維地理信息平臺的信息處理、自動控制等多個高新技術(shù)領(lǐng)域的知識。其技術(shù)和武器技術(shù)仿真、武器系統(tǒng)仿真以及作戰(zhàn)仿真等，已經(jīng)在軍隊訓練、武器裝備研制、作戰(zhàn)指揮和規(guī)劃計劃等方面發(fā)揮重要作用。

本發(fā)明運用混合現(xiàn)實技術(shù)，系統(tǒng)創(chuàng)建了虛實融合的飛行座艙視景，通過攝像頭能夠?qū)崿F(xiàn)觀看到人手等身體各個部位與座艙的自然交互，可以增強學員模擬飛行時對地形環(huán)境和座艙環(huán)境的感知能力。且本發(fā)明的系統(tǒng)結(jié)構(gòu)簡單，性價比高，除起飛降落等單機訓練外，還可逼真地模擬真實的編隊等多機科目訓練，模擬真實戰(zhàn)場環(huán)境，提供受訓人員真實視覺、聽覺、觸覺等感受，在軍事領(lǐng)域中應(yīng)用可有效減少人員、物資損耗，降低訓練成本，具有重要的應(yīng)用和推廣價值。

附圖說明

圖1為本發(fā)明實施例中沉浸式飛行模擬器的結(jié)構(gòu)示意圖

具體實施方式

圖1用以解釋本發(fā)明，但本發(fā)明不限于圖1所示的范圍內(nèi)。

為了解決現(xiàn)有技術(shù)中座艙交互模擬與實際模擬情況差異較大，沉浸感質(zhì)量較差的問題，本發(fā)明通過運用混合現(xiàn)實技術(shù)，系統(tǒng)創(chuàng)建了虛實融合的飛行座艙視景，通過攝像頭能夠?qū)崿F(xiàn)觀看到人手等身體各個部位與座艙的自然交互，可以增強學員模擬飛行時對地形環(huán)境和座艙環(huán)境的感知能力。

如圖1所示，沉浸式飛行模擬器，包括具有3d雙目攝像裝置1的頭戴式虛擬現(xiàn)實裝置2、追蹤定位裝置3、視頻處理裝置4、視景處理裝置5和顯示裝置，其中3d雙目攝像裝置與視頻處理裝置連接，視景處理裝置分別與虛擬現(xiàn)實裝置、追蹤定位裝置和顯示裝置連接。

頭戴式虛擬現(xiàn)實裝置內(nèi)設(shè)磁力計、陀螺儀和加速度計。

具體的視景處理裝置內(nèi)設(shè)有：

視景生成模塊：生成包含戰(zhàn)場信息的整個訓練場或戰(zhàn)場仿真場景；

立體視覺生成模塊：將視景生成模塊生成的仿真場景進行立體化；

虛擬現(xiàn)實視景追蹤模塊：根據(jù)六自由度信息設(shè)置立體視覺生成模塊內(nèi)的攝像機位置和姿態(tài)，模擬操作人員頭部運動軌跡；

實景采集模塊：調(diào)用攝像頭軟件開發(fā)工具包，創(chuàng)建虛擬相機對象，設(shè)置所需參數(shù)，進行實景采集；

前景抽取模塊：用于將前景進行抽??；

視頻壓縮模塊：將jpeg圖像進行壓縮；

虛擬現(xiàn)實虛實融合模塊：通過技術(shù)處理后的視頻融合到虛擬現(xiàn)實場景中，保證視頻幀數(shù)和大小位置與虛擬場景適配。

其中前景抽取模塊包括：2d四點紋理技術(shù)模塊：用來獲取前景視頻圖像的除深度外的位置信息；基于hough變換的深度圖像連通域的輪廓提取模塊：用來獲取前景視頻圖像的深度信息；基于標記和膚色檢測的抽取模塊：用來獲取非截取聯(lián)通區(qū)域的肢體圖像；基于模型遮罩和多重空間定位的前景抽取模塊：基于2d四點紋理技術(shù)模塊和輪廓提取模塊中獲取的信息提取前景圖像，再融合基于模型遮罩和多重空間定位的前景抽取模塊中的圖像完成前景抽取。

進一步的，基于模型遮罩和多重空間定位的前景抽取模塊利用真實攝像機六自由度信息和虛擬攝像機六自由度信息對視景進行等比例模型遮罩。

進一步的，視頻壓縮模塊基于標準jpeg圖像壓縮框架進行優(yōu)化，保證算法的兼容性。

更進一步的，所述虛擬現(xiàn)實虛實融合模塊通過三維幾何注冊與遮擋處理、邊緣平滑過渡、插幀補償、光照一致性、陰影合成處理后的視頻融合到虛擬現(xiàn)實虛擬場景中，保證視頻幀數(shù)和大小位置與虛擬場景適配。

優(yōu)選的，所述六自由度信息是指在追蹤定位裝置可追蹤范圍內(nèi)，主要由追蹤定位裝置捕捉操作人員頭部視頻生成頭位的六自由度信息；或由頭戴式虛擬現(xiàn)實裝置內(nèi)置的磁力計、陀螺儀和加速度計獲取頭位的六自由度信息。

具體的前景抽取步驟為：

1、多攝像機的標定包括內(nèi)參、外參和畸變參數(shù)的獲?。?/p>

2、標記檢測定位視野中心；

3、將實景采集模塊采集到的彩色視頻根據(jù)算法抽取出前景座艙內(nèi)部部分，基于hough變換的深度圖像連通域的輪廓提?。?/p>

事先設(shè)計整個前景座艙的3d模型，并保存在文件中。模塊初始化獲取到前景座艙3d模型；

使用圖形處理器(gpu)預(yù)處理深度圖像，調(diào)用cudaapi產(chǎn)生視頻遮罩，對深度太大的部分進行過濾；

將處理的彩色圖像從gpu拷貝到cpu；

使用opencv對深度圖像連通域進行分析，獲取各連通域的邊緣；

根據(jù)追蹤定位器位置確定3d模型與學員頭戴式設(shè)備三維坐標的對應(yīng)關(guān)系，進而計算出當前3d雙目攝像頭在3d模型中的相對位置；

使用改進型的canny算子提取深度圖像各連通域邊緣像素點；

用hough變換獲取直線段，減少邊緣不平滑的現(xiàn)象，降低后面邊緣判斷的復雜度；

獲取邊緣點對應(yīng)的以攝像頭為原點的坐標；

判斷某個連通域的邊緣點是否在3d模型所在空間內(nèi)，如果在，則連通域內(nèi)的彩色圖中對應(yīng)點需要輸出；如果不在，則輸出按照3d模型邊界切割的連通域中的點；

4、等比例模型遮罩和多重空間定位精確定位視頻截取范圍；

5、截取范圍外皮膚檢測采用改進后的橢圓膚色檢測方法；

6、多視頻拼接算法改進。

更具體的，立體視覺生成模塊：擬采用unigine引擎將視景生成子系統(tǒng)生成的包含紅軍指揮信息、藍軍及威脅生成信息、地景、任務(wù)信息等整個訓練或戰(zhàn)場仿真場景進行立體(stereoscopic)化。

vr視景追蹤模塊：在追蹤器可追蹤范圍內(nèi)，主要由追蹤器捕捉頭部視頻生成頭位的六自由度信息。否則由頭戴式設(shè)備內(nèi)部的磁力計、陀螺儀和加速度計獲取頭部的六自由度信息。當六自由度信息采集到視景處理計算機中時，軟件設(shè)置unigine內(nèi)部的攝像機(camera)位置和姿態(tài)，模擬學員頭部運動軌跡。而由于攝像機可觀察的視場范圍是固定的，鏡片上產(chǎn)生的視景內(nèi)容隨之發(fā)生變化。

實景采集模塊：實景采集模塊基于開源的opencv庫和nvidia的cuda，調(diào)用攝像頭sdk，進行以下操作，創(chuàng)建虛擬相機對象，設(shè)置所需分辨率、幀數(shù)等參數(shù)，同時采用綜合屏采集技術(shù)(綜合屏是大塊光滑透明材料組成，室外陽光和室內(nèi)燈光在其上產(chǎn)生的反光、泛光效果會被攝像頭拍攝并加強)。

當學員戴上vr頭戴式設(shè)備，在視景計算機運行的虛擬訓練或作戰(zhàn)場景中，由3d雙目攝像頭拍攝的高清視頻經(jīng)過視頻計算機處理后，生成模擬座艙部分、航電儀表部分和學員手部操作兩桿兩柄(駕駛桿和總距桿，左右武器手柄)與腳部操作兩舵的部分。學員在座艙內(nèi)的空間定位信息(含空間平動和空間轉(zhuǎn)動)會被vr定位器捕捉并收集到視景計算機中，在顯示系統(tǒng)軟件運行處理實時更新到視景里，使學員產(chǎn)生駕駛實機的沉浸感。

本發(fā)明通過3d雙目攝像裝置改進相機近距離深度檢測不精確：

利用原有左右眼視頻產(chǎn)生深度和視差圖，對兩種圖閾值化處理抽取出識別不良距離深度的前景，并用算法精準分析及預(yù)測近距離深度。

相機徑向、切向畸變的實時校正：

實現(xiàn)實時算法將相機標定后檢測切向畸變的范圍，以滅點進行對主要為桶形畸變的徑向畸變的自動校正。

實現(xiàn)左右眼融合仿真人眼視覺：

將視差圖生成紅藍圖，再進行畸變后處理，將雙眼能觀察到的內(nèi)容截取出。

不在截取區(qū)的人體部位采用皮膚檢測算法抽取。

虛擬現(xiàn)實技術(shù)與視頻融合

虛實結(jié)合邊緣/表面的光照與陰影一致化處理：

獲取渲染引擎的邊緣/表面的法線和各種光照效果，對虛實邊緣和表面進行兩種不同的處理，完成整個場景的一致化。

頭部動作與視頻圖像變化同步：

頭部定位插值處理位置和姿態(tài)，適配高頻率振動和大幅度運動時的插幀算法實現(xiàn)，最終實現(xiàn)整體同步。