本發(fā)明屬于機器視覺圖像測量與自動控制技術(shù)領(lǐng)域，特別涉及一種移動視覺機器人及其測控方法。

背景技術(shù)：

隨著機器人性能不斷地完善，移動機器人的應(yīng)用范圍隨之?dāng)U展，不僅在工業(yè)、農(nóng)業(yè)、醫(yī)療、服務(wù)等行業(yè)中得到廣泛的應(yīng)用，而且在城市安全、國防和空間探測領(lǐng)域等有害與危險場合得到很好的應(yīng)用。因此，移動機器人技術(shù)已經(jīng)得到世界各國的普遍關(guān)注。移動機器人在代替人工勞動以及在危險環(huán)境中工作都起到了很好的效果，因此一款高效，安全，可靠的移動機器人對于自動化工業(yè)生產(chǎn)十分重要。而現(xiàn)有移動機器人的引導(dǎo)方式又有很大的局限性，GPS引導(dǎo)誤差很大，無法進行精確的移動和操作，而常見的電磁感應(yīng)式或類似的引導(dǎo)又對工作環(huán)境要求很高，并且移動路徑幾乎完全固定。

技術(shù)實現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種移動視覺機器人及其測控方法，移動機器人通過視覺圖像方法進行引導(dǎo)，使移動機器人實現(xiàn)靈活準(zhǔn)確的移動方式，并且為了進一步提高機器人精度，采取全局圖像和局部細節(jié)圖像兩套圖像互補的方法，同時利用視覺信息消除累積誤差。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

一種移動視覺機器人，包括一個四輪全方位的移動平臺1，移動平臺1上固定一個可旋轉(zhuǎn)并執(zhí)行多種動作的機械手2，在移動平臺1上用支架3固定有一臺相機一4，可拍攝機器人正前方移動路徑以及周圍環(huán)境的全局圖像，此外，在機械手2末端固定有一臺相機二5，可根據(jù)實際情況調(diào)整機械手2位置及角度從而拍攝特定對象的細節(jié)圖像，機器人移動平臺1內(nèi)部安裝一臺工控機6，用于接收動作指令，處理視覺圖像，路徑規(guī)劃及發(fā)送操作指令等等。

所述四輪全方位移動平臺1由四個安裝有編碼器7的直流電機8分別驅(qū)動四個全方位輪9所控制，可以實現(xiàn)狹小空間內(nèi)各個方向的直行以及原地旋轉(zhuǎn)等動作，所述相機一4可根據(jù)需求調(diào)整俯仰角和焦距等參數(shù)以滿足對不同環(huán)境中的視距和視野范圍等需求，所述相機二5位置跟隨機械手2動作，視角總與機械手2操作平面相垂直。

工控機6通過串口向控制器10發(fā)送操作指令，控制器10生成對應(yīng)的控制信號發(fā)送至移動平臺1及機械手2的各個電機，并接收實時反饋信號實現(xiàn)負反饋控制，所述相機一4和相機二5同時將實時圖像發(fā)送至工控機6以進行視覺分析，并根據(jù)視覺圖像所提供的反饋信息實時控制移動機器人的各個動作。

本發(fā)明還提供了一種移動視覺機器人測控方法，包括以下步驟：

給定機器人具體動作指令，指令包含內(nèi)容為對何種物體進行何種動作，以及目標(biāo)物體的坐標(biāo)方位；

計算并規(guī)劃機器人移動平臺1實際移動路徑，工控機6根據(jù)路徑產(chǎn)生操作指令控制機器人移動平臺1轉(zhuǎn)向目標(biāo)位置；

機器人向目標(biāo)位置移動，相機一4和相機二5實時采集移動路徑上的圖像，修正方向偏差并避免碰撞；

經(jīng)過一次或多次移動接近目標(biāo)位置后，根據(jù)相機一4采集的圖像判斷目標(biāo)物體的具體方位坐標(biāo)，修正移動路徑；

令機器人機械手2移動至目標(biāo)物體正上方后，根據(jù)相機二5采集的圖像獲取目標(biāo)物體的精確位置與姿態(tài)信息，進而機械手2對目標(biāo)物體完成指令中給定的動作；

根據(jù)相機一4采集的圖像中的標(biāo)定信息修正機器人移動平臺1和機械手2的坐標(biāo)誤差，等待下一輪動作指令。

對于圖像中目標(biāo)物體的判斷，是根據(jù)目標(biāo)物體的多個特征構(gòu)成的模型進行的，這些特征包括但不僅限于顏色特征，形狀特征，大小特征，以及對應(yīng)某些物體獨有的突出特征，對于需要操作的物體需要分別對應(yīng)相機一4采集的圖像和相機二5采集的圖像建立兩套模型。主要思想是根據(jù)實際情況，首先根據(jù)顏色等特征對圖像中的所有對象進行一次篩選，之后對篩選剩下的對象的提取輪廓進行模板匹配，從而得到目標(biāo)物體在圖像中的坐標(biāo)位置。由于相機獲取的圖像會存在不同程度的畸變，因此需要對識別得到的目標(biāo)物體在圖像中的坐標(biāo)進行坐標(biāo)轉(zhuǎn)換計算得到其世界坐標(biāo)。

給定機器人移動指令時，僅需指出移動目的地的坐標(biāo)，機器人便可自動計算最佳移動路徑以并開始移動操作，同時記錄并更新自身的坐標(biāo)和方位角，同時機器人可根據(jù)周圍環(huán)境特征修正移動誤差造成的坐標(biāo)偏移，防止累積誤差產(chǎn)生而導(dǎo)致錯誤發(fā)生；誤差修正過程主要利用相機一4采集的圖像中可利用的正交于世界坐標(biāo)系的直線特征或是標(biāo)記，采用視覺方法計算這些直線的角度以及與機器人的距離，依次計算機器人的實際坐標(biāo)和方位角，從而達到修正誤差的目的。

與采用其他方式進行引導(dǎo)的移動機器人相比，本發(fā)明采用視覺檢測方法，兩臺相機分別獲取全局圖像和局部圖像，通過模式識別方法并利用全局圖像與局部圖像互補對目標(biāo)物體進行定位，根據(jù)定位信息現(xiàn)場規(guī)劃機器人移動路徑，并根據(jù)圖像信息實現(xiàn)對機器人的控制、方位修正和對目標(biāo)的操作。實現(xiàn)了不同場景情況下的目標(biāo)識別與定位、現(xiàn)場路徑規(guī)劃、機器人移動誤差修正和計算機對移動機器人的自動控制。從而在具有較高移動和操作精度的前提下，可以靈活的給定移動機器人不同的操作指令使機器人對目標(biāo)物體自動完成一些復(fù)雜的操作。并且對環(huán)境要求較小，抗干擾能力強，僅需簡單的直線標(biāo)志甚至不需要專用的標(biāo)志便可完成運行。

附圖說明

圖1為本發(fā)明實驗平臺系統(tǒng)結(jié)構(gòu)框圖。

圖2為本發(fā)明中移動機器人3D示意圖。

圖3為本發(fā)明中機器人移動平臺底盤的內(nèi)部俯視圖。

圖4為本發(fā)明的機器人視覺測控方法總體流程圖。

圖5為本發(fā)明的目標(biāo)識別與定位圖像算法流程圖。

具體實施方式

下面結(jié)合附圖和實施例詳細說明本發(fā)明的實施方式。

本發(fā)明移動視覺機器人測控方法主要是給定機器人具體動作指令，指令包含內(nèi)容為對何種物體進行何種動作，以及目標(biāo)物體的坐標(biāo)方位；計算并規(guī)劃移動平臺1實際移動路徑，工控機6根據(jù)路徑產(chǎn)生操作指令控制移動平臺1轉(zhuǎn)向目標(biāo)位置；機器人向目標(biāo)位置移動，相機一4和相機二5實時采集移動路徑上的圖像，修正方向偏差并避免碰撞；經(jīng)過一次或多次移動接近目標(biāo)位置后，根據(jù)相機一4采集的圖像判斷目標(biāo)物體的具體方位坐標(biāo)，修正移動路徑；令機械手2移動至目標(biāo)物體正上方后，根據(jù)相機二5采集的圖像獲取目標(biāo)物體的精確位置與姿態(tài)信息，進而機械手2對目標(biāo)物體完成指令中給定的動作；根據(jù)相機一4采集的圖像中的標(biāo)定信息修正移動平臺1和機械手2的坐標(biāo)誤差，等待下一輪動作指令。

本發(fā)明搭建如下實驗平臺對該方法的可行性進行驗證。

本發(fā)明使用移動移動平臺1為四輪全方位移動平臺，其上搭載一臺五自由度機械手2，移動平臺1內(nèi)部搭載有一臺工控機6可通過Wi-Fi接收遠程指令并處理視覺圖像，計算移動路徑，發(fā)送操作指令。在移動平臺1上機械手2后面使用支架3固定有一視角傾斜向下的相機一4，在機械手2夾具末端固定有另一相機二5視角朝向機械手操作方向。

對于移動機器人，其相機一4用于采集機器人正前方以及移動路徑上的全局圖像，可根據(jù)需求調(diào)整俯仰角和焦距等參數(shù)以滿足對不同環(huán)境中的視距和視野范圍等需求，相機二5用于采集不同操作情況下各種對象的細節(jié)圖像，相機二5位置跟隨機械手2動作，視角總與機械手2操作平面相垂直。相機一4和相機二5均通過USB接口與工控機6相連，以便將兩部相機采集的圖像都發(fā)送至工控機進行處理。

移動移動平臺1內(nèi)部安裝工控機6、無線收發(fā)模塊、控制器10和驅(qū)動器11，移動平臺1的底盤上安裝四個帶有光電編碼器7測速模塊的12V直流電機8，直流電機8驅(qū)動四個全方位輪9帶動移動平臺1，通過一塊12V鋰離子電池12為機器人的所有電機和控制器10以及工控機6提供電源?？刂破?0和驅(qū)動器11通過串口與工控機6相連，控制器10接收到工控機6指令后，其處理器將指令解析并調(diào)制PWM信號輸出值驅(qū)動器11，從而令驅(qū)動器11通過改變輸入電壓達到控制移動平臺1各個電機以及機械手2的各個關(guān)節(jié)的運動。同時移動平臺1電機編碼器7和機械手2將反饋信號實時返回至控制器10，計算得到移動平臺1各個電機的實際速度和機械手2的實際姿態(tài)，根據(jù)實際數(shù)據(jù)使用PID控制計算控制器10輸出信號，令移動平臺1各個電機速度趨近于給定速度，機械手2姿態(tài)趨近于給定姿態(tài)，從而實現(xiàn)負反饋控制。

基于該系統(tǒng)裝置，基于相機一4和相機二5獲取到的圖像，首先采用canny算子獲取圖像中的所有輪廓，設(shè)定合適的面積閾值，超過閾值的輪廓為圖像中的有效目標(biāo)，其余為噪聲，之后對每一個輪廓進行判斷，判定輪廓為已知目標(biāo)物體或是地面標(biāo)示和移動路徑上的障礙。判定輪廓的方法為，首先計算輪廓中的相減混色，即提取輪廓內(nèi)部圖像中的RGB分量分別對應(yīng)計算混合顏色空間模型參數(shù)并取平均，包括R-B，R-G，B-G分量，通過比較混合顏色空間模型與模板的相似度對輪廓進行第一輪分類，混合顏色空間模型可以有效提取出目標(biāo)輪廓的顯著顏色特征而受光照強弱影響較小，避免了現(xiàn)場光照變化對裝置效果產(chǎn)生的影響。之后對這些輪廓采用歸一化相關(guān)系數(shù)匹配法與可能存在的目標(biāo)模板進行模板匹配，目標(biāo)模板在加入新目標(biāo)時采集得到，分為對應(yīng)相機一4圖像和相機二5圖像的兩套模板。在提取出可能存在的所有目標(biāo)后，便可得知目標(biāo)物體在圖像中的坐標(biāo)，對于圖像中的其他輪廓，首先濾除噪聲干擾，之后根據(jù)輪廓大小判斷是否為移動路徑上的障礙或是其他標(biāo)示。

通過分析相機一4拍攝到的圖片并獲取到目標(biāo)物體在圖像中的坐標(biāo)后，由于圖像存在畸變，對于矩形圖片對應(yīng)的實際地面為一倒立的梯形，因此需要通過畸變校正將圖像坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系，轉(zhuǎn)換方法如下：假設(shè)目標(biāo)在圖像中的坐標(biāo)為(u,v)，相機一4俯仰角為θ，焦距為f，視角為α，相機一4距地面高度為h，對比圖像與實際地面可以發(fā)現(xiàn)，產(chǎn)生的畸變分為橫向畸變和縱向畸變兩類，對于橫向畸變，即X軸方向上的畸變，可近似認為是線性的；而對于縱向畸變，即Y軸上的畸變，相機一4遠處的目標(biāo)會被壓縮，并且目標(biāo)距離相機一4越遠時，壓縮越嚴重，這種壓縮是非線性的。因此計算目標(biāo)在世界坐標(biāo)系中的坐標(biāo)(x,y)中坐標(biāo)x的近似值為：

x＝kuv

其中k為圖像坐標(biāo)系中像素距離與世界坐標(biāo)系中實際距離在X軸方向上的比例系數(shù)。

坐標(biāo)y的近似值為：

由于上述的坐標(biāo)變換及機器人的移動均會存在一定的誤差，若要對目標(biāo)物體做到更精確的操作，必須達到更高的定位精度，因此在機器人接近目標(biāo)物體后，使用相機二5拍攝得到的圖像進行精確定位。當(dāng)機械手2末端大致位于目標(biāo)物體上方且相機二5視角與物體放置表面垂直時，通過上述目標(biāo)定位方法可識別出目標(biāo)物體在相機二5拍攝得到圖像中的坐標(biāo)，由于拍攝距離較近，圖像畸變可忽略不計，從而通過線性變換便可求得目標(biāo)物體相對于機械手2末端的坐標(biāo)，由于機械手2末端的位置是可知的，因此可以得到目標(biāo)物體的世界坐標(biāo)，據(jù)此便可進一步對目標(biāo)物體進行各種精確操作。

在機器人移動時，給定移動目的地世界坐標(biāo)(x_d,y_d)后，根據(jù)機器人所記錄的自身坐標(biāo)(x_c,y_c)和方位角θ_c，計算得到相應(yīng)的機器人轉(zhuǎn)向角度θ_t為：

機器人移動距離d為：

得到機器人的轉(zhuǎn)向角度θ_t和移動距離d之后，據(jù)此進行移動，并更新機器人自身坐標(biāo)(x_c,y_c)和方位角θ_c。在移動過程中，由于地面環(huán)境等多種因素，每次移動之后會累積一定的誤差，若不進行修正，則多次移動后誤差累積過大，同時機器人自身坐標(biāo)(x_c,y_c)和方位角θ_c偏差過大導(dǎo)致坐標(biāo)系混亂無法使用。因此在每3到5次移動之后應(yīng)進行誤差修正，使方位角θ_c和機器人自身坐標(biāo)(x_c,y_c)保持準(zhǔn)確。方位角的修正過程主要根據(jù)周圍環(huán)境特征進行，一般機器人的運行環(huán)境地面會有正交于世界坐標(biāo)系的直線特征可供利用，例如墻壁于地面接壤處，地表紋路，以及桌面邊沿等等，如果運行環(huán)境中不存在類似的特征，則需增加簡單的直線標(biāo)示。機器人在靜止?fàn)顟B(tài)下時，使用Hough變換檢測得到相機一4得到的圖像中的所有直線，根據(jù)當(dāng)前機器人方位角θ_c提取出傾斜角度接近于和-θ_c并且長度大于所設(shè)定閾值的直線，通過該直線傾斜角度便可得到機器人準(zhǔn)確的方位角。機器人自身坐標(biāo)的修正則需要依靠某個已知坐標(biāo)的標(biāo)定點，根據(jù)識別出相機一4得到的圖像中標(biāo)定點的坐標(biāo)，轉(zhuǎn)換得到標(biāo)定點相對于移動平臺1的坐標(biāo)，進一步便可得到移動平臺1的準(zhǔn)確坐標(biāo)。

通過以上方法，便可以實現(xiàn)移動機器人的目標(biāo)定位，自動控制和誤差修正等功能。本發(fā)明根據(jù)獲取的圖像信息，采用圖像畸變矯正和模式識別方法計算移動機器人以及特定目標(biāo)的定位和狀態(tài)信息，進而控制機器人對目標(biāo)物體完成指令動作，具有精度高，抗干擾強的特點，不需要復(fù)雜的環(huán)境支持，適用于各種實驗室和工廠環(huán)境。