本發(fā)明涉及助理機(jī)器人技術(shù)領(lǐng)域，尤其是涉及一種基于雙目視覺的助理機(jī)器人及其控制方法。

背景技術(shù)：

助理機(jī)器人越來越多的進(jìn)入到與人合作的各種場(chǎng)合。助理機(jī)器人的認(rèn)知能力決定了其環(huán)境友好程度?，F(xiàn)有的具有較好環(huán)境識(shí)別能力的助理機(jī)器人，其均采用了高級(jí)的環(huán)境識(shí)別系統(tǒng)，例如采用高速度處理能力的處理器或采用多個(gè)視覺傳感器等，導(dǎo)致助理機(jī)器人的成本較高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明主要解決的技術(shù)問題是提供一種基于雙目視覺的助理機(jī)器人及其控制方法，能夠在較低成本的情況下完成助理機(jī)器人的物體識(shí)別和抓取的操作。

為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于雙目視覺的助理機(jī)器人，該助理機(jī)器人包括：雙目視覺傳感器，用于獲取目標(biāo)物體的圖像信息；視覺處理器，用于對(duì)目標(biāo)物體的圖像信息進(jìn)行處理，以獲得目標(biāo)物體的位置信息；機(jī)器人控制器，用于根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑，并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng)，以獲取目標(biāo)物體。

其中，雙目視覺傳感器具體為分別對(duì)含有目標(biāo)物體的場(chǎng)景成像，以獲取兩個(gè)場(chǎng)景圖像，然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征，并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純，以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息；

視覺處理器進(jìn)一步匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn)，經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。

其中，雙目視覺傳感器進(jìn)一步用于獲取末端執(zhí)行器的圖像信息；

視覺處理器進(jìn)一步根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息；

機(jī)器人控制器進(jìn)一步根據(jù)末端執(zhí)行器的位置信息與目標(biāo)物體的位置信息去修改路徑。

其中，雙目視覺傳感器具體為獲取含有末端執(zhí)行器的兩幅場(chǎng)景圖像，然后經(jīng)過二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算、橢圓重心計(jì)算后，獲得兩幅場(chǎng)景圖像中的所述末端執(zhí)行器的視差，以獲得末端執(zhí)行器的圖像信息。

視覺處理器經(jīng)過三角測(cè)量獲得末端執(zhí)行器在雙目視覺傳感器的坐標(biāo)系下的位置坐標(biāo)，經(jīng)過坐標(biāo)變換，計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)。

其中，末端執(zhí)行器為機(jī)械手。

為解決上述技術(shù)問題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種基于雙目視覺的助理機(jī)器人控制方法，該控制方法包括以下步驟：

獲取目標(biāo)物體的圖像信息；

對(duì)目標(biāo)物體的圖像信息進(jìn)行處理，以獲得目標(biāo)物體的位置信息；

根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑，并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng)，以獲取目標(biāo)物體。

其中，獲取目標(biāo)物體的圖像信息的步驟包括：

分別對(duì)含有目標(biāo)物體的場(chǎng)景成像，以獲取兩個(gè)場(chǎng)景圖像，然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征，并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純，以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息；

對(duì)目標(biāo)物體的圖像信息進(jìn)行處理，以獲得目標(biāo)物體的位置信息的步驟包括：

匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn)，經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。

其中，方法包括：

獲取末端執(zhí)行器的圖像信息；

根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息；

根據(jù)末端執(zhí)行器的位置信息與目標(biāo)物體的位置信息去修改路徑。

其中，獲取末端執(zhí)行器的圖像信息的步驟包括：

獲取含有末端執(zhí)行器的兩幅場(chǎng)景圖像，然后經(jīng)過二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算、橢圓重心計(jì)算后，獲得兩幅場(chǎng)景圖像中的末端執(zhí)行器的視差，以獲得末端執(zhí)行器的圖像信息；

根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息的步驟包括：

經(jīng)過三角測(cè)量和坐標(biāo)變換計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)。

其中，末端執(zhí)行器為機(jī)械手。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明的基于雙目視覺的助理機(jī)器人包括雙目視覺傳感器、視覺處理器以及機(jī)器人控制器。其中，雙目視覺傳感器用于獲取目標(biāo)物體的圖像信息，視覺處理器用于對(duì)目標(biāo)物體的圖像信息進(jìn)行處理，以獲得目標(biāo)物體的位置信息，機(jī)器人控制器用于根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑，并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng)，以獲取目標(biāo)物體。因此，本發(fā)明只需一個(gè)雙目視覺傳感器作為助理機(jī)器人的視覺傳感器，即可協(xié)助助理機(jī)器人完成目標(biāo)物體識(shí)別和抓取操作，成本較低。

附圖說明

圖1是本發(fā)明實(shí)施例提供的一種基于雙目視覺的助理機(jī)器人的結(jié)構(gòu)示意圖；

圖2是本發(fā)明實(shí)施例提供的一種基于雙目視覺的助理機(jī)器人控制方法的流程圖；

圖3是本發(fā)明實(shí)施例提供的另一種基于雙目視覺的助理機(jī)器人控制方法的流程圖。

具體實(shí)施方式

請(qǐng)參閱圖1，圖1是本發(fā)明實(shí)施例提供的一種基于雙目視覺的助理機(jī)器人。如圖1所示，本發(fā)明的基于雙目視覺的助理機(jī)器人10包括雙目視覺傳感器11、視覺處理器12以及機(jī)器人控制器13。其中，雙目視覺傳感器11與視覺處理器12的通信接口為USB2.0，視覺處理器12與機(jī)器人控制器13的通信接口為RJ45接口。

其中，雙目視覺傳感器11用于獲取目標(biāo)物體的圖像信息。具體為分別對(duì)含有目標(biāo)物體的場(chǎng)景成像，以獲取兩個(gè)場(chǎng)景圖像，然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征，并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純，以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息。其中，特征匹配具體為通過KNN(K Nearest Neighbors，K-近鄰分類算法)距離約束、對(duì)稱性約束以及投影單應(yīng)約束進(jìn)行。

視覺處理器12用于對(duì)目標(biāo)物體的圖像信息進(jìn)行處理，以獲得目標(biāo)物體的位置信息。具體為視覺處理器12匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn)，經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。具體為獲得目標(biāo)物體在助理機(jī)器人10的坐標(biāo)系下的位置和姿態(tài)，以作為助理機(jī)器人的末端執(zhí)行器14的參考輸入。

機(jī)器人控制器13用于根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑，并控制助理機(jī)器人的末端執(zhí)行器14根據(jù)路徑進(jìn)行運(yùn)動(dòng)，以獲取目標(biāo)物體。

因此，本發(fā)明只需一個(gè)雙目視覺傳感器11作為助理機(jī)器人10的視覺傳感器，即可協(xié)助助理機(jī)器人10完成目標(biāo)物體識(shí)別和抓取操作，成本較低。

進(jìn)一步的，雙目視覺傳感器11進(jìn)一步獲取末端執(zhí)行器14的圖像信息。具體為雙目視覺傳感器11獲取含有末端執(zhí)行器14的兩幅場(chǎng)景圖像，然后經(jīng)過二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算，橢圓重心計(jì)算后，獲得兩幅場(chǎng)景圖像中的末端執(zhí)行器14的視差，以獲得末端執(zhí)行器14的圖像信息。

視覺處理器12進(jìn)一步根據(jù)末端執(zhí)行器14的圖像信息獲得末端執(zhí)行器的位置信息。具體的，經(jīng)過三角測(cè)量獲得末端執(zhí)行器14在雙目視覺 傳感器11的坐標(biāo)系下的位置坐標(biāo)，進(jìn)一步經(jīng)過坐標(biāo)變換，以計(jì)算出末端執(zhí)行器14在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)，即末端執(zhí)行器14在機(jī)器人的坐標(biāo)系下的位置和姿態(tài)。

機(jī)器人控制器13進(jìn)一步根據(jù)末端執(zhí)行器14的位置信息與目標(biāo)物體的位置信息去修改路徑。

本實(shí)施例中，末端執(zhí)行器14為機(jī)械手。在其他實(shí)施例中，末端執(zhí)行器還可以為其他抓取元件。本發(fā)明不對(duì)末端執(zhí)行器的具體形態(tài)作限制。

本發(fā)明實(shí)施例還提供了一種基于雙目視覺的助理機(jī)器人控制方法，該控制方法應(yīng)用于前文所述的控制系統(tǒng)中，具體請(qǐng)參閱圖2，圖2是本發(fā)明實(shí)施例提供的一種基于雙目視覺的助理機(jī)器人的控制方法的流程圖。

如圖2所示，本實(shí)施例的控制方法包括以下步驟：

步驟S1：獲取目標(biāo)物體的圖像信息。

本步驟具體為分別對(duì)含有目標(biāo)物體的場(chǎng)景成像，以獲取兩個(gè)場(chǎng)景圖像，然后根據(jù)兩個(gè)場(chǎng)景圖像分別提取目標(biāo)物體的兩個(gè)圖像特征，并分別在兩個(gè)場(chǎng)景圖像中進(jìn)行圖像特征的匹配和提純，以識(shí)別出兩個(gè)場(chǎng)景圖像中的目標(biāo)物體的圖像信息。

步驟S2：對(duì)目標(biāo)物體的圖像信息進(jìn)行處理，以獲得目標(biāo)物體的位置信息。

本步驟具體為匹配兩個(gè)目標(biāo)物體的圖像信息上的特征點(diǎn)，經(jīng)三角測(cè)量獲得目標(biāo)物體的位置信息。其中，具體為獲得目標(biāo)物體在助理機(jī)器人的坐標(biāo)系下的位置和姿態(tài)，以作為助理機(jī)器人的末端執(zhí)行器的參考輸入。

步驟S3：根據(jù)目標(biāo)物體的位置信息規(guī)劃出運(yùn)動(dòng)的路徑，并控制助理機(jī)器人的末端執(zhí)行器根據(jù)路徑進(jìn)行運(yùn)動(dòng)，以獲取目標(biāo)物體。

可選的，請(qǐng)參閱圖3，本實(shí)施例的方法還包括：

步驟S21：獲取末端執(zhí)行器的圖像信息。

本步驟中，具體為獲取含有末端執(zhí)行器的兩幅場(chǎng)景圖像，然后經(jīng)過 二值化、邊緣提取、輪廓外接矩形檢測(cè)、橢圓檢測(cè)、橢圓相似度計(jì)算，橢圓重心計(jì)算后，獲得所述兩幅場(chǎng)景圖像中的所述末端執(zhí)行器的視差，以獲得末端執(zhí)行器的圖像信息。

步驟S22：根據(jù)末端執(zhí)行器的圖像信息獲得末端執(zhí)行器的位置信息。

本步驟具體為經(jīng)過三角測(cè)量和坐標(biāo)變換計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)。更具體的，經(jīng)過三角測(cè)量獲得末端執(zhí)行器在雙目視覺傳感器的坐標(biāo)系下的位置坐標(biāo)，進(jìn)一步經(jīng)過坐標(biāo)變換，以計(jì)算出末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置坐標(biāo)，即末端執(zhí)行器在機(jī)器人的坐標(biāo)系下的位置和姿態(tài)。

步驟S23：根據(jù)末端執(zhí)行器的位置信息與目標(biāo)物體的位置信息去修改路徑。

其中，前文所述末端執(zhí)行器為助理機(jī)器人的機(jī)械手。在其他實(shí)施例中，也可以為其他的抓取元件，在此不作限制。

因此，本發(fā)明只需一個(gè)雙目視覺傳感器作為助理機(jī)器人的視覺傳感器，即可協(xié)助助理機(jī)器人完成目標(biāo)物體識(shí)別和抓取操作，成本較低。

以上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。