摘要：混合現(xiàn)實技術(shù)由于具有良好的沉浸感和交互體驗，在高校實踐教學領(lǐng)域有著廣闊的應(yīng)用前景。根據(jù)人才培養(yǎng)需求，設(shè)計并開發(fā)了基于混合現(xiàn)實技術(shù)的機器人遙操作實驗平臺。該平臺采用LeapMotion檢測跟蹤操作者手部運動并轉(zhuǎn)換成機器人控制命令，同時由混合現(xiàn)實顯示裝置獲取具有機器人現(xiàn)場場景和虛擬手部動畫模型的實時視像反饋，通過機器人書寫漢字應(yīng)用驗證了系統(tǒng)的有效性。該平臺采用混合現(xiàn)實技術(shù)保證了操作的安全性和高效性，增強了人機交互體驗，其通用性和綜合實踐性強，可為機器人工程專業(yè)相關(guān)實踐教學提供創(chuàng)新實驗平臺。

　　關(guān)鍵詞：機器人;混合現(xiàn)實;遙操作;人機交互

　　混合現(xiàn)實(mixedreality,MR)技術(shù)結(jié)合了虛擬現(xiàn)實(virtualreality,VR)和增強現(xiàn)實(augmentedreality,AR)技術(shù)的優(yōu)勢，能夠?qū)⑻摂M環(huán)境引入到現(xiàn)實場景中，同時在現(xiàn)實世界、虛擬世界和操作者之間建立起信息回路，從而增強操作者的沉浸感和交互體驗[1-2]，已經(jīng)在工業(yè)制造、建筑設(shè)計、醫(yī)療衛(wèi)生等多個領(lǐng)域得到應(yīng)用[3-5]，在高校教學領(lǐng)域如虛擬實驗室、虛擬課堂等方面也有著廣闊的應(yīng)用前景[6-7]。

　　近年來機器人技術(shù)得到快速發(fā)展，社會對該領(lǐng)域人才尤其是拔尖創(chuàng)新人才的需求不斷增加。機器人技術(shù)是一門綜合性實踐性很強的交叉學科，建立機器人工程專業(yè)創(chuàng)新實踐平臺并開展相關(guān)實踐教學對高校人才的培養(yǎng)至關(guān)重要[8-9]。本文將混合現(xiàn)實技術(shù)與機器人控制相結(jié)合，開發(fā)了虛擬現(xiàn)實場景下的機器人遙操作控制實驗平臺，一方面保證了操作的安全性、增強了操作體驗感，另一方面學生可根據(jù)興趣開展不同的應(yīng)用實驗，促進了學生探索研究能力和創(chuàng)新能力的培養(yǎng)。

　　1平臺整體方案設(shè)計

　　主要包括操作者、LeapMotion手勢傳感器、混合現(xiàn)實顯示裝置、機器人、計算機5部分。LeapMotion是由MagicLeap公司于2013年推出的一款無接觸式的手勢交互設(shè)備，內(nèi)置有3個紅外發(fā)光二極管和2個深度攝像機，能夠捕捉到操作者手部運動時手指和掌心位置坐標信息并通過USB接口與計算機通信[10]。該實驗平臺中的機器人可以是工業(yè)機械臂、雙臂協(xié)作機器人等，算法采用C++編程語言進行開發(fā)，具有一定的通用性。

　　平臺實施流程如下：首先定義手掌開合作為遙操作觸發(fā)信號，采用LeapMotion檢測操作者的手勢，當檢測到操作者手掌閉合時即對其掌心位置進行跟蹤;將其采集的位置數(shù)據(jù)進行處理，計算機根據(jù)所設(shè)計的運動映射算法轉(zhuǎn)換為機器人坐標系下末端執(zhí)行器坐標并生成相應(yīng)控制命令，通過UDP通信方式實時傳輸至機器人下位機。

　　利用LeapMotion的API接口和游戲引擎(如Unity3D、Unreal等)可開發(fā)并生成操作者手部虛擬模型，同時借助常見的混合現(xiàn)實顯示裝置(如微軟HoloLens等)，操作者可實時獲取由機器人工作現(xiàn)場場景和手部虛擬模型動畫組成的混合現(xiàn)實視像反饋，保證了操作的安全性和高效性，增強了人機交互體驗。

　　2主要功能模塊設(shè)計

　　2.1混合現(xiàn)實場景生成模塊

　　結(jié)合混合現(xiàn)實顯示裝置、LeapMotion控制器以及Unity3D游戲引擎設(shè)計并搭建混合現(xiàn)實環(huán)境。在Unity中通過調(diào)用LeapMotion的Assets組件，導(dǎo)入并生成操作者的手部虛擬模型，由相關(guān)功能實現(xiàn)混合現(xiàn)實顯示裝置與Unity軟件之間的通信，將在Unity中生成的混合現(xiàn)實影像流信號實時傳輸至混合現(xiàn)實顯示裝置。此外，可通過設(shè)置最快傳輸速度、調(diào)整虛擬物件與操作者之間的距離、相機背景顏色等以保證更好的實時反饋效果。通過混合現(xiàn)實設(shè)備，操作者不僅可以觀察到機器人的運動以及現(xiàn)場場景，同時由Unity生成的虛擬手部模型也將呈現(xiàn)于操作者的視野之中。該虛擬模型與操作者的手部運動保持一致，這也為操作者在操作過程中提供重要的引導(dǎo)性幫助，從而實現(xiàn)更好的人機交互體驗。

　　2.2運動映射算法模塊

　　考慮到LeapMotion控制器與工業(yè)機器人的坐標系并不一致，為了使得操作者的動作能夠正確映射到機器人工作空間保證機器人做出合乎預(yù)期的正確運動，本文提出了一種運動映射算法，用于將LeapMotion控制器的坐標系轉(zhuǎn)化為機器人的坐標系，實現(xiàn)操作者動作到機器人末端動作的同步映射。

　　3實驗示例

　　采用微軟頭戴式HoloLens混合現(xiàn)實顯示裝置、華數(shù)6自由度工業(yè)機器人、LeapMotion手勢控制器構(gòu)建了機器人遙操作控制實驗平臺。本實驗通過設(shè)計特定任務(wù)，即遙操作機器人書寫簡單中國漢字來驗證上述平臺的有效性。實驗中定義“是否握緊拳頭”為啟動遙操作程序的觸發(fā)事件，當LeapMotion控制器檢測到操作者拳頭握緊時，將啟動遙操作程序，此時LeapMotion開始跟蹤記錄操作者的手部掌心位置，上位機由相關(guān)位置信息和運動映射算法生成控制命令并實時傳輸給華數(shù)機器人執(zhí)行命令。遙操作過程中操作者利用LeapMotion控制器，實現(xiàn)通過手勢遠程控制華數(shù)機器人，同時，操作者通過HoloLens可以獲取實時視像反饋。

　　不僅可以觀察到華數(shù)機器人和周圍場景，還能夠看到跟隨自身手部運動的虛擬手部動畫模型。對于操作者來說，結(jié)合混合現(xiàn)實技術(shù)的視像反饋使得操作過程更加直觀，操作難度也大大降低。上述實驗中，操作者通過手部運動順利完成遙操作華數(shù)機器人書寫漢字“王”的任務(wù)，為機器人在實際環(huán)境中書寫漢字情況。實驗結(jié)果驗證了所設(shè)計的基于混合現(xiàn)實技術(shù)的機器人遙操作控制平臺的有效性。

　　機器人論文范例： 我國鑿巖機器人發(fā)展機遇與挑戰(zhàn)研究

　　4結(jié)語

　　本文結(jié)合混合現(xiàn)實技術(shù)開發(fā)了機器人遙操作實驗平臺，該平臺具有通用性強、綜合實踐性強等特點，可應(yīng)用于不同機器人平臺并開展多種應(yīng)用研究，能夠為機器人技術(shù)相關(guān)實踐教學提供創(chuàng)新實驗平臺。隨著混合現(xiàn)實技術(shù)的不斷發(fā)展和逐步普及，混合現(xiàn)實技術(shù)在高校實踐教學尤其是虛擬實驗室的建設(shè)和應(yīng)用方面將發(fā)揮重要作用，充分發(fā)揮混合現(xiàn)實優(yōu)勢、構(gòu)建實驗場景、開發(fā)相關(guān)應(yīng)用案例，將為學生提供更好的交互式體驗平臺，進一步促進機器人工程專業(yè)拔尖創(chuàng)新人才的培養(yǎng)。

　　參考文獻(References)

　　[1]黃進，韓冬奇，陳毅能，等.混合現(xiàn)實中的人機交互綜述[J].計算機輔助設(shè)計與圖形學學報，2016,28(6):869–880.

　　[2]周忠，周頤，肖江劍.虛擬現(xiàn)實增強技術(shù)綜述[J].中國科學：信息科學，2015,45(2):157–180.

　　[3]劉敏洋，李博功.基于混合現(xiàn)實技術(shù)的工業(yè)智能運維系統(tǒng)設(shè)計[J].制造技術(shù)與機床，2020(9):80–82,87.

　　[4]龔赤兵.HoloLens混合現(xiàn)實技術(shù)在建筑行業(yè)中的應(yīng)用研究[J].現(xiàn)代信息科技，2019,3(4):147–149.

　　[5]李晉芳，陳基榮，李二芳，等.遠程協(xié)同手術(shù)指導(dǎo)平臺的研究[J].實驗室研究與探索，2019,38(6):96–102.

　　[6]孔璽，孟祥增，徐振國，等.混合現(xiàn)實技術(shù)及其教育應(yīng)用現(xiàn)狀與展望[J].現(xiàn)代遠距離教育，2019(3):82–89.

　　作者：占宏，梁聰垣，楊辰光