機器人廣泛應用于危險、骯臟和昏暗的環境中，在這些環境中人類極難或不可能存在，因此這些機器人需要完全任務自主。與機器人遙操作相關的挑戰之一是由機器人的機載傳感器引起的人類操作員的感知限制。例如，車載攝像頭只能為操作員提供第一人稱視角 (FPV)。FPV不包含任何深度信息，感知受相機視野的限制。如圖1a所示，操作員無法判斷機械臂固定的輻射傳感器是否已到達隔板。為了解決這個問題，機器人上安裝了多個攝像頭，以提供不同功能單元的多個視覺反饋。然而，在不同視點之間不斷切換會干擾操作員，并且環境中仍然存在多個固定攝像機視野之外的盲點。
地面機器人在國土安全應用、災難響應和檢查任務中的常見做法是使用輔助機器人，由它們提供主機器人正在執行的任務的視圖。在福島第一核電站，遙控機器人從響應開始就成對使用，以減少完成任務所需的時間。圖1b展示了兩個 iRobot Packbot 在工廠設施內進行輻射調查和讀取刻度盤，其中第二個Packbot 提供第一個機器人的攝像頭視圖，以便更快地操縱門把手、閥門和傳感器。然而，這種方法的問題在于，執行一項任務需要兩個機器人和 2-4 個操作員。兩組機器人操作員發現很難與另一個機器人協調以獲取并保持所需的視野，但單個操作員在嘗試操作兩個機器人時會感到困難。附加的團隊合作需求和溝通不暢可能會導致問題：在 2014 年，一個價值超過 50 萬美元的 iRobot Warrior 因無法看到它即將執行無法成功完成的動作而受損。
(a)車載攝像機FPV (b)兩個打包機打開一扇門
圖1 當前機器人遙操作的問題
可以通過使用系在主機器人上的無人駕駛飛行器 (UAV) 來代替第二視覺輔助機器人和額外的操作員。視覺輔助過程是使用基于系繩的定位控制器和視覺伺服算法來實現的，以保持以恒定的6自由度姿態觀察操作員的興趣點 (POI)。
異構機器人團隊由 UGV、iRobot Packbot 和系留無人機Fotokite Pro組成(圖2左)。圖2右側顯示了一個概念驗證場景，其中Fotokite 正在協助 Packbot 拾取輻射傳感器并將其放入白色垂直管道中。
圖2 異構機器人團隊
主機器人
iRobot Packbot 用作遠程操作任務的主要代理。Packbot 已被用于不同的場景，包括伊拉克和阿富汗戰爭，2001年 9/11 后搜索世貿中心的廢墟，以及 2011 年東北地震和海嘯后的福島第一核電站。它至少有三個機載攝像頭，但是，仍然不足以提供良好的態勢感知(圖1a)。在受限且雜亂的搜救任務中，Packbot 總是成對部署(圖1b) 并需要 2-4個運算符。
視覺助手
Fotokite 用作視覺助手。無人機的系繩角度傳感器和地面站的系繩卷軸編碼器使其能夠相對于其主地面機器人進行定位和定位，而無需GPS信號和視覺里程計。Fotokite 的控制基于系繩角度、長度和慣性測量。飛機位置控制使用系繩長度 ,海拔 (系繩的垂直角度)和方位角 (系繩的水平角度)。飛機的位置可以用極坐標系(圖 3)表示，并且很容易轉換到歐幾里得空間：
圖3 飛機位置坐標
設置
Fotokite的地面站機械安裝在Packbot 上。現階段項目尚未實現自動起降。由于視覺助手只向主機器人的操作員提供反饋，因此兩個代理之間不需要通信。服務器作為地面站和機外視覺輔助控制單元之間的中繼而構建，它們通過2.4GHz 無線電相互通信。服務器從Fotokite地面站的串行端口接收狀態更新，并將它們無線傳送到控制單元。飛機運動命令在控制單元計算，通過無線電傳輸到服務器，然后發送到地面站。Fotokite 相機的視頻由板載媒體編碼器和流媒體無線傳輸。
圖4顯示了視覺伺服界面的示例時間步長及其在世界坐標系中的實際姿態。在左側，綠色小框表示所需的標簽姿態，彩色框(藍色、紅色和綠色線)是當前檢測到的標簽姿態(綠色大框僅用于可視化具有深度信息的 6-DOF 標簽跟蹤)。當前檢測到的位姿框應該會收斂到所需的位姿框，并有一些由飛機振動引起的干擾。兩個方塊共心是不夠的，兩個方塊的四條線也應該相互重疊，說明不僅POI位置，深度和方向都是伺服的。
圖4 視覺伺服(俯仰)的一個示例時間步長
使用系留無人機，地面機器人的操作員可以得到第三人稱視角的視覺輔助。視覺伺服方法能夠成功地將視覺助手驅動到移動的POI，同時保持操作員觀察所需的姿勢。這種方法為未來的遙操作視覺輔助研究奠定了基礎，并有可能提高遙操作性能。
