機器人示教學習:學習低級技能運動基元軌跡運動技能

人們使用機器人的目的是節(jié)約人力和時間并高效完成任務。傳統(tǒng)的機器人需要預先編程來滿足特定任務，但如果任務發(fā)生變化，往往需要重新編程。而通過機器人的示教學習，它使機器人能夠自主地執(zhí)行新任務，允許用戶通過示教任務來教授機器人所需的技能，而無需繁瑣的重新編程。我們結合2020年ICIMIA 會議發(fā)表的《A Comprehensive Study onRobot Learning from Demonstration》文章，介紹了機器人示教學習LfD（Learning from Demonstration）的研究概況。

機器人可以通過采取行動與所處環(huán)境交互，導致當前狀態(tài)到新狀態(tài)的概率轉換。機器人活動的環(huán)境可以被完全或部分觀察到。觀察性條件取決于示教數(shù)據(jù)采集方法的類型以及所選擇的教學方法。在[6]中，對環(huán)境描述的方法進行了研究。定義明確的目標可以清晰的評價任務表現(xiàn)，并改進已學習的任務[7]。LfD目前沒有標準的評估參數(shù)或方法，這是因為到目前為止LfD框架缺乏通用性，沒有可以進行比較的基準。人類如何提供示教，基于與機器人的交互方式。

（1）低級技能

低級技能通常包括在三維空間中從一個點移動到另一個點。它可以包括原始的動作，如手勢、觸摸物體、挑選物體等，這種情況下獲得的示教數(shù)據(jù)是機器人關節(jié)的位置、速度和加速度。低級運動可記錄在關節(jié)空間、任務空間或扭矩空間[11]。然而，在某些情況下，任務目標不能完全由關節(jié)位置來表示，應提供任務框架方面的額外信息。例如，挑選一個在每次示教中可能位于不同位置的目標對象。當這種低級技能在機器人框架中學習時，軌跡可能沒有相似性，因此很難提取模型。但是，如果在任務框架中表示相同的對象，則可以得到相同對象的一般模型。一種常用的方法是跟蹤末端執(zhí)行器相對于目標對象的笛卡爾坐標位置[12]。

低級技能學習或建模的三種主要方法：

1）動態(tài)運動基元(DMP)：DMP方法的中心思想是依賴于一個可靠的動態(tài)系統(tǒng)，調整該系統(tǒng)的非線性項，實現(xiàn)預期的吸引子行為。

圖3 DMP方法:字母書寫技巧[50]的不變性

在圖3中，可以看出DMP的不變性性質的重要性。藍線表示示教軌跡，紅線表示技能執(zhí)行軌跡。起點是相似的，但是，即使target_0和target_1表示的終點不同，它也能夠執(zhí)行低級技能。此外，還能根據(jù)示教的字母“a”生成“a”的一致放大版本。為了利用高度規(guī)則的結構和潛在空間來簡化DMP方法，提出了一個高斯過程的隱藏變量模型[13]。在[9]中，通過調整DMP方程中的起始參數(shù)和目標參數(shù)，評估了一種泛化技能的方法，并在baxter機械臂上進行了進一步的論證。

2）高斯混合建模與回歸(GMM-GMR)：該方法依賴于統(tǒng)計監(jiān)督學習，由兩部分組成：a）使用高斯混合模型(GMM)對技能進行編碼 b）利用高斯混合回歸(GMR)方法再現(xiàn)該技能。根據(jù)給定的示教，維度下降方法將數(shù)據(jù)投射到潛在空間中。這些方法可以執(zhí)行局部線性變換[14]或利用任何全局非線性方法[15]。在[16]中，使用GMM作為一種技能學習算法，對7個關節(jié)角度的示教數(shù)據(jù)進行預處理，進一步采用k均值聚類算法確定期望最大值（EM）算法的初始均值和協(xié)方差。通過運行迭代算法提取一個GMM，并進一步使用該GMM來執(zhí)行一項技能。在[17]中使用GMM-GMR對技能編碼的類似方法進行了評估。

3）隱馬爾科夫模型（HMM）：此類模型基于概率方法。為了用隱馬爾可夫模型來建模低級技能，可以用隱藏狀態(tài)序列和所有的概率分布來表示該技能。HMM模型學習由兩部分組成：a）結構學習b）參數(shù)學習。結構學習處理識別隱藏狀態(tài)的數(shù)量。除此之外，它還涉及到確定這些隱藏狀態(tài)是如何相互聯(lián)系的。HMM模型學習的另一部分是參數(shù)學習，用于估計先驗、轉移和觀察概率分布。HMM模型使用概率分布，以便從當前狀態(tài)前進到下一個狀態(tài)，從而生成一個序列。該序列可以提供給控制器，以產生平滑的控制信號。應該注意的是，由于提供的示教并不是暫時一致的。所記錄的重復示教或者一批示教，其時間值不相同。即使是一個熟練的示教者也不可能提供完全相同的重復示教。因此，預處理步驟涉及動態(tài)時間扭曲(DTW)技術，該技術測量多個示教的時間序列之間的相似性。