以下文章來源于機(jī)器人大講堂 ，作者Robospeak

人類天生擁有先進(jìn)而靈活的手部操縱能力，能夠輕松完成日常很多動(dòng)作，例如移動(dòng)物體、開門、打字、繪畫等。

但對(duì)機(jī)器人來說，要實(shí)現(xiàn)多任務(wù)操控，并根據(jù)不同物體適應(yīng)最合適的抓握手勢(shì)，這可是件難事。

那該如何控制機(jī)械手實(shí)現(xiàn)日常操作呢？

很多靈活強(qiáng)大的機(jī)械手使用了無模型強(qiáng)化學(xué)習(xí)技術(shù)（RL）來進(jìn)行精確抓握，這種方法通用性很強(qiáng)，它無需過多假設(shè)，而且能自動(dòng)掌握很多技能。由于這種方法除了建立函數(shù)無需其他信息，所以很容易在改進(jìn)后的環(huán)境中重新學(xué)習(xí)技能，例如更換了目標(biāo)物體或機(jī)械手。

但大部分情況下，這種策略需要外部傳感信息，例如，用多攝像頭系統(tǒng)來跟蹤手指或物體，然而這種系統(tǒng)很難部署在實(shí)驗(yàn)室以外的環(huán)境。

為了解決該問題，哥倫比亞大學(xué)機(jī)器人操作和移動(dòng)實(shí)驗(yàn)室的研究人員首次將無模型強(qiáng)化學(xué)習(xí)技術(shù)（RL）與本體觸覺反饋相結(jié)合，在沒有任何外部信息、機(jī)械手也不知道物體形狀的情況下，僅利用“觸覺感知”就能靈活操縱物體。

無需提前了解抓握物體，也能靈活適應(yīng)形狀

將觸覺反饋與強(qiáng)化學(xué)習(xí)集成在一起，本身就是一個(gè)挑戰(zhàn)。

觸覺反饋通常是高維的，這會(huì)極大地增加強(qiáng)化學(xué)習(xí)所需的訓(xùn)練樣本數(shù)量。因此，大多數(shù)使用強(qiáng)化算法控制機(jī)械手的工作要么完全避免使用觸覺反饋，要么考慮需要較少訓(xùn)練樣本的任務(wù)。

為了避免大量的訓(xùn)練樣本，研究人員考慮僅使用內(nèi)部感知，不關(guān)注被抓物體的形狀，而是專注于讓機(jī)械手學(xué)習(xí)手指手勢(shì)（包括手指替換和重新抓握的操作）和手指旋轉(zhuǎn)（涉及手指抓握中的物體的操作）技能，這些不受手的運(yùn)動(dòng)學(xué)約束的限制，可以實(shí)現(xiàn)潛在的物體形狀重新定向。

這個(gè)機(jī)械手并不包含手掌，所以可將手指的手勢(shì)學(xué)習(xí)主要集中在主軸旋轉(zhuǎn)，然后為每個(gè)軸獲得的手指采集策略以適當(dāng)?shù)捻樞蚪M合，以實(shí)現(xiàn)目標(biāo)方向的期望變化。

穩(wěn)定抓取采樣，減少隨機(jī)性

僅用內(nèi)部感知學(xué)習(xí)手勢(shì)的方法有一定的缺點(diǎn)：行動(dòng)隨機(jī)化。

隨機(jī)的探索動(dòng)作容易擾亂精確抓握的物體的穩(wěn)定性，導(dǎo)致其掉落，因此需要對(duì)手指位置穩(wěn)定抓取采樣(SGS)，以訓(xùn)練穩(wěn)定的抓握軌跡。

為了對(duì)手部姿勢(shì)進(jìn)行采樣，研究人員首先對(duì)物體周圍的環(huán)內(nèi)指尖位置進(jìn)行采樣，該環(huán)以物體為中心并與其部分重疊，因此指尖接觸物體和保持自由的概率大致相同。通過這個(gè)過程，不僅可以找到與手指步態(tài)和手指旋轉(zhuǎn)相關(guān)的穩(wěn)定抓握，還可以提高發(fā)現(xiàn)它們的可能性，從而最大限度地減少訓(xùn)練時(shí)間。

第一個(gè)將內(nèi)在觸感與強(qiáng)化學(xué)習(xí)結(jié)合的實(shí)例

這項(xiàng)研究的預(yù)印本發(fā)表在arXiv上，論文標(biāo)題為《On the Feasibility of Learning Finger-gaiting In-hand Manipulation withIntrinsic Sensing》。

為了促進(jìn)未來在真實(shí)場(chǎng)景中的部署，限制外部視覺或跟蹤傳感器等信息是很有必要的。這項(xiàng)研究是第一個(gè)成功地使用僅內(nèi)在傳感信息進(jìn)行訓(xùn)練的機(jī)械手實(shí)例，論文的第一作者，Gagan Khandate認(rèn)為：“這項(xiàng)工作是邁向未來機(jī)械手操縱方向的非常有用的一步，不僅如此，我們?cè)诓皇褂檬终苹蚱渌砻孢M(jìn)行被動(dòng)支持的情況下，也能實(shí)現(xiàn)機(jī)械手的穩(wěn)定操作技能?！?/p>

論文鏈接：

https://arxiv.org/abs/2109.12720