八年前，研究人員推出了一種稱為GelSight的新型，它使用與物體的物理接觸來提供其表面的非常詳細(xì)的三維地圖。現(xiàn)在，通過將GelSight傳感器安裝在機(jī)器人手臂的夾具上，兩個(gè)團(tuán)隊(duì)給予機(jī)器人更高的靈敏度和靈巧度。

    連接到機(jī)器人夾具上的GelSight傳感器使機(jī)器人能夠地確定其抓住一個(gè)小螺絲刀的位置，將其從插入口插入并插入到插槽中，即使夾具從機(jī)器人的相機(jī)上屏蔽螺絲刀。

    八年前，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）的研究小組Ted Adelson推出了一種稱為GelSight的新型傳感器技術(shù)，它與物體接觸，提供了一個(gè)非常詳細(xì)的3-D曲面圖。

    現(xiàn)在，通過將GelSight傳感器安裝在機(jī)器手臂的夾具上，兩個(gè)MIT團(tuán)隊(duì)給予機(jī)器人更大的靈敏度和靈巧度。研究人員在國(guó)際機(jī)器人與自動(dòng)化大會(huì)上發(fā)表了兩篇文章。

    在一篇論文中，Adelson集團(tuán)使用GelSight傳感器的數(shù)據(jù)，使機(jī)器人能夠判斷其接觸的表面的硬度，一個(gè)關(guān)鍵的能力，如果家用機(jī)器人處理日常物品。

    另一方面，CSTE的Russ Tedrake的Robot Locomotion Group使用GelSight傳感器，使機(jī)器人能夠操縱比以前更小的物體。

    在某些方面，GelSight傳感器是一個(gè)低技術(shù)解決難題的解決方案。它由一塊透明橡膠組成，其名稱的“凝膠”，其一面涂有金屬漆。當(dāng)涂漆面被壓在物體上時(shí)，它符合物體的形狀。

    金屬漆使物體的表面反射，因此計(jì)算機(jī)視覺算法的幾何形狀變得更加容易。安裝在與橡膠塊涂漆面相對(duì)的傳感器上的是三色燈和單個(gè)相機(jī)。

    具有不同角度的彩色燈，然后具有這種反光材料，通過查看顏色，計(jì)算機(jī)可以找出這個(gè)東西的三維形狀。

    在兩組實(shí)驗(yàn)中，將GelSight傳感器安裝在機(jī)器人夾持器的一側(cè)，該裝置有點(diǎn)類似于鉗子的頭部，但具有平坦的夾緊表面而不是。

    一、聯(lián)絡(luò)點(diǎn)

    觸覺感知還可以幫助機(jī)器人區(qū)分看似相似的物體。

    在以前的工作中，機(jī)器人試圖通過將它們放在平坦的表面上來輕輕地評(píng)估物體的硬度，并輕輕地戳他們看看他們給了多少。但這不是人類衡量硬度的主要方式。相反，我們的判斷似乎是基于對(duì)象和我們的手指之間的接觸面積隨著我們的壓力而改變的程度。較軟的物體往往會(huì)變得更平坦，增加接觸面積。

    實(shí)驗(yàn)過程

    麻省理工學(xué)院的研究人員采用同樣的方法：使用糖果模具創(chuàng)造400組硅膠物體，每組16個(gè)物體。在每組中，對(duì)象具有相同的形狀，但硬度不同，袁使用標(biāo)準(zhǔn)工業(yè)規(guī)模測(cè)量。

    然后，手動(dòng)按下每個(gè)對(duì)象的GelSight傳感器，并記錄了接觸模式隨時(shí)間變化的情況，基本上為每個(gè)對(duì)象產(chǎn)生一個(gè)短片。為了標(biāo)準(zhǔn)化數(shù)據(jù)格式并保持?jǐn)?shù)據(jù)可管理的大小，她從每個(gè)電影中提取了五幀，時(shí)間均勻，描述了按下的對(duì)象的變形。

    ，將數(shù)據(jù)提供給神經(jīng)網(wǎng)絡(luò)，自動(dòng)尋找接觸模式和硬度測(cè)量的變化之間的相關(guān)性。所得到的系統(tǒng)將視頻幀作為輸入，并以非常高的產(chǎn)生硬度得分。

    二、阻礙視圖

    通常，自主機(jī)器人將使用某種計(jì)算機(jī)視覺系統(tǒng)來指導(dǎo)其對(duì)環(huán)境中物體的操縱。這樣的系統(tǒng)可以提供關(guān)于對(duì)象的位置的非常可靠的信息，直到機(jī)器人向上拾取物體。特別是如果物體很小，很多東西將被機(jī)器人的夾子夾住，使位置估計(jì)更加困難。因此，在機(jī)器人地需要知道對(duì)象的位置的位置，其估計(jì)變得不可靠。

    GelSight本身就是基于攝像頭的，所以它的數(shù)據(jù)輸出比其他觸覺傳感器的數(shù)據(jù)更易于與視覺數(shù)據(jù)進(jìn)行集成。

    在實(shí)驗(yàn)中，裝有GelSight的夾具的機(jī)器人必須抓住一把小螺絲刀，將其從皮套中取出并將其退回。當(dāng)然，GelSight傳感器的數(shù)據(jù)并沒有描述整個(gè)螺絲刀，只是一小部分。但是，只要視覺系統(tǒng)對(duì)螺絲刀的初始位置的估計(jì)到幾厘米，算法就可以推斷出GelSight傳感器接觸到的螺絲刀的哪一部分，從而確定螺絲刀在機(jī)器人手中的位置。