火爆全網(wǎng)的斯坦福炒蝦機(jī)器人，一天之內(nèi)人氣暴漲。 

畢竟這樣能炒菜能洗碗的全能機(jī)器人，誰(shuí)不想帶一個(gè)回家，把自己從家務(wù)中解放出來(lái)呢！

據(jù)說(shuō)，這個(gè)項(xiàng)目是斯坦福華人團(tuán)隊(duì)花了三個(gè)月的時(shí)間做出來(lái)的。

今天，團(tuán)隊(duì)直接放出了更多細(xì)節(jié)。

這個(gè)機(jī)器人的技能多種多樣，令人眼花繚亂。

以前，聊天機(jī)器人愜意地吟詩(shī)作畫，人類苦逼地收拾打掃，這畫風(fēng)怎么看怎么不對(duì)。

如今終于有人想起來(lái)了：機(jī)器人的一大任務(wù)，就該是幫人類干家務(wù)啊！

你還有什么驚喜是我們不知道的？

斯坦福的這個(gè)炒菜機(jī)器人，它還能——

澆花。

圖片

掃地。

圖片

煮咖啡。

幫主人刮胡子。

圖片

揪一片衛(wèi)生紙，擦干凈桌子上的牛奶。

圖片

把洗碗機(jī)里的碗拿出來(lái)。

圖片

陪貓玩。

圖片

洗衣服（包括把一袋臟衣服倒進(jìn)洗衣機(jī)、從袋子中拿出洗衣凝珠、擰開(kāi)洗衣液倒進(jìn)去、按下洗衣機(jī)按鈕等過(guò)程）。

圖片

推著小筐子收衣服。

圖片

整理床單、換枕套。

圖片

疊衣服（注意，它甚至還能完成拉拉鏈這種程度的精細(xì)操作）。

圖片

擰開(kāi)瓶蓋，給工作中的主人送去一瓶啤酒。

圖片

跟主人道晚安，幫躺在床上的主人蓋好杯子。

圖片

最后，還有一個(gè)彩蛋：忙碌的一天結(jié)束后，機(jī)器人還會(huì)自己給自己充電，迎接元?dú)鉂M滿的一天，繼續(xù)為主人服務(wù)了！

圖片

擂臺(tái)對(duì)打，谷歌DeepMind機(jī)器人研究三連彈

谷歌DeepMind這邊，當(dāng)然也不甘落后。

今天，谷歌DeepMind也官宣了一系列進(jìn)展，就是為了能讓機(jī)器人技術(shù)在日常生活中幫助我們。

圖片

谷歌DeepMind的這個(gè)機(jī)器人，可以幫我們撿水果。

圖片

從抽屜里拿出一罐可樂(lè)。

圖片

幫我們擺好牙刷。

圖片

總之，斯坦福炒蝦機(jī)器人能做的，它也不差。

解決兩大關(guān)鍵挑戰(zhàn)

谷歌采用了AutoRT、SARA-RT和RT-Trajectory等技術(shù)，讓機(jī)器人能夠更快地做出決策，更好地理解環(huán)境，在環(huán)境中導(dǎo)航。

為了生產(chǎn)真正有能力的機(jī)器人，就必須解決兩個(gè)基本挑戰(zhàn)：

一個(gè)是提高它們將行為泛化到新情況的能力；第二個(gè)，就是提高它們的決策速度。

谷歌DeepMind團(tuán)隊(duì)，在這兩個(gè)領(lǐng)域都進(jìn)行了重大改進(jìn)。

SARA-RT：讓機(jī)器人Transformer更高效

首先，系統(tǒng)SARA-RT使用一種新穎的「向上訓(xùn)練」方法，將機(jī)器人Transformer模型轉(zhuǎn)換為更高效的版本。

這樣，就降低了機(jī)器人部署所需的計(jì)算要求，在保持質(zhì)量的同時(shí)，提高 了速度。

圖片

當(dāng)研究者將SARA-RT應(yīng)用于谷歌最先進(jìn)的RT-2模型時(shí)，在獲得簡(jiǎn)短的圖像歷史后，最佳版本的準(zhǔn)確率提高了10.6%，速度提高了14%。

雖然Transformer很強(qiáng)大，但它們可能會(huì)受到計(jì)算需求的限制，這會(huì)減緩它們的決策速度。

Transformer嚴(yán)重依賴于二次復(fù)雜度的注意力模塊。

這意味著，如果RT模型的輸入增加1倍，處理該輸入所需的計(jì)算資源就會(huì)增加4倍，從而導(dǎo)致決策速度減慢。

如上所述，SARA-RT「向上訓(xùn)練」的方法來(lái)提高效率。「向上訓(xùn)練」是將二次復(fù)雜度轉(zhuǎn)化為單純的線性復(fù)雜度，大大降低了計(jì)算要求。這種轉(zhuǎn)換不僅提高了原始模型的速度，而且還能保持其性能。

研究者表示，可以相信這是第一個(gè)可擴(kuò)展的注意力機(jī)制，可以在不損失質(zhì)量的情況下提供計(jì)算改進(jìn)。

圖片

谷歌這一系統(tǒng)的設(shè)計(jì)是為了可用性，同時(shí)也希望更多的研究人員和從業(yè)者將其應(yīng)用于機(jī)器人學(xué)和其他領(lǐng)域。

因?yàn)镾ARA提供了加速Transformer的通用方法，且不需要算力昂貴的預(yù)訓(xùn)練，這種方法有助于擴(kuò)大Transformer技術(shù)的使用。

與此同時(shí)，SARA-RT不需要任何額外的代碼，因其可以使用各種開(kāi)源的線性變量。

圖片

SARA-RT-2模型用于操作任務(wù)，機(jī)器人的行動(dòng)以圖像和文本命令為條件

SARA-RT可以應(yīng)用于各種Transformer模型。比如，將SARA-RT應(yīng)用于點(diǎn)云Transformer，用于處理機(jī)器人深度攝像頭的空間數(shù)據(jù)，并且速度提高了一倍多。

RT-Trajectory：讓機(jī)器人學(xué)會(huì)泛化

第二，RT-Trajectory模型通過(guò)自動(dòng)將描述機(jī)器人運(yùn)動(dòng)的視覺(jué)輪廓添加到其訓(xùn)練中，來(lái)學(xué)習(xí)如何遵循指令。

要知道，人類可以很直觀地理解該如何擦桌子，但機(jī)器人，則需要通過(guò)多種方式，將指令轉(zhuǎn)化為實(shí)際的身體動(dòng)作。

這個(gè)RT-Trajectory模型，可以在訓(xùn)練數(shù)據(jù)集中獲取每個(gè)視頻，并在執(zhí)行任務(wù)時(shí)將其與機(jī)械臂抓手的2D軌跡草圖疊加在一起。

這樣，這些軌跡就以RGB圖像的形式，在模型學(xué)習(xí)其機(jī)器人控制策略時(shí)，為它提供了低級(jí)的、實(shí)用的視覺(jué)提示。

圖片

它還可以通過(guò)觀看人工演示、理解草圖甚至VLM生成的圖紙來(lái)創(chuàng)建軌跡。

當(dāng)對(duì)訓(xùn)練數(shù)據(jù)中看不見(jiàn)的41項(xiàng)任務(wù)進(jìn)行測(cè)試時(shí)，由RT-Trajectory控制的手臂取得了63%的成功率。

圖片

傳統(tǒng)上，訓(xùn)練機(jī)械臂依賴于將抽象的自然語(yǔ)言（「擦桌子」）映射到特定的動(dòng)作（關(guān)閉抓手、向左移動(dòng)、向右移動(dòng)），這使得模型很難推廣到新的任務(wù)。

相比之下，RT-Trajectory模型使RT模型能夠通過(guò)解釋特定的機(jī)器人運(yùn)動(dòng)（如視頻或草圖中包含的運(yùn)動(dòng)），來(lái)理解完成任務(wù)時(shí)應(yīng)該「如何做」。

這個(gè)系統(tǒng)的用途很廣泛，它還可以通過(guò)觀看所需任務(wù)的人類演示來(lái)創(chuàng)建軌跡，甚至可以接受手繪草圖。

它可以很容易地適應(yīng)不同的機(jī)器人平臺(tái)。

AutoRT：大模型訓(xùn)練機(jī)器人

第三，AutoRT利用基礎(chǔ)模型的強(qiáng)大功能來(lái)創(chuàng)建一個(gè)系統(tǒng)，該系統(tǒng)可以理解人類的實(shí)際目標(biāo)，并使機(jī)器人能夠在新環(huán)境中收集訓(xùn)練數(shù)據(jù)。

這可以幫助擴(kuò)展機(jī)器人的學(xué)習(xí)范圍。

圖片

AutoRT將基礎(chǔ)模型（如LLM、VLM）與機(jī)器人控制模型（RT-1、RT-2）相結(jié)合，以創(chuàng)建一個(gè)可以部署機(jī)器人在新環(huán)境中收集訓(xùn)練數(shù)據(jù)的系統(tǒng)。

AutoRT可以同時(shí)指揮多個(gè)機(jī)器人，每個(gè)機(jī)器人都配備了一個(gè)攝像頭，以及一個(gè)末端執(zhí)行器，在一系列設(shè)置中執(zhí)行不同的任務(wù)。

在這個(gè)過(guò)程中，系統(tǒng)首先使用的是VLM，來(lái)了解其周圍環(huán)境。

圖片

(1)自主輪式機(jī)器人發(fā)現(xiàn)有多個(gè)對(duì)象的位置。(2)VLM向LLM描述場(chǎng)景和對(duì)象。(3)LLM建議機(jī)器人執(zhí)行不同的操作任務(wù)，并在做出選擇之前決定機(jī)器人可以在沒(méi)有輔助的情況下完成哪些任務(wù)，哪些任務(wù)需要人類遠(yuǎn)程控制，哪些任務(wù)不可能完成。(4)嘗試所選任務(wù)，收集經(jīng)驗(yàn)數(shù)據(jù)，并對(duì)數(shù)據(jù)的多樣性/新穎性進(jìn)行評(píng)分。以此往復(fù)。

接下來(lái)，LLM為每個(gè)機(jī)器人提出創(chuàng)造性的任務(wù)，并選擇他們應(yīng)該執(zhí)行的任務(wù)。

在7個(gè)月的評(píng)估中，AutoRT安全地同時(shí)協(xié)調(diào)了多達(dá)20個(gè)機(jī)器人，讓它們有條不紊地穿梭在各個(gè)辦公室。

圖片

不過(guò)，有一個(gè)關(guān)鍵問(wèn)題：怎么確保機(jī)器人一定會(huì)保護(hù)人類的安全呢？

首先，AutoRT就具有安全護(hù)欄，能夠?yàn)榛贚LM的決策者提供「機(jī)器人憲法」。在為機(jī)器人選擇任務(wù)時(shí)，必須遵守這些安全提示。

這個(gè)「機(jī)器人憲法「，一定程度上受到了阿西莫夫機(jī)器人三定律的啟發(fā)。首先，機(jī)器人不得傷害人類。另外，機(jī)器人也不得嘗試涉及人類、動(dòng)物、尖銳物體或電器的任務(wù)。

不過(guò)，這也不能保證安全性，因此，AutoRT系統(tǒng)由經(jīng)典機(jī)器人技術(shù)的使用安全措施組成。

比如，通過(guò)編程可以設(shè)定，如果機(jī)器人關(guān)節(jié)上的力超過(guò)給定閾值，就會(huì)自動(dòng)自動(dòng)停止。

并且，所有活動(dòng)機(jī)器人都必須通過(guò)物理停用機(jī)關(guān)，保持在人類主管的視線范圍內(nèi)。

網(wǎng)友：今年是機(jī)器人的爆發(fā)年

2024年開(kāi)局第一周，各種機(jī)器人研究就開(kāi)始大爆發(fā)，讓每個(gè)人為之興奮。

一邊是斯坦福代表著學(xué)術(shù)界的機(jī)器人成果，另一邊是谷歌帶著工業(yè)界的成果，雙雙亮相。

網(wǎng)友稱，機(jī)器人和人工智能智能體今年開(kāi)局強(qiáng)勁。為接下來(lái)的幾個(gè)月做好準(zhǔn)備。

圖片

還有人將這周，稱為「機(jī)器人周」。

圖片

我認(rèn)為，在未來(lái)2年的某個(gè)時(shí)候，人工智能和機(jī)器人技術(shù)的交叉，將同生成式AI一樣爆炸。

「ChatGPT」時(shí)刻即將來(lái)臨。

圖片

英偉達(dá)高級(jí)科學(xué)家Jim Fan表示——

2024年是機(jī)器人年。

Mobile-Aloha是一個(gè)開(kāi)源的機(jī)器人硬件，它可以靈活地完成雙手任務(wù)，比如做飯（人類遠(yuǎn)程操控）。很快，硬件將不再是我們實(shí)現(xiàn)人類級(jí)別的機(jī)器人的瓶頸，而是「大腦」。

這項(xiàng)工作是由3名研究人員用學(xué)術(shù)預(yù)算完成的。多么令人難以置信的工作！斯坦福大學(xué)太棒了！

由于資源限制，學(xué)術(shù)界不再是最前沿的LLM的發(fā)源地。但至少在短期內(nèi)，機(jī)器人技術(shù)讓學(xué)術(shù)界和產(chǎn)業(yè)界的競(jìng)爭(zhēng)環(huán)境更加公平。

硬件價(jià)格更實(shí)惠是必然趨勢(shì)。給有抱負(fù)的博士生的建議：擁抱機(jī)器人，至少人沒(méi)有那么多，更有空間發(fā)揮實(shí)力。

圖片

不知道，接下來(lái)幾個(gè)月里，機(jī)器人領(lǐng)域還會(huì)有怎樣的驚喜等著我們。

參考資料：

https://twitter.com/GoogleDeepMind/status/1742932234892644674 https://deepmind.google/discover/blog/shaping-the-future-of-advanced-robotics/?utm_source=twitter&utm_medium=social

https://twitter.com/zipengfu/status/1742973258528612724