Figure人形機器人首秀，靠神經網絡疊衣服！

在沒有任何架構改變、僅增加了數據的情況下，就讓原本在物流場景干活的它，輕松習得了新技能。

能夠看到，在人類拿給他衣服時，不僅有眼神交流，拿完后它點了點頭，比了個「點贊」的手勢。

好開心呀，又要開始干活了！

隨后，它的一雙靈巧手十分順滑地從雜亂的毛巾堆里挑出毛巾，然后進行折疊的操作——

用拇指描邊、拎角、理順褶皺再疊起來，中間還實時調整操作。

整個過程完全采用端到端的方式運行——從視覺和語言輸入到流暢、精確的運動控制。

不過有網友表示，咋擎天柱10個月前就會疊衣服了。

Figure人形機器人疊衣服

兩個月前，Figure機器人展現了他們在物流場景包裹分揀的能力，整個過程長達一小時。對于各種形態(tài)的包裹，它都能進行識別、抓取、翻轉然后運送到傳送帶上。其靈活性和速度接近人類水平。

現在同樣的模型、同樣的機器人卻在處理一個完全不同的任務——疊衣服/毛巾。

疊衣服對人來說可能平淡無奇，但對于人形機器人來說，這卻是最具挑戰(zhàn)性的靈巧操作任務之一。

相較于包裹來說，衣服更易變形，形狀也更加多樣，彎曲難以預測，而且容易起皺或纏結。

它沒有固定的幾何形狀需要記住，也沒有單一的“正確”抓握點。即使是手指輕微的滑動，也可能導致衣服起皺或掉落。

因此要完成這樣一個操作，不僅需要機器人仔細地觀察，還需要精細協(xié)調的手指控制，以追蹤邊緣、捏住角落、撫平表面，并實時調整。

完成此次任務，Figure展現了三項關鍵成果：

• 這是人形機器人的首次嘗試。這是首個擁有多指手的人形機器人，能夠利用端到端神經網絡完全自主地折疊衣物。
• 架構相同，僅數據變化。Helix架構直接應用于衣物/毛巾折疊，無需修改模型或訓練超參數，唯一的變化是數據集。
• 自然的多模態(tài)交互。除了折疊之外，Helix 還學會了與人互動時保持眼神交流、引導視線以及運用手勢。

在完成這些功能時，并沒有明確的對象表征、完全采用端到端方式來運行。主要也是因為像毛巾這種高度可變性的物體，構建這樣的表征既脆弱又不可靠。

接下來，他們計劃在現實世界數據規(guī)模擴大的基礎上，會在機器人靈活性、速度和泛化能力方向持續(xù)提升。

Helix架構立大功

此次雖然沒有任何變化，但依舊起著關鍵作用的就是它的Helix架構。

Helix是Figure與OpenAI分道揚鑣后的第一個成果，是一個適用于通用人形機器人控制的端到端“視覺-語言-動作”模型（VLA），能讓機器人像人一樣感知、理解和行動。

Helix由兩個系統(tǒng)組成，兩個系統(tǒng)經過端到端訓練，并且可以進行通信。

它通過單一統(tǒng)一模型即可在各種任務中實現強大性能，僅使用一組神經網絡權重，就能在不同容器中精準拾取放置物品、靈活操控抽屜與冰箱、協(xié)調多機器人完成靈巧交接，甚至能熟練操控數千種新物體。

而在上次包裹分揀的任務，研究團隊對Helix的視覺電機策略的架構進行了針對性改進，引入了新的內存和傳感模塊，能更好地幫助機器人感知環(huán)境變化。

具體來說，可以分為視覺記憶、狀態(tài)歷史、力反饋三個部分：

視覺記憶，Helix配備了一個新的內存模塊，可以從系列視頻幀中組合特征，再形成短期視覺記憶。

期間，機器人還可以記住它已經檢查過的包裝側面，避免重復檢查，提高成功率。

從本質上講，視覺記憶為Helix提供了時間背景感，可以更有效地通過多次小型旋轉或視點調整來查找條形碼位置。

狀態(tài)歷史，該策略在固定持續(xù)時間內的動作分塊中運行，也就是將連續(xù)動作序列分割為固定長度的小段進行規(guī)劃和執(zhí)行。

首先會觀察當前狀態(tài)（手、軀干和頭部）并輸出一小段運動軌跡，反復重新觀察多次后，再將全部狀態(tài)合并輸入，以確保模塊間的連續(xù)性。

由于狀態(tài)歷史記錄保留了上下文，即使重新規(guī)劃或面對干擾，機器人仍能保持穩(wěn)健，例如當包裹抓取失敗時，Helix會以最小的延遲迅速糾正運動，顯著縮短了處理時間。

力反饋，為了賦予Helix觸感，機器人施加在環(huán)境和目標上的力，被反饋送至神經網絡狀態(tài)輸入中，以幫助機器人動態(tài)調整運動過程，例如當它檢測到與傳送帶接觸時，會暫停向下繼續(xù)運動。

通過一個閉合回路，Helix可以實現更精準的控制，提高運動的成功率和一致性，也更能適應不同形態(tài)重量的物流包裹。

One More Thing

不過話說回來，疊衣服這件事兒確實也不稀奇。

像幾個月前就get了這項任務的擎天柱。

前幾天WRC上，也有像疊衣服、抓娃娃的機器人。

誒不過，前不久還是Figure機器人，學會了幫人洗衣服。

洗衣服、疊衣服，現在就差晾衣服，機器人就可以完成一整套動作的閉環(huán)了。

接下來，你還期待機器人能干什么家務呢？