
ロボットに要るのは器用な手でなく、コードを書くAIなのか
最近、Josef Chenさん(@josefchen)の「Agentic Robotics Flips the Build Order」という記事を読みました。ロボットの汎用操作はこの数年、人の実演データを大量に集めて「手」を学習させる競争でした。
この記事は、その順番が逆ではないかと問います。先に賢いAIにロボット用のプログラムを書かせるほうがよい、という主張です。
主張が「AIは賢い」で終わらず、「どの作業なら成り立つか」という線引きまで示している点が面白いです。元記事を読んでいない人向けに、ロボットの「脳」と「手」の分け方、コードを書くAIの仕組み、線が引かれる場所を順に整理します。
なお、数字は元記事の記載をそのまま使っています。実験の成功率やベンチマークの値、資金調達の話は、原典とは照合していません。
【発端】 手を学習する競争に、コードという別ルートが現れた

ロボットの「手」の作り方に、実演からの学習とは別の道が見えてきました。
元記事の出発点は、10月にイリノイ大学の研究者が行った実験です。透明な引き出しをカメラで見せ、ロボットアーム用のコードをコーディングエージェント(コードを書いて試し、直すAI)に書かせました。
カメラだけでは成功は10回中4回でした。手首の力センサーのデータを渡し、失敗のたびにPythonのプログラムを直させると、10回中10回になりました。
さらに、エージェントを外してもプログラムは引き出しを開け続けました。AIは作業の場にいなくても、書き残したコードが仕事を続けました。
【基礎】 脳と手を分け、手は方策かコードで作る

ロボットは「何をするか決める部分」と「腕を動かす部分」に分けて考えると見通しがよくなります。
ロボットの操作を担う部分は、次の言葉で整理できます。
脳(プランナー):依頼を受けて、何をどの順でやるかを決める部分
手(動作ポリシー):カメラ画像などを見て、モーターへの指令を出す部分
VLA:画像と指示から直接モーター指令を出す、Vision-Language-Actionモデル
Figure社の Helix は、この二つの層をカーネマンの言葉を借りて、遅いSystem 2(考える側)と速いSystem 1(動かす側)と呼んでいます。
元記事によると、この数年の競争は主に「手」に向いていました。人が操作した実演を集め、手を学習させる競争です。
象徴として挙がるのが2022年の SayCan です。引き出しに関する21件の依頼すべてで行動の手順は立てられましたが、手の側は約3分の1しか実行できませんでした。
学習には6万8千件の人の実演が使われていました。
背景には モラベックのパラドックス があります。1988年にHans Moravecが指摘した、知的な課題は計算機に易しく、1歳児の知覚と運動は難しいという観察です。
【違い】 渡すものが実演データから、検証できる試行錯誤に変わる

手を作るときの材料が「人の動きの記録」から「やって確かめた結果」に替わります。
材料
実演から学習する手:人の実演、遠隔操作の記録
コードを書くエージェント:事前学習済みの大きなAIと、実機での試行
脳と手の接続
実演から学習する手:埋め込み(学習した網にしか意味が通じない数値)
コードを書くエージェント:言葉やコード
脳を替えるとき
実演から学習する手:手の再学習が要りやすい
コードを書くエージェント:脳を差し替えやすい
成果物
実演から学習する手:学習済みモデル
コードを書くエージェント:読んで直せるプログラム
元記事はこの接続の違いを一番の設計原則に置いています。脳と手のやり取りが言葉やコードなら、より良い脳が出たとき手を学習し直さずに済む、という考えです。
データ側の事情も書かれています。Business Insiderの報道として、遠隔操作や動作記録の担い手に時給25ドルから支払う例が紹介されています。
データ販売のEncordでは、依頼が1年前の約10倍に増えているとのことです。
【仕組み】 センサーが「テスト」になり、失敗が次のコードを生む

成否を機械が判定できる作業なら、AIはコードを書いて試して直すループを自力で回せます。
コーディングエージェントは、普通のソフトウェア開発ではテストが通るかどうかで自分のコードの出来を知ります。元記事は、手首の力センサーがロボットにとってのテストに当たると言います。
ループは次の形です。
AIがロボット用のコードを書く
実機で動かし、センサーの値で成否を見る
失敗した理由を読み、コードを直す
この流れは、開発者が普段やっているデバッグと同じ構造です。成功の定義が数値で出るので、人が張り付いて判定する必要がありません。
ここで元記事は、成否を測る道具があるかどうかが分かれ目だと見ています。
【具体例】 引き出し、きゅうり、エアフライヤー

同じやり方は、三つの作業で動いたと元記事は挙げています。
引き出しは冒頭のとおりです。カメラだけでは10回中4回でしたが、力センサーを足して直させると10回中10回になりました。
きゅうりの皮むきでは、エージェントが書いたコードが手首の力センサーを毎秒100回読みます。力を4.5〜7.5ニュートンの範囲に保ち、接触を失うと刃を止めます。
接触を失った割合は、カメラのみのエージェントが40.6%、力センサー付きが2.2%でした。
エアフライヤーは、RAXというシステムの例です。Frankaというアームを使い、推論に72分かけて、開ける、入れる、閉めるの手順を見つけ、そこから約1,500行のPythonを書きました。
そのプログラムは3分の実行で計算が18秒ですみ、9回走らせて直し、本人たちの計測では4回がきれいに終わったとのことです。
ただし初回の実行では、アームの肘がカメラにぶつかりました。安全確認の仕組みはあっても、カメラを守る検査はありませんでした。
RoboDojo(42種類のシミュレーション課題)のベンチマークでも似た傾向があり、GPT-6 Astraは動作が「グリッパーを動かす」だけなのに、学習済み40方策すべてを上回る平均22.48%でした。
元記事によれば、GPT-5.5は同じ条件で0.88%です。
さらに、Astraに直接操作させず、コードを生成させるPyRUA-Leanという枠組みでは平均51.6%でした。当時の首位を19ポイント上回ったそうです。
同じモデルでも、周りの組み方で結果が大きく変わった例です。
【関連概念】 線は「測れるか」で引かれ、洗濯物は手に残る

コードで書ける領域は、センサーで成否を確かめられる作業までです。
元記事の言葉では、引き出し以外の多くは引き出しの仲間で、洗濯物だけが違います。
布の扱いは、これまで学習した手の領域でした。何をもって「きれいに畳めた」とするかを、単純なセンサー値にしにくいからです。
脳と手は競合するだけではありません。EBenchという別の評価で、AstraがPhysical Intelligenceのπ0.5に手順を渡すと、成功率は46.7%から53.0%になりました。
ただし、全体の最高は学習済み方策の61.4%です。手を別の方策に替えても56.0%が出たので、手も差し替え可能だという読みが示されています。
次の点は、読む側が割り引いて受け取る必要があります。
学習データの混入:RoboDojoの素材がAstraの学習データに混じったかどうかは、論文の著者も「否定できていない」と書いています。元記事も注記しています。
推論時間:Astraの初期の研究では、動作最大76秒に対し計算が平均55分でした。
資金調達:Physical Intelligenceが約200億ドルの評価額で交渉中という話は、元記事が報道として挙げたものです。この記事は投資の判断材料を述べるものではありません。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
関連記事
【まとめ】 自分の仕事で、成否を測れる割合を数える

持ち帰る問いは「その作業の成功を、機械は判定できるか」です。
ロボットに限らず、自分の業務で自動化したい作業を一つ選び、成功を数値で返す仕組みがあるかを確認してみてください。ある作業は、コードを書いて試すAIの出番になりやすい領域です。
ない作業は、人の判断か、学習したモデルが要るかもしれません。割合を数えるだけで、どこにデータや人手を使うべきかの見当がつきます。