メインコンテンツへスキップ
見出し画像

ロボットに要るのは器用な手でなく、コードを書くAIなのか

    最近、Josef Chenさん(@josefchen)の「Agentic Robotics Flips the Build Order」という記事を読みました。ロボットの汎用操作はこの数年、人の実演データを大量に集めて「手」を学習させる競争でした。

    この記事は、その順番が逆ではないかと問います。先に賢いAIにロボット用のプログラムを書かせるほうがよい、という主張です。

    主張が「AIは賢い」で終わらず、「どの作業なら成り立つか」という線引きまで示している点が面白いです。元記事を読んでいない人向けに、ロボットの「脳」と「手」の分け方、コードを書くAIの仕組み、線が引かれる場所を順に整理します。

    なお、数字は元記事の記載をそのまま使っています。実験の成功率やベンチマークの値、資金調達の話は、原典とは照合していません。

    【発端】 手を学習する競争に、コードという別ルートが現れた

    画像
    イリノイ大の引き出し実験が、作る順番を見直すきっかけになった

    ロボットの「手」の作り方に、実演からの学習とは別の道が見えてきました。

    元記事の出発点は、10月にイリノイ大学の研究者が行った実験です。透明な引き出しをカメラで見せ、ロボットアーム用のコードをコーディングエージェント(コードを書いて試し、直すAI)に書かせました。

    カメラだけでは成功は10回中4回でした。手首の力センサーのデータを渡し、失敗のたびにPythonのプログラムを直させると、10回中10回になりました。

    さらに、エージェントを外してもプログラムは引き出しを開け続けました。AIは作業の場にいなくても、書き残したコードが仕事を続けました。

    【基礎】 脳と手を分け、手は方策かコードで作る

    画像
    脳は何をするかを決め、手はモーターへの指令を出す

    ロボットは「何をするか決める部分」と「腕を動かす部分」に分けて考えると見通しがよくなります。

    ロボットの操作を担う部分は、次の言葉で整理できます。

    • 脳(プランナー):依頼を受けて、何をどの順でやるかを決める部分

    • 手(動作ポリシー):カメラ画像などを見て、モーターへの指令を出す部分

    • VLA:画像と指示から直接モーター指令を出す、Vision-Language-Actionモデル

    Figure社の Helix は、この二つの層をカーネマンの言葉を借りて、遅いSystem 2(考える側)と速いSystem 1(動かす側)と呼んでいます。

    元記事によると、この数年の競争は主に「手」に向いていました。人が操作した実演を集め、手を学習させる競争です。

    象徴として挙がるのが2022年の SayCan です。引き出しに関する21件の依頼すべてで行動の手順は立てられましたが、手の側は約3分の1しか実行できませんでした。

    学習には6万8千件の人の実演が使われていました。

    背景には モラベックのパラドックス があります。1988年にHans Moravecが指摘した、知的な課題は計算機に易しく、1歳児の知覚と運動は難しいという観察です。

    【違い】 渡すものが実演データから、検証できる試行錯誤に変わる

    画像
    言葉やコードでつなぐか、埋め込みでつなぐか

    手を作るときの材料が「人の動きの記録」から「やって確かめた結果」に替わります。

    材料

    • 実演から学習する手:人の実演、遠隔操作の記録

    • コードを書くエージェント:事前学習済みの大きなAIと、実機での試行

    脳と手の接続

    • 実演から学習する手:埋め込み(学習した網にしか意味が通じない数値)

    • コードを書くエージェント:言葉やコード

    脳を替えるとき

    • 実演から学習する手:手の再学習が要りやすい

    • コードを書くエージェント:脳を差し替えやすい

    成果物

    • 実演から学習する手:学習済みモデル

    • コードを書くエージェント:読んで直せるプログラム

    元記事はこの接続の違いを一番の設計原則に置いています。脳と手のやり取りが言葉やコードなら、より良い脳が出たとき手を学習し直さずに済む、という考えです。

    データ側の事情も書かれています。Business Insiderの報道として、遠隔操作や動作記録の担い手に時給25ドルから支払う例が紹介されています。

    データ販売のEncordでは、依頼が1年前の約10倍に増えているとのことです。

    【仕組み】 センサーが「テスト」になり、失敗が次のコードを生む

    画像
    ソフトウェアのデバッグと同じ形のループ

    成否を機械が判定できる作業なら、AIはコードを書いて試して直すループを自力で回せます。

    コーディングエージェントは、普通のソフトウェア開発ではテストが通るかどうかで自分のコードの出来を知ります。元記事は、手首の力センサーがロボットにとってのテストに当たると言います。

    ループは次の形です。

    1. AIがロボット用のコードを書く

    2. 実機で動かし、センサーの値で成否を見る

    3. 失敗した理由を読み、コードを直す

    この流れは、開発者が普段やっているデバッグと同じ構造です。成功の定義が数値で出るので、人が張り付いて判定する必要がありません。

    ここで元記事は、成否を測る道具があるかどうかが分かれ目だと見ています。

    【具体例】 引き出し、きゅうり、エアフライヤー

    画像
    三つの作業で、起点記事が挙げた数字

    同じやり方は、三つの作業で動いたと元記事は挙げています。

    引き出しは冒頭のとおりです。カメラだけでは10回中4回でしたが、力センサーを足して直させると10回中10回になりました。

    きゅうりの皮むきでは、エージェントが書いたコードが手首の力センサーを毎秒100回読みます。力を4.5〜7.5ニュートンの範囲に保ち、接触を失うと刃を止めます。

    接触を失った割合は、カメラのみのエージェントが40.6%、力センサー付きが2.2%でした。

    エアフライヤーは、RAXというシステムの例です。Frankaというアームを使い、推論に72分かけて、開ける、入れる、閉めるの手順を見つけ、そこから約1,500行のPythonを書きました。

    そのプログラムは3分の実行で計算が18秒ですみ、9回走らせて直し、本人たちの計測では4回がきれいに終わったとのことです。

    ただし初回の実行では、アームの肘がカメラにぶつかりました。安全確認の仕組みはあっても、カメラを守る検査はありませんでした。

    RoboDojo(42種類のシミュレーション課題)のベンチマークでも似た傾向があり、GPT-6 Astraは動作が「グリッパーを動かす」だけなのに、学習済み40方策すべてを上回る平均22.48%でした。

    元記事によれば、GPT-5.5は同じ条件で0.88%です。

    さらに、Astraに直接操作させず、コードを生成させるPyRUA-Leanという枠組みでは平均51.6%でした。当時の首位を19ポイント上回ったそうです。

    同じモデルでも、周りの組み方で結果が大きく変わった例です。

    【関連概念】 線は「測れるか」で引かれ、洗濯物は手に残る

    画像
    洗濯物のような測りにくい作業は、学習した手に残る

    コードで書ける領域は、センサーで成否を確かめられる作業までです。

    元記事の言葉では、引き出し以外の多くは引き出しの仲間で、洗濯物だけが違います。

    布の扱いは、これまで学習した手の領域でした。何をもって「きれいに畳めた」とするかを、単純なセンサー値にしにくいからです。

    脳と手は競合するだけではありません。EBenchという別の評価で、AstraがPhysical Intelligenceのπ0.5に手順を渡すと、成功率は46.7%から53.0%になりました。

    ただし、全体の最高は学習済み方策の61.4%です。手を別の方策に替えても56.0%が出たので、手も差し替え可能だという読みが示されています。

    次の点は、読む側が割り引いて受け取る必要があります。

    • 学習データの混入:RoboDojoの素材がAstraの学習データに混じったかどうかは、論文の著者も「否定できていない」と書いています。元記事も注記しています。

    • 推論時間:Astraの初期の研究では、動作最大76秒に対し計算が平均55分でした。

    • 資金調達:Physical Intelligenceが約200億ドルの評価額で交渉中という話は、元記事が報道として挙げたものです。この記事は投資の判断材料を述べるものではありません。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    関連記事

    【まとめ】 自分の仕事で、成否を測れる割合を数える

    画像
    あるなら試行錯誤で、ないなら人か学習で

    持ち帰る問いは「その作業の成功を、機械は判定できるか」です。

    ロボットに限らず、自分の業務で自動化したい作業を一つ選び、成功を数値で返す仕組みがあるかを確認してみてください。ある作業は、コードを書いて試すAIの出番になりやすい領域です。

    ない作業は、人の判断か、学習したモデルが要るかもしれません。割合を数えるだけで、どこにデータや人手を使うべきかの見当がつきます。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ