GEN-1.5、ロボットに“1回見せるだけ”で新タスクを教える最新情報

【事象の全貌と背景】
Generalist AIが、ロボット向け基盤モデルGEN-1.5を発表しました。中心にある主張はかなり強いです。ロボットに新しい作業を覚えさせるために、長いプログラムを書いたり、大量のデモを集めたり、タスクごとに重いファインチューニングを回したりするのではなく、3〜12秒の単発デモをコンテキストに入れるだけで、その場で実行に移れるというものです。Generalist AIはこれを「physical prompting」、つまりセンサー情報と動作軌道を含む物理世界版プロンプトとして説明しています。

ここで重要なのは、これは単なるチャットAIのプロンプト芸ではない点です。言語モデルなら、1つの例文を見せて次の答え方を合わせるone-shot promptingはかなり日常化しました。しかしロボットの場合、失敗はテキストの誤字では済みません。瓶のフタは滑るし、財布は変形するし、ジッパーは引っかかるし、手先の数ミリのズレがタスク全体を壊します。だからこそ、VLAやロボット基盤モデルが「デモ映え」から「実機での汎化」へ進めるのかを測るネタとしてGEN-1.5は刺さります。

The Decoderも、GEN-1.5を「1回のデモからロボットに新タスクを教える汎用AI」と報じています。ただし同時に、示されているタスクは短く単純で、成績は企業自身による報告であり、独立検証はまだないとも明記しています。したがってこの記事では、GEN-1.5が万能ロボットを完成させたとは断定しません。確定的に言えるのは、Generalist AIがone-shotの物理タスク学習を前面に出したモデルを発表し、そのデモと自己報告値がコミュニティで強い反応を呼んでいる、というところです。

【技術的ディープダイブ】
GEN-1.5は、動画、センサー、言語、自己受容感覚などを扱う大規模マルチモーダルなロボット基盤モデルとして説明されています。仕様として目立つのは、30秒ぶんのメモリを持つ動画入力コンテキストと、100Hzの行動軌道を出力する点です。ここでいう「1回見せる」とは、人間が文章で命令するだけではなく、センサーモータ系列、つまり観測とアクションの短い記録をモデルのコンテキストに差し込むことを意味します。

Generalist AIによると、one-shot in-context promptingでは、3〜12秒の単一デモを入れ、追加の勾配更新なしでタスクを実行します。10種類の短い操作タスク、たとえば瓶のフタを開ける、ペンケースのジッパーを開ける、財布から紙幣を取り出す、といったテストで平均成功率は59%、標準偏差は±10%と報告されています。さらに5分のデータ、約50デモ相当を使い、10ステップの勾配更新を行うfew-shot adaptationでは、平均成功率が83%、標準偏差±9%まで上がったとされています。

この数字は見せ方が重要です。59%は「もう家庭内作業を任せられる」という数字ではありません。むしろ物理世界ではまだかなり危うい。しかし、ゼロ勾配更新で単発デモから短い閉ループ操作に入れるなら、従来のロボット学習の感覚ではかなり異質です。Generalist AIは、GEN-1.5が8か月以上継続的に事前学習され、in-context learningや即興的な道具利用を明示的に狙ったメタ学習ループや補助目的なしに、こうした性質が出たと説明しています。

さらに面白いのは、コンポジションです。2つの物理プロンプト、たとえば「ペンケースを開ける」と「中からお金を取り出す」を別々に入れると、モデルが中間の持ち替えや位置調整を挟みながら連続行動としてつなげる例が示されています。また、シミュレーション内のデモを現実ロボットの物理プロンプトとして使うzero-shot sim-to-real、場合によっては人間の手の動きをロボットが模倣するhuman-to-robot in-context learningも主張されています。fine-tuning後の解析では、10ステップの更新で重み変化が0.15%未満という記述もあり、これは「新しい表現をゼロから作る」というより、事前学習済みの身体知を軽く呼び出している、という解釈を誘います。

【コミュニティの生々しい熱量と議論】
Redditのr/singularityでは、反応はかなり温度高めです。あるユーザーは「This is the equivalent of GPT-2 for embodied AI/robotics」と表現し、身体を持つAIにおけるGPT-2級の節目だと見ています。別のコメントでは「They fucking did it.」と、かなり直球の興奮が出ています。ここでギークが反応しているのは、単にロボットが何かを掴んだことではなく、「物理プロンプト」という発想そのものです。テキストプロンプトの世界で起きた抽象化が、ついに手先制御に降りてきたように見えるからです。

一方で、浮かれすぎない声もあります。「Yeah but is it frfr though?」という短い疑問は、まさにこの分野の健全な警戒心を表しています。ロボット動画は、成功例だけを切り出せばいくらでも魔法に見えます。重要なのは、失敗率、試行回数、環境差、対象物のバリエーション、未公開の前提条件です。The Decoderが指摘するように、現時点で成績は企業発表ベースで、独立検証は確認されていません。

さらにコミュニティ特有の想像力も爆発しています。「where do i get this and when can it tidy my house」というコメントは、ロボットAIに対する期待が結局どこに向かうかを端的に示しています。研究者が語るのはジッパー、財布、瓶のフタですが、一般ユーザーが欲しいのは皿洗い、片付け、掃除、ガレージの謎作業です。別のユーザーは「Claude build me BMW from stuff in the garage, make no mistakes」と冗談めかして書いていますが、この冗談には本質があります。ソフトウェアAIで「作って」と頼む体験を、物理世界でどこまで拡張できるのか。GEN-1.5が刺激しているのは、まさにその妄想と不安の境界線です。

【今後の展望とエコシステムへの影響】
GEN-1.5が本当に重要だとすれば、オワコン化するのは「タスクごとに専門家が長時間かけてロボットを調整する」という開発体験です。もちろん産業現場の安全要件や再現性を考えると、すぐに全てが置き換わるわけではありません。しかし、短い物理プロンプトでベースラインを作り、必要なら1〜10ステップ、1〜5分のデータで適応させる流れが現実味を持つなら、ロボット導入のボトルネックは大きく変わります。

パラダイムとしては、ロボットプログラミングが「コードを書く」から「例を見せる」「物理プロンプトを組み合わせる」「現場で軽く適応させる」方向へ寄っていきます。これはVLAの競争軸も変えます。言語理解が少し賢い、画像認識が少し強い、というだけでは足りません。現実の接触、失敗からの復帰、未知道具の使い回し、左右の手の切り替え、シミュレーションから現実への飛び越えが勝負になります。

ただし、現段階では強い保留が必要です。GEN-1.5の成功率、対応タスク、ロボット構成、評価プロトコル、失敗例の分布は、公開情報だけでは十分に検証できません。59%という数字は希望であると同時に、まだ半分近く失敗するという現実でもあります。だからこそ、このニュースの面白さは「万能ロボット誕生」ではなく、「物理世界にもin-context learningの匂いが出てきたかもしれない」という点にあります。ソフトウェアAIの進化が画面内で起きたのに対し、次の波は机の上で滑り、落ち、引っかかりながら進みます。GEN-1.5は、その泥臭い汎化競争のかなり良い観測点です。