arXiv (Robotics)AI
SCAR:自己教師あり連続行動表現学習フレームワーク
SCAR: Self-Supervised Continuous Action Representation Learning
この記事についてAIに質問する →
日本語要約青い用語にマウスを合わせると解説が表示されます
embodied intelligenceにおいて行動は中心的な役割を担っていますが、視覚的な遷移から転移可能な行動表現を学習することは、特に限定的なデータの下で複数のembodiment間で汎化する必要があるワールドモデルにとって、根本的な課題となっています。従来のアプローチでは行動を単なる補助的な条件信号として扱ってきましたが、本研究は行動を制御可能な変化をembodiment特有の制御機構から切り離す、独立した表現要因として捉えています。
本研究で提案されるSCARは、視覚的な遷移から複数のembodiment間で統一された行動表現を学習するための、逆順動力学と順順動力学を組み合わせたフレームワークです。事前学習された生成モデルをバックボーンとして、逆順動力学モデル(IDM)が潜在観測対から潜在行動を推論し、順順動力学モデル(FDM)がそれらを条件として将来の動力学を予測します。潜在空間を汎用的な視覚ボトルネックではなく転移可能なものにするため、潜在行動の事後分布を標準ガウス分布に正則化して恣意的な視覚符号化を制限し、敵対的不変性を導入してembodiment特有およ環境特有のノイズ因子を抑制します。
ProcgenおよびRobotwinnデータセットでの実験結果は、学習された統一潜在行動表現が、embodiment特有の生の行動よりもワールドモデリングのための強力な条件付けインターフェースとして機能し、embodiment間の低データ適応とタスク間転移の性能向上をもたらすことを示しています。これらの結果は、行動がembodiment間での制御可能な変化の共有表現として学習でき、より転移可能で汎化可能なワールドモデルのためのインターフェースを提供することを示唆しています。