AI版トイ・ストーリー?──任意の3Dモデルに関節を付け動かす「Articulate AnyMesh」フレームワーク発表

出典: https://mp.weixin.qq.com/s/8FKlaIy0SVvYfRiUtCgzZQ

概要ポイント
  • 視覚・言語モデルと幾何情報を活用し、任意の剛性3Dメッシュに関節を自動生成。
  • Meshyなど生成モデルやスキャンデータなど多様なメッシュが入力可能。
  • 部品分割、関節推定、形状補完からなる3段階の処理パイプラインを採用。
  • ツール、玩具、車両など高品質な可動オブジェクトを大量生成。
  • ロボット操作学習に応用可能で、現実環境へのスキル転移も確認。
本文

マサチューセッツ大学アマースト校、上海交通大学、カーネギーメロン大学、MITによる共同研究チームは、任意の剛性3Dメッシュを可動オブジェクトに変換する自動化フレームワーク「Articulate AnyMesh」を発表した。従来は手作業による限られた3D関節データに依存していたが、本手法はLLMと視覚モデルによりオープン語彙で部品を理解し、関節構造を推定する。


本フレームワークは、①部品分割(PartSlip++)、②関節構造の推定、③形状補完・テクスチャ生成の三段階で構成される。これによりMeshyや画像生成由来のデータ、実物スキャンメッシュなど広範なソースから高品質な関節付きオブジェクトを生成できる。


ノートPCの開閉、バケツの持ち手、ツールや乗り物など、実験では多様な対象に対して高い再現性を発揮。生成されたオブジェクトはURDF形式への変換も可能で、DexArtを用いたロボットの制御学習に用いられ、仮想環境から現実世界へのスキル転移も成功している。


公式サイトではデモ映像や成果が公開されており、GitHubではコードと利用手順も整備されている。AIによる3D資産の自動生成とロボティクス応用の橋渡しとなる基盤技術として注目される。