マサチューセッツ大学アマースト校、上海交通大学、カーネギーメロン大学、MITによる共同研究チームは、任意の剛性3Dメッシュを可動オブジェクトに変換する自動化フレームワーク「Articulate AnyMesh」を発表した。従来は手作業による限られた3D関節データに依存していたが、本手法はLLMと視覚モデルによりオープン語彙で部品を理解し、関節構造を推定する。
本フレームワークは、①部品分割(PartSlip++)、②関節構造の推定、③形状補完・テクスチャ生成の三段階で構成される。これによりMeshyや画像生成由来のデータ、実物スキャンメッシュなど広範なソースから高品質な関節付きオブジェクトを生成できる。
ノートPCの開閉、バケツの持ち手、ツールや乗り物など、実験では多様な対象に対して高い再現性を発揮。生成されたオブジェクトはURDF形式への変換も可能で、DexArtを用いたロボットの制御学習に用いられ、仮想環境から現実世界へのスキル転移も成功している。
公式サイトではデモ映像や成果が公開されており、GitHubではコードと利用手順も整備されている。AIによる3D資産の自動生成とロボティクス応用の橋渡しとなる基盤技術として注目される。