【自己回帰型ビデオモデル「Toto」の実証研究が発表されました！】
✎. FYIG:Meta FAIRとUC Berkeleyの研究者らによる、自己回帰型ビデオモデル「Toto」に関する実証研究が発表されました！✨
🎥 ビデオを視覚的トークンのシーケンスとして扱い、トランスフォーマーモデルをトレーニングして将来のトークンを自己回帰的に予測するそうです。

📊 1兆を超える視覚的トークンからなる多様なビデオと画像のデータセットでモデルを事前トレーニング！
アーキテクチャ、トレーニング、推論の設計選択を調査し、学習した視覚表現を画像認識、ビデオ分類、物体追跡、ロボティクスなどの下流タスクで評価しているそうです。

🔍 結果は…？
自己回帰型事前トレーニングが、最小限の誘導バイアスにもかかわらず、すべてのベンチマークで競争力のあるパフォーマンスにつながることが示されました！

📈 さらに、ビデオモデルのスケーリングは、言語モデルで見られるものと同様のスケーリング曲線をもたらしますが、異なる速度であることもわかったそうです。

💡 自己回帰型事前トレーニングが、ビデオデータに対しても効果的であることが示されたのは興味深いですね！

プロジェクトの詳細、デモ、コードは「Toto」のウェブサイトで提供されています。

詳細はこちら：#Toto #MetaFAIR #UCBerkeley #トランスフォーマー #HuggingFace