【🚀革新的なマルチモーダルモデル！LLaVA-Mini登場✨】
✎. FYIG:😲なんと、LLaVA-v1.5のパフォーマンスを達成しながら、トークン数を576から1に削減。
計算負荷 (FLOPs) を77%削減、レイテンシを100msから40msに短縮、VRAM使用量を360MBから0.6MBに削減しているとのことです。
画像から「この写真の何が異常ですか？」と質問したり、動画から「この動画で何が起こりましたか？」と質問したりできるデモも公開されています。
例えば、画像は黄色いタクシーの上に乗っている男性が写っており、その異常さを問うことができます。

さらに、24GB GPUで3時間の動画処理と10,000フレームの処理が可能だそうです！

モデルの重みはHugging Faceで公開されています。詳細な情報はGitHubから確認できます。LLaVA-Miniは、画像や動画の理解において大きな可能性を秘めた、非常に効率的で強力なモデルです！
今後の展開に期待ですね！