2024年の振り返りまとめで気になったポイントを抜粋

- GPT-4-0314よりも高スコアを獲得しているモデルが 18 の組織から合計 70 モデル発表
- 64GB M2 MacBook ProでもGPT4相当モデルのQwen2.5-Coder-32B, Meta の Llama 3.3 70Bがローカルで動く
- Gemini 1.5 Flash 8Bで6.8万の画像に短いメッセージをつけても合計で2ドルかからない
- DeepSeek v3 は 685B パラメータという巨大モデルだけど557.6 万ドルで学習(相場の1/10)
- 望まれない AI 生成コンテンツを指す言葉「slop」という言葉が広まった
- 大規模モデルが小型・安価モデル向けの学習データを作る「蒸留」的なアプローチや人工データによるデータ作成が広まりつつ

などなど