Llama 2: オープンファウンデーションとファインチューンされたチャットモデル
連続学習における壊滅的な忘却の理解に向けて。arXivプリントarXiv:1908.01091、2019年。
OpenAI。GPT-4技術レポート。CoRR、abs/2303.08774、2023年。doi: 10.48550/arXiv.2303.08774。URL
https://doi.org/10.48550/arXiv.2303.08774。
LongOuyang,JeﬀreyWu,XuJiang,DiogoAlmeida,CarrollWainwright,PamelaMishkin,ChongZhang,
Sandhini Agarwal, Katarina Slama, Alex Ray、その他。人間のフィードバックを用いた言語モデルの指示に従うトレーニング。Neural Information Processing Systemsの進歩、35:27730–27744、2022年。
DavidPatterson,JosephGonzalez,QuocLe,ChenLiang,Lluis-MiquelMunguia,DanielRothchild,David
So, Maud Texier、Jeﬀ Dean。炭素排出量と大規模ニューラルネットワークトレーニング。arXivプリントarXiv:2104.10350、2021年。
Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza
Llama 2: Open Foundation and Fine-Tuned Chat Models
Llama 2: Open Foundation and Fine-Tuned Chat Models
Toward understanding catastrophic forgetting in continual learning. arXiv preprint arXiv:1908.01091 , 2019.
OpenAI. GPT-4 technical report. CoRR, abs/2303.08774, 2023. doi: 10.48550/arXiv.2303.08774. URL
https://doi.org/10.48550/arXiv.2303.08774 .
LongOuyang,JeﬀreyWu,XuJiang,DiogoAlmeida,CarrollWainwright,PamelaMishkin,ChongZhang,
Sandhini Agarwal, Katarina Slama, Alex Ray, et al. Training language models to follow instructions with
human feedback. Advances in Neural Information Processing Systems , 35:27730–27744, 2022.
DavidPatterson,JosephGonzalez,QuocLe,ChenLiang,Lluis-MiquelMunguia,DanielRothchild,David
So, Maud Texier, and Jeﬀ Dean. Carbon emissions and large neural network training. arXiv preprint
arXiv:2104.10350 , 2021.
Guilherme Penedo, Quentin Malartic, Daniel Hesslow, Ruxandra Cojocaru, Alessandro Cappelli, Hamza