# ---
# jupyter:
#   jupytext:
#     text_representation:
#       extension: .py
#       format_name: light
#       format_version: '1.5'
#       jupytext_version: 1.14.4
#   kernelspec:
#     display_name: Python 3
#     language: python
#     name: python3
# ---

# # 7.6  Transformerモデル（分類タスク用）の実装
#
# - 本ファイルでは、クラス分類のTransformerモデルを実装します。
#
#

# ※　本章のファイルはすべてUbuntuでの動作を前提としています。Windowsなど文字コードが違う環境での動作にはご注意下さい。

# # 7.6 学習目標
#
# 1.	Transformerのモジュール構成を理解する
# 2.	LSTMやRNNを使用せずCNNベースのTransformerで自然言語処理が可能な理由を理解する
# 3.	Transformerを実装できるようになる
#
#

# # 事前準備
# 書籍の指示に従い、本章で使用するデータを用意します
#



# Setup seeds




# +
# 動作確認

# 前節のDataLoaderなどを取得

# -



# +
# 動作確認

# モデル構築

# -







# +
# 動作確認

# モデル構築

# -



# +
# 動作確認

# ミニバッチの用意

# -

# 最終的なTransformerモデルのクラス


# +
# 動作確認

# ミニバッチの用意

# -

# ここまでの内容をフォルダ「utils」のtransformer.pyに別途保存しておき、次節からはこちらから読み込むようにします

# 以上

StarcoderdataJupyterScriptsDedupFiltered