
## GPT2 Japanese base model version 2

### Prerequisites

transformers==4.19.2

### Model architecture

This model uses GPT2 base setttings except vocabulary size.

### Tokenizer

Using BPE tokenizer with vocabulary size 60,000.

### Training Data 

* [wiki40b/ja](https://www.tensorflow.org/datasets/catalog/wiki40b#wiki40bja) (Japanese Wikipedia)
* Subset of [CC-100/ja](https://data.statmt.org/cc-100/) : Monolingual Datasets from Web Crawl Data

### Usage

```python
from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)
```


## (Japanese description) GPT2 日本語 ベースモデル・バージョン 2

### 前提条件

transformers==4.19.2

### モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。

### トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。

### 訓練データ

* [wiki40b/ja](https://www.tensorflow.org/datasets/catalog/wiki40b#wiki40bja) (日本語 Wikipedia)
* [CC-100/ja](https://data.statmt.org/cc-100/) のサブセット : Web クロールデータからの単一言語データセット。


### 使用方法

```python
from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)
```

{"language": "ja", "license": "cc-by-sa-4.0", "datasets": ["wikipedia", "cc100"], "widget": [{"text": "\u5929\u6c17\u4e88\u5831\u306b\u3088\u308c\u3070\u660e\u65e5\u306f"}, {"text": "\u79c1\u306e\u4eca\u65e5\u306e\u663c\u98ef\u306f"}, {"text": "\u30b5\u30c3\u30ab\u30fc\u65e5\u672c\u4ee3\u8868\u306f\u30d9\u30eb\u30ae\u30fc\u306b"}, {"text": "\u65e5\u672c\u4eba\u30b5\u30c3\u30ab\u30fc\u9078\u624b\u304c W \u676f\u3067"}]}
transformers pytorch gpt2 text-generation ja dataset:wikipedia dataset:cc100 license:cc-by-sa-4.0 autotrain_compatible endpoints_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #gpt2 #text-generation #ja #dataset-wikipedia #dataset-cc100 #license-cc-by-sa-4.0 #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 


## GPT2 Japanese base model version 2

### Prerequisites

transformers==4.19.2

### Model architecture

This model uses GPT2 base setttings except vocabulary size.

### Tokenizer

Using BPE tokenizer with vocabulary size 60,000.

### Training Data 

* wiki40b/ja (Japanese Wikipedia)
* Subset of CC-100/ja : Monolingual Datasets from Web Crawl Data

### Usage




## (Japanese description) GPT2 日本語 ベースモデル・バージョン 2

### 前提条件

transformers==4.19.2

### モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。

### トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。

### 訓練データ

* wiki40b/ja (日本語 Wikipedia)
* CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。


### 使用方法



## GPT2 Japanese base model version 2 ### Prerequisites

transformers==4.19.2 ### Model architecture

This model uses GPT2 base setttings except vocabulary size. ### Tokenizer

Using BPE tokenizer with vocabulary size 60,000. ### Training Data 

* wiki40b/ja (Japanese Wikipedia)
* Subset of CC-100/ja : Monolingual Datasets from Web Crawl Data ### Usage ## (Japanese description) GPT2 日本語 ベースモデル・バージョン 2 ### 前提条件

transformers==4.19.2 ### モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。 ### トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。 ### 訓練データ

* wiki40b/ja (日本語 Wikipedia)
* CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。 ### 使用方法
TAGS
#transformers #pytorch #gpt2 #text-generation #ja #dataset-wikipedia #dataset-cc100 #license-cc-by-sa-4.0 #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
 ## GPT2 Japanese base model version 2 ### Prerequisites

transformers==4.19.2 ### Model architecture

This model uses GPT2 base setttings except vocabulary size. ### Tokenizer

Using BPE tokenizer with vocabulary size 60,000. ### Training Data 

* wiki40b/ja (Japanese Wikipedia)
* Subset of CC-100/ja : Monolingual Datasets from Web Crawl Data ### Usage ## (Japanese description) GPT2 日本語 ベースモデル・バージョン 2 ### 前提条件

transformers==4.19.2 ### モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。 ### トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。 ### 訓練データ

* wiki40b/ja (日本語 Wikipedia)
* CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。 ### 使用方法
passage: TAGS
#transformers #pytorch #gpt2 #text-generation #ja #dataset-wikipedia #dataset-cc100 #license-cc-by-sa-4.0 #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
## GPT2 Japanese base model version 2### Prerequisites

transformers==4.19.2### Model architecture

This model uses GPT2 base setttings except vocabulary size.### Tokenizer

Using BPE tokenizer with vocabulary size 60,000.### Training Data 

* wiki40b/ja (Japanese Wikipedia)
* Subset of CC-100/ja : Monolingual Datasets from Web Crawl Data### Usage## (Japanese description) GPT2 日本語 ベースモデル・バージョン 2### 前提条件

transformers==4.19.2### モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。### トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。### 訓練データ

* wiki40b/ja (日本語 Wikipedia)
* CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。### 使用方法