Add SetFit model

.gitattributes

@@ -33,3 +33,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text
+unigram.json filter=lfs diff=lfs merge=lfs -text

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 384,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,276 @@
+---
+tags:
+- setfit
+- sentence-transformers
+- text-classification
+- generated_from_setfit_trainer
+widget:
+- text: Die Forderungen sind landesweit die gleichen. Es geht um die Wiedereinführung
+    eines 9-Euro-Tickets und ein Tempolimit von 100 km/h auf den Autobahnen. Außerdem
+    fordern wir die Einführung eines Gesellschaftsrats. Dieser soll Maßnahmen erarbeiten,
+    wie Deutschland bis 2030 emissionsfrei wird. Die Lösungsansätze sollen von der
+    Bundesregierung anerkannt und in der Politik umgesetzt werden.
+- text: Die aktivist bezeichnen sich als ›DLG›. Sie fordern von Bundeswirtschaftsminister
+    Robert Habeck Grüne, auf fossile Energie zu verzichten. Zudem verlangen sie eine
+    Lebenserklärung der Rektorin der Leipziger Universität. Diese soll sich ›offiziell,
+    öffentlich und gerichtet an Robert Habeck gegen den Bau und die Finanzierung neuer
+    fossiler Infrastruktur aussprechen. Insbesondere gegen neue Ölbohrungen in der
+    Nordsee sowie neue Flüssiggas-Terminals›, hieß es in einer Mitteilung der Gruppe
+    am Donnerstag.
+- text: Am Montag war es erneut das Amtsgericht Tiergarten, in dem ein Anwalt die
+    Aktionen der ›DLG› mit einem fragwürdigen historischen Vergleich rechtfertigte.
+    Verhandelt wurde an dem Tag gegen den 63-jährigen Winfried L. Wegen fünf Straßenblockaden,
+    bei denen er teilweise seine Hand auf der Straße angeklebt hatte, musste sich
+    L. wegen der Vorwürfe Nötigung und Widerstand gegen Vollstreckungsbeamte verantworten.
+- text: 'In einer am Morgen verbreiteten Mitteilung begründete die Gruppe ihre Aktion.
+    Mit der Sitzblockade habe der "fossile Alltag" auf der Straße unterbrochen werden
+    sollen. Auf Transparenten seien Forderungen deutlich gemacht worden: ein 9-Euro-Ticket
+    für alle, ein Tempolimit von 100 Stundenkilometern auf Autobahnen und die Bildung
+    eines Gesellschaftsrats zum Thema Ende der fossilen Brennstoffe bis 2030.'
+- text: 'aktivist feiern Festival für mehr Klimaschutz Xanten wer Die Ortsgruppe Xanten
+    von FFF hat am Freitagnachmittag wieder für mehr Klimaschutz protestiert – aber
+    anders als sonst. Die aktivist organisierten an der Kriemhildmühle im Kurpark
+    ein Festival mit Musik, Essen, Getränken und Vorträgen. Viele Menschen kamen,
+    genossen das schöne Wetter und die entspannte Atmosphäre, lauschten den Liedern
+    und sangen mit. Ansprachen gab es auch: Seit Jahrzehnten warne die Wissenschaft
+    vor den Folgen des Klimawandels, trotzdem unternehme die Politik zu wenig, und
+    die Bevölkerung müsse unter den Folgen wie Dürren, Überschwemmungen und Hitze
+    leiden, kritisierte Frederik Krohn von der Xantener Ortsgruppe der Klimaschutzbewegung.
+    Deshalb gehe FFF immer wieder auf die Straße, um der Politik zu sagen, dass es
+    so nicht weitergehe. Die große Teilnahme am Festival in Xanten und damit am Klimaschutz-Protest
+    sei ein ›starkes Zeichen›, sagte Krohn.'
+metrics:
+- accuracy
+pipeline_tag: text-classification
+library_name: setfit
+inference: true
+base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
+---
+
+# SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
+
+This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
+
+The model has been trained using an efficient few-shot learning technique that involves:
+
+1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
+2. Training a classification head with features from the fine-tuned Sentence Transformer.
+
+## Model Details
+
+### Model Description
+- **Model Type:** SetFit
+- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
+- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
+- **Maximum Sequence Length:** 128 tokens
+- **Number of Classes:** 3 classes
+<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
+- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
+- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
+
+### Model Labels
+| Label      | Examples                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    |
+|:-----------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| neutral    | <ul><li>'Bundesverkehrsminister Volker Wissing (FDP) und Vertreterinnen der Klimagruppe Letzte Generation haben sich in Berlin getroffen, um über mögliche Lösungen für den Klimaschutz zu diskutieren. Während beide Seiten das Gespräch als konstruktiv bewerteten, bleibt die Gruppe Letzte Generation bei ihren Forderungen nach einem Tempolimit von 100 km/h auf Autobahnen und einem dauerhaften 9-Euro-Ticket, da sie der Meinung ist, dass die aktuelle Verkehrspolitik nicht ausreicht, um die Emissionen signifikant zu reduzieren.'</li><li>'In Deutschland bleibt die Einführung eines nationalen Tempolimits auf Autobahnen weiterhin strittig. Bundeskanzler Olaf Scholz (SPD) äußerte sich beim Bürgerdialog im Allgäu neutral zu dem Vorschlag und erklärte, dass derzeit keine Mehrheit in der Koalition dafür existiere. Die FDP lehnt ein solches Tempolimit ab, was die Verwirklichung einer einheitlichen Geschwindigkeitsbegrenzung erschwert.'</li><li>'Klimaaktivisten nutzen verschiedene Strategien, um auf ihre Forderungen aufmerksam zu machen. Während einige Gruppen wie Fridays for Future vor allem öffentliche Proteste und Kampagnen organisieren, wenden sich andere, wie die Letzte Generation, auch symbolische Aktionen wie das Einnahmen von Speisen bei Veranstaltungen an. Diese Methoden zielen darauf ab, die Aufmerksamkeit auf den Dringlichkeit des Klimaschutzes zu lenken.'</li></ul>                                                                                                                                                                                     |
+| opposed    | <ul><li>'"Skeptische Haltung gegenüber Tempolimit: Verkehrsminister Wissing betont Notwendigkeit von Lösungen auf Basis der Freiheit der Autofahrer"\n\nVerkehrsminister Volker Wissing (FDP) hat seine ablehnende Haltung gegenüber einem generellen Tempolimit auf deutschen Autobahnen bekräftigt. In Anbetracht der Klimaziele sei es effektiver, auf die Einhaltung bestehender Regeln und die Förderung umweltfreundlicherer Fahrzeuge zu setzen, anstatt die Mobilität der Bürger einzuschränken, so Wissing.'</li><li>'"Tempolimit auf Autobahnen? Skepsis gegenüber unzureichender Lösung"\n\nDer Vorschlag einer nationalen Geschwindigkeitsbegrenzung auf Autobahnen stößt auf Kritik. Der Journalist und Experte Herrmann betont, dass ein solches Tempolimit nur eine "Ablenkung von der eigentlichen Verantwortung" sei. Stattdessen solle sich die Bundesregierung auf die Sicherung der Energieversorgung konzentrieren, um die Abhängigkeit von Russland zu beenden, so seine Aussage.'</li><li>'"Klima-Aktivisten übertreiben es mit ihren Aktionen: Ist dieser Extremismus wirklich der richtige Weg, um die Umwelt zu retten?"\n\nWährend ihre Absichten lobenswert sind, fragen sich viele: Geht es Klimaschützern wie Fridays for Future und der Letzten Generation nicht zu weit mit ihren provokanten Protesten? Nach dem jüngsten Klebeprotest in der Elbphilharmonie, bei dem Aktivisten das Geländer überklebten, stellt sich die Frage, ob solche Aktionen mehr Schaden als Nutzen anrichten. Die Kunst und Architektur dieser Wahrzeichen könnten dadurch unnötig gefährdet werden.'</li></ul> |
+| supportive | <ul><li>'Während die Einführung eines nationalen Tempolimits auf Autobahnen Kontroversen auslöst, befürworten viele Experten einen sorgfältigen Ansatz. Die Umweltministerkonferenz unterstreicht den Bedarf an Geschwindigkeitsbegrenzungen, insbesondere in Städten, um Lärm und Abgase zu reduzieren. Kritiker warnen jedoch vor möglichen wirtschaftlichen Auswirkungen und fordern eine umfassende Analyse der Effekte auf den Verkehr.'</li><li>'Die Forderung nach einem nationalen Tempolimit auf Autobahnen gewinnt an Dynamik, doch die Initiative stößt auf geteilte Meinungen. Während Umweltminister Christian Meyer (Grüne) auf der jüngsten Konferenz eine Begrenzung auf 130 Stundenkilometer befürwortete, argumentieren Kritiker, dass ein pauschales Limit die Effizienz des Verkehrs beeinträchtigen könnte. Dennoch scheint ein Kompromiss zwischen Umweltschutz und Wirtschaftlichkeit in Sicht, um die Sicherheit auf den Straßen zu erhöhen und den CO2-Ausstoß zu senken.'</li><li>'Klimaschutz mit Fragezeichen: Aktivisten blockieren Verkehr, Auswirkungen auf Autofahrer\n\nWährend Gruppen wie Fridays for Future und die Letzte Generation ihren Protest intensivieren, stoßen ihre Aktionen zunehmend auf Kritik. In München blockierten kürzlich drei Klimaaktivisten den Berufsverkehr, was zu aggressiven Reaktionen von Autofahrern führte. Die Polizei musste eingreifen und Anzeigen wegen Nötigung im Straßenverkehr aufnehmen. Solche Methoden werfen Fragen zur Balance zwischen zivilem Ungehorsam und der Belastung unbeteilter Bürger auf.'</li></ul>                           |
+
+## Uses
+
+### Direct Use for Inference
+
+First install the SetFit library:
+
+```bash
+pip install setfit
+```
+
+Then you can load this model and run inference.
+
+```python
+from setfit import SetFitModel
+
+# Download from the 🤗 Hub
+model = SetFitModel.from_pretrained("cbpuschmann/klimacoder2_v0.3")
+# Run inference
+preds = model("Die Forderungen sind landesweit die gleichen. Es geht um die Wiedereinführung eines 9-Euro-Tickets und ein Tempolimit von 100 km/h auf den Autobahnen. Außerdem fordern wir die Einführung eines Gesellschaftsrats. Dieser soll Maßnahmen erarbeiten, wie Deutschland bis 2030 emissionsfrei wird. Die Lösungsansätze sollen von der Bundesregierung anerkannt und in der Politik umgesetzt werden.")
+```
+
+<!--
+### Downstream Use
+
+*List how someone could finetune this model on their own dataset.*
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Set Metrics
+| Training set | Min | Median  | Max |
+|:-------------|:----|:--------|:----|
+| Word count   | 29  | 67.5889 | 233 |
+
+| Label      | Training Sample Count |
+|:-----------|:----------------------|
+| supportive | 60                    |
+| opposed    | 60                    |
+| neutral    | 60                    |
+
+### Training Hyperparameters
+- batch_size: (32, 32)
+- num_epochs: (5, 5)
+- max_steps: -1
+- sampling_strategy: oversampling
+- body_learning_rate: (2e-05, 1e-05)
+- head_learning_rate: 0.01
+- loss: CosineSimilarityLoss
+- distance_metric: cosine_distance
+- margin: 0.25
+- end_to_end: False
+- use_amp: False
+- warmup_proportion: 0.1
+- l2_weight: 0.01
+- seed: 42
+- eval_max_steps: -1
+- load_best_model_at_end: True
+
+### Training Results
+| Epoch  | Step | Training Loss | Validation Loss |
+|:------:|:----:|:-------------:|:---------------:|
+| 0.0015 | 1    | 0.2507        | -               |
+| 0.0741 | 50   | 0.2612        | -               |
+| 0.1481 | 100  | 0.2399        | -               |
+| 0.2222 | 150  | 0.1809        | -               |
+| 0.2963 | 200  | 0.1155        | -               |
+| 0.3704 | 250  | 0.034         | -               |
+| 0.4444 | 300  | 0.0045        | -               |
+| 0.5185 | 350  | 0.0019        | -               |
+| 0.5926 | 400  | 0.0011        | -               |
+| 0.6667 | 450  | 0.0005        | -               |
+| 0.7407 | 500  | 0.0003        | -               |
+| 0.8148 | 550  | 0.0003        | -               |
+| 0.8889 | 600  | 0.0002        | -               |
+| 0.9630 | 650  | 0.0002        | -               |
+| 1.0    | 675  | -             | 0.3444          |
+| 1.0370 | 700  | 0.0001        | -               |
+| 1.1111 | 750  | 0.0001        | -               |
+| 1.1852 | 800  | 0.0001        | -               |
+| 1.2593 | 850  | 0.0001        | -               |
+| 1.3333 | 900  | 0.0001        | -               |
+| 1.4074 | 950  | 0.0001        | -               |
+| 1.4815 | 1000 | 0.0002        | -               |
+| 1.5556 | 1050 | 0.0001        | -               |
+| 1.6296 | 1100 | 0.0001        | -               |
+| 1.7037 | 1150 | 0.0           | -               |
+| 1.7778 | 1200 | 0.0           | -               |
+| 1.8519 | 1250 | 0.0           | -               |
+| 1.9259 | 1300 | 0.0           | -               |
+| 2.0    | 1350 | 0.0           | 0.3538          |
+| 2.0741 | 1400 | 0.0           | -               |
+| 2.1481 | 1450 | 0.0           | -               |
+| 2.2222 | 1500 | 0.0           | -               |
+| 2.2963 | 1550 | 0.0           | -               |
+| 2.3704 | 1600 | 0.0           | -               |
+| 2.4444 | 1650 | 0.0           | -               |
+| 2.5185 | 1700 | 0.0           | -               |
+| 2.5926 | 1750 | 0.0           | -               |
+| 2.6667 | 1800 | 0.0           | -               |
+| 2.7407 | 1850 | 0.0           | -               |
+| 2.8148 | 1900 | 0.0           | -               |
+| 2.8889 | 1950 | 0.0           | -               |
+| 2.9630 | 2000 | 0.0001        | -               |
+| 3.0    | 2025 | -             | 0.3657          |
+| 3.0370 | 2050 | 0.0012        | -               |
+| 3.1111 | 2100 | 0.0           | -               |
+| 3.1852 | 2150 | 0.0           | -               |
+| 3.2593 | 2200 | 0.0           | -               |
+| 3.3333 | 2250 | 0.0           | -               |
+| 3.4074 | 2300 | 0.0           | -               |
+| 3.4815 | 2350 | 0.0           | -               |
+| 3.5556 | 2400 | 0.0           | -               |
+| 3.6296 | 2450 | 0.0           | -               |
+| 3.7037 | 2500 | 0.0           | -               |
+| 3.7778 | 2550 | 0.0           | -               |
+| 3.8519 | 2600 | 0.0           | -               |
+| 3.9259 | 2650 | 0.0           | -               |
+| 4.0    | 2700 | 0.0           | 0.3644          |
+| 4.0741 | 2750 | 0.0           | -               |
+| 4.1481 | 2800 | 0.0           | -               |
+| 4.2222 | 2850 | 0.0           | -               |
+| 4.2963 | 2900 | 0.0           | -               |
+| 4.3704 | 2950 | 0.0           | -               |
+| 4.4444 | 3000 | 0.0           | -               |
+| 4.5185 | 3050 | 0.0           | -               |
+| 4.5926 | 3100 | 0.0           | -               |
+| 4.6667 | 3150 | 0.0           | -               |
+| 4.7407 | 3200 | 0.0           | -               |
+| 4.8148 | 3250 | 0.0           | -               |
+| 4.8889 | 3300 | 0.0           | -               |
+| 4.9630 | 3350 | 0.0           | -               |
+| 5.0    | 3375 | -             | 0.3656          |
+
+### Framework Versions
+- Python: 3.11.10
+- SetFit: 1.1.1
+- Sentence Transformers: 3.4.1
+- Transformers: 4.48.2
+- PyTorch: 2.3.1.post300
+- Datasets: 3.2.0
+- Tokenizers: 0.21.0
+
+## Citation
+
+### BibTeX
+```bibtex
+@article{https://doi.org/10.48550/arxiv.2209.11055,
+    doi = {10.48550/ARXIV.2209.11055},
+    url = {https://arxiv.org/abs/2209.11055},
+    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
+    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
+    title = {Efficient Few-Shot Learning Without Prompts},
+    publisher = {arXiv},
+    year = {2022},
+    copyright = {Creative Commons Attribution 4.0 International}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 384,
+  "initializer_range": 0.02,
+  "intermediate_size": 1536,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.48.2",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 250037
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.48.2",
+    "pytorch": "2.3.1.post300"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

config_setfit.json

@@ -0,0 +1,8 @@
+{
+  "labels": [
+    "supportive",
+    "opposed",
+    "neutral"
+  ],
+  "normalize_embeddings": false
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:09a74a23fa480204d43c7d3ca01111f2252337c89fe6f57a9658e418a5d9f018
+size 470637416

model_head.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4cfe02e4f5cc1a62fda3e2f12c230a1abbfd4e7405d80c5d5a85311d5db01abf
+size 10207

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 128,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cad551d5600a84242d0973327029452a1e3672ba6313c2a3c3d69c4310e12719
+size 17082987

tokenizer_config.json

@@ -0,0 +1,65 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<s>",
+  "do_lower_case": true,
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "max_length": 128,
+  "model_max_length": 128,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "stride": 0,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}

unigram.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:da145b5e7700ae40f16691ec32a0b1fdc1ee3298db22a31ea55f57a966c4a65d
+size 14763260