





'''simple docstring'''

import os
import pickle
import unittest

from transformers import AutoTokenizer
from transformers.models.bert.tokenization_bert import BertTokenizer
from transformers.models.bert_japanese.tokenization_bert_japanese import (
    VOCAB_FILES_NAMES,
    BertJapaneseTokenizer,
    CharacterTokenizer,
    JumanppTokenizer,
    MecabTokenizer,
    SudachiTokenizer,
    WordpieceTokenizer,
)
from transformers.testing_utils import custom_tokenizers, require_jumanpp, require_sudachi

from ...test_tokenization_common import TokenizerTesterMixin
@custom_tokenizers
class 							__lowerCAmelCase	(       __magic_name__		,		unittest.TestCase					):






       """simple docstring"""
       _snake_case      :	List[Any]									=       BertJapaneseTokenizer
       _snake_case      :	str									=       False
       _snake_case      :	Optional[Any]									=       True





       def snake_case__		(				self  :						Any	)       ->	List[Any]:

            '''simple docstring'''




            super().setUp()

            _UpperCamelCase							       =			[
                '''[UNK]''',
                '''[CLS]''',
                '''[SEP]''',
                '''こんにちは''',
                '''こん''',
                '''にちは''',
                '''ばんは''',
                '''##こん''',
                '''##にちは''',
                '''##ばんは''',
                '''世界''',
                '''##世界''',
                '''、''',
                '''##、''',
                '''。''',
                '''##。''',
            ]

            _UpperCamelCase							       =			os.path.join(self.tmpdirname			,					VOCAB_FILES_NAMES['''vocab_file''']	)
            with open(self.vocab_file			,					'''w'''			,					encoding='''utf-8'''	) as vocab_writer:
                 vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]	)	)





       def snake_case__		(				self  :						Any			,					lowerCAmelCase__  :						List[str]	)       ->	Optional[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			'''こんにちは、世界。 \nこんばんは、世界。'''
            _UpperCamelCase							       =			'''こんにちは 、 世界 。 こんばんは 、 世界 。'''
            return input_text, output_text





       def snake_case__		(				self  :						str			,					lowerCAmelCase__  :						Tuple	)       ->	int:

            '''simple docstring'''




            _UpperCamelCase       ,							_UpperCamelCase							       =			self.get_input_output_texts(lowerCAmelCase__	)
            _UpperCamelCase							       =			tokenizer.encode(lowerCAmelCase__			,					add_special_tokens=lowerCAmelCase__	)
            _UpperCamelCase							       =			tokenizer.decode(lowerCAmelCase__			,					clean_up_tokenization_spaces=lowerCAmelCase__	)
            return text, ids





       def snake_case__		(				self  :						Optional[Any]	)       ->	int:

            '''simple docstring'''




            pass  # TODO add if relevant





       def snake_case__		(				self  :						Dict	)       ->	Tuple:

            '''simple docstring'''




            pass  # TODO add if relevant





       def snake_case__		(				self  :						List[str]	)       ->	List[Any]:

            '''simple docstring'''




            pass  # TODO add if relevant





       def snake_case__		(				self  :						Union[str, Any]	)       ->	Tuple:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class(self.vocab_file	)

            _UpperCamelCase							       =			tokenizer.tokenize('''こんにちは、世界。\nこんばんは、世界。'''	)
            self.assertListEqual(lowerCAmelCase__			,					['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']	)
            self.assertListEqual(tokenizer.convert_tokens_to_ids(lowerCAmelCase__	)			,					[3, 12, 10, 14, 4, 9, 12, 10, 14]	)





       def snake_case__		(				self  :						str	)       ->	str:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class(self.vocab_file			,					word_tokenizer_type='''mecab'''	)
            self.assertIsNotNone(lowerCAmelCase__	)

            _UpperCamelCase							       =			'''こんにちは、世界。\nこんばんは、世界。'''
            _UpperCamelCase							       =			tokenizer.tokenize(lowerCAmelCase__	)
            self.assertListEqual(lowerCAmelCase__			,					['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']	)
            self.assertListEqual(tokenizer.convert_tokens_to_ids(lowerCAmelCase__	)			,					[3, 12, 10, 14, 4, 9, 12, 10, 14]	)

            _UpperCamelCase							       =			os.path.join(self.tmpdirname			,					'''tokenizer.bin'''	)
            with open(lowerCAmelCase__			,					'''wb'''	) as handle:
                 pickle.dump(lowerCAmelCase__			,					lowerCAmelCase__	)

            with open(lowerCAmelCase__			,					'''rb'''	) as handle:
                 _UpperCamelCase							       =			pickle.load(lowerCAmelCase__	)

            _UpperCamelCase							       =			tokenizer_new.tokenize(lowerCAmelCase__	)

            self.assertListEqual(lowerCAmelCase__			,					lowerCAmelCase__	)





       def snake_case__		(				self  :						Union[str, Any]	)       ->	List[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			MecabTokenizer(mecab_dic='''ipadic'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップルストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']			,					)





       def snake_case__		(				self  :						List[Any]	)       ->	Dict:

            '''simple docstring'''




            try:
                 _UpperCamelCase							       =			MecabTokenizer(mecab_dic='''unidic_lite'''	)
            except ModuleNotFoundError:
                 return

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']			,					)





       def snake_case__		(				self  :						Optional[int]	)       ->	Tuple:

            '''simple docstring'''




            try:
                 _UpperCamelCase							       =			MecabTokenizer(mecab_dic='''unidic'''	)
            except ModuleNotFoundError:
                 return

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']			,					)





       def snake_case__		(				self  :						List[str]	)       ->	Optional[int]:

            '''simple docstring'''




            _UpperCamelCase							       =			MecabTokenizer(do_lower_case=lowerCAmelCase__			,					mecab_dic='''ipadic'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップルストア''', '''で''', '''iphone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']			,					)





       def snake_case__		(				self  :						List[Any]	)       ->	Union[str, Any]:

            '''simple docstring'''




            try:
                 _UpperCamelCase							       =			MecabTokenizer(
                     do_lower_case=lowerCAmelCase__			,					normalize_text=lowerCAmelCase__			,					mecab_option='''-d /usr/local/lib/mecab/dic/jumandic'''	)
            except RuntimeError:
                 # if dict doesn't exist in the system, previous code raises this error.
                 return

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']			,					)





       def snake_case__		(				self  :						Any	)       ->	Optional[int]:

            '''simple docstring'''




            _UpperCamelCase							       =			MecabTokenizer(normalize_text=lowerCAmelCase__			,					mecab_dic='''ipadic'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''　''', '''。''']			,					)





       @require_sudachi
       def snake_case__		(				self  :						List[str]	)       ->	Any:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class(self.vocab_file			,					word_tokenizer_type='''sudachi'''	)
            self.assertIsNotNone(lowerCAmelCase__	)

            _UpperCamelCase							       =			'''こんにちは、世界。\nこんばんは、世界。'''
            _UpperCamelCase							       =			tokenizer.tokenize(lowerCAmelCase__	)
            self.assertListEqual(lowerCAmelCase__			,					['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']	)
            self.assertListEqual(tokenizer.convert_tokens_to_ids(lowerCAmelCase__	)			,					[3, 12, 10, 14, 4, 9, 12, 10, 14]	)

            _UpperCamelCase							       =			os.path.join(self.tmpdirname			,					'''tokenizer.bin'''	)
            with open(lowerCAmelCase__			,					'''wb'''	) as handle:
                 pickle.dump(lowerCAmelCase__			,					lowerCAmelCase__	)

            with open(lowerCAmelCase__			,					'''rb'''	) as handle:
                 _UpperCamelCase							       =			pickle.load(lowerCAmelCase__	)

            _UpperCamelCase							       =			tokenizer_new.tokenize(lowerCAmelCase__	)

            self.assertListEqual(lowerCAmelCase__			,					lowerCAmelCase__	)





       @require_sudachi
       def snake_case__		(				self  :						Any	)       ->	str:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(sudachi_dict_type='''core'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']			,					)





       @require_sudachi
       def snake_case__		(				self  :						Any	)       ->	List[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(sudachi_dict_type='''core'''			,					sudachi_split_mode='''A'''	)

            self.assertListEqual(tokenizer.tokenize('''外国人参政権'''	)			,					['''外国''', '''人''', '''参政''', '''権''']	)





       @require_sudachi
       def snake_case__		(				self  :						List[Any]	)       ->	Dict:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(sudachi_dict_type='''core'''			,					sudachi_split_mode='''B'''	)

            self.assertListEqual(tokenizer.tokenize('''外国人参政権'''	)			,					['''外国人''', '''参政権''']	)





       @require_sudachi
       def snake_case__		(				self  :						Any	)       ->	List[str]:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(sudachi_dict_type='''core'''			,					sudachi_split_mode='''C'''	)

            self.assertListEqual(tokenizer.tokenize('''外国人参政権'''	)			,					['''外国人参政権''']	)





       @require_sudachi
       def snake_case__		(				self  :						List[Any]	)       ->	List[str]:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(do_lower_case=lowerCAmelCase__			,					sudachi_dict_type='''core'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']			,					)





       @require_sudachi
       def snake_case__		(				self  :						List[Any]	)       ->	Dict:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(normalize_text=lowerCAmelCase__			,					sudachi_dict_type='''core'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					[''' ''', '''\t''', '''ｱｯﾌﾟﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', '''\u3000''', '''。''', ''' ''', ''' ''']			,					)





       @require_sudachi
       def snake_case__		(				self  :						Dict	)       ->	Optional[int]:

            '''simple docstring'''




            _UpperCamelCase							       =			SudachiTokenizer(trim_whitespace=lowerCAmelCase__			,					sudachi_dict_type='''core'''	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']			,					)





       @require_jumanpp
       def snake_case__		(				self  :						Optional[int]	)       ->	List[str]:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class(self.vocab_file			,					word_tokenizer_type='''jumanpp'''	)
            self.assertIsNotNone(lowerCAmelCase__	)

            _UpperCamelCase							       =			'''こんにちは、世界。\nこんばんは、世界。'''
            _UpperCamelCase							       =			tokenizer.tokenize(lowerCAmelCase__	)
            self.assertListEqual(lowerCAmelCase__			,					['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']	)
            self.assertListEqual(tokenizer.convert_tokens_to_ids(lowerCAmelCase__	)			,					[3, 12, 10, 14, 4, 9, 12, 10, 14]	)

            _UpperCamelCase							       =			os.path.join(self.tmpdirname			,					'''tokenizer.bin'''	)
            with open(lowerCAmelCase__			,					'''wb'''	) as handle:
                 pickle.dump(lowerCAmelCase__			,					lowerCAmelCase__	)

            with open(lowerCAmelCase__			,					'''rb'''	) as handle:
                 _UpperCamelCase							       =			pickle.load(lowerCAmelCase__	)

            _UpperCamelCase							       =			tokenizer_new.tokenize(lowerCAmelCase__	)

            self.assertListEqual(lowerCAmelCase__			,					lowerCAmelCase__	)





       @require_jumanpp
       def snake_case__		(				self  :						Optional[Any]	)       ->	List[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			JumanppTokenizer()

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']			,					)





       @require_jumanpp
       def snake_case__		(				self  :						Optional[Any]	)       ->	Any:

            '''simple docstring'''




            _UpperCamelCase							       =			JumanppTokenizer(do_lower_case=lowerCAmelCase__	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']			,					)





       @require_jumanpp
       def snake_case__		(				self  :						int	)       ->	int:

            '''simple docstring'''




            _UpperCamelCase							       =			JumanppTokenizer(normalize_text=lowerCAmelCase__	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''ｱ''', '''ｯ''', '''ﾌ''', '''ﾟ''', '''ﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']			,					)





       @require_jumanpp
       def snake_case__		(				self  :						List[str]	)       ->	Dict:

            '''simple docstring'''




            _UpperCamelCase							       =			JumanppTokenizer(trim_whitespace=lowerCAmelCase__	)

            self.assertListEqual(
                tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''	)			,					['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れた''', '''。''']			,					)





       @require_jumanpp
       def snake_case__		(				self  :						List[Any]	)       ->	Tuple:

            '''simple docstring'''




            _UpperCamelCase							       =			JumanppTokenizer()

            self.assertListEqual(
                tokenizer.tokenize('''ありがとうございますm(_ _)ｍ見つけるのが大変です。'''	)			,					['''ありがとう''', '''ございます''', '''m(_ _)m''', '''見つける''', '''の''', '''が''', '''大変です''', '''。''']			,					)





       def snake_case__		(				self  :						Dict	)       ->	Optional[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こんにちは''', '''こん''', '''にちは''', '''ばんは''', '''##こん''', '''##にちは''', '''##ばんは''']

            _UpperCamelCase							       =			{}
            for i, token in enumerate(lowerCAmelCase__	):
                 _UpperCamelCase							       =			i
            _UpperCamelCase							       =			WordpieceTokenizer(vocab=lowerCAmelCase__			,					unk_token='''[UNK]'''	)

            self.assertListEqual(tokenizer.tokenize(''''''	)			,					[]	)

            self.assertListEqual(tokenizer.tokenize('''こんにちは'''	)			,					['''こんにちは''']	)

            self.assertListEqual(tokenizer.tokenize('''こんばんは'''	)			,					['''こん''', '''##ばんは''']	)

            self.assertListEqual(tokenizer.tokenize('''こんばんは こんばんにちは こんにちは'''	)			,					['''こん''', '''##ばんは''', '''[UNK]''', '''こんにちは''']	)





       def snake_case__		(				self  :						Optional[Any]	)       ->	List[str]:

            '''simple docstring'''




            _UpperCamelCase							       =			BertJapaneseTokenizer.from_pretrained('''nlp-waseda/roberta-base-japanese-with-auto-jumanpp'''	)
            _UpperCamelCase							       =			tokenizer.subword_tokenizer

            _UpperCamelCase							       =			subword_tokenizer.tokenize('''国境 の 長い トンネル を 抜ける と 雪国 であった 。'''	)
            self.assertListEqual(lowerCAmelCase__			,					['''▁国境''', '''▁の''', '''▁長い''', '''▁トンネル''', '''▁を''', '''▁抜ける''', '''▁と''', '''▁雪''', '''国''', '''▁であった''', '''▁。''']	)

            _UpperCamelCase							       =			subword_tokenizer.tokenize('''こんばんは こんばん にち は こんにちは'''	)
            self.assertListEqual(lowerCAmelCase__			,					['''▁こん''', '''ばん''', '''は''', '''▁こん''', '''ばん''', '''▁に''', '''ち''', '''▁は''', '''▁こんにちは''']	)







       def snake_case__		(				self  :						List[str]	)       ->	List[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese'''	)

            _UpperCamelCase							       =			tokenizer.encode('''ありがとう。'''			,					add_special_tokens=lowerCAmelCase__	)
            _UpperCamelCase							       =			tokenizer.encode('''どういたしまして。'''			,					add_special_tokens=lowerCAmelCase__	)

            _UpperCamelCase							       =			tokenizer.build_inputs_with_special_tokens(lowerCAmelCase__	)
            _UpperCamelCase							       =			tokenizer.build_inputs_with_special_tokens(lowerCAmelCase__			,					lowerCAmelCase__	)

            # 2 is for "[CLS]", 3 is for "[SEP]"
            assert encoded_sentence == [2] + text + [3]
            assert encoded_pair == [2] + text + [3] + text_a + [3]

@custom_tokenizers
class 							__lowerCAmelCase	(       __magic_name__		,		unittest.TestCase					):






       """simple docstring"""
       _snake_case      :	Tuple									=       BertJapaneseTokenizer
       _snake_case      :	Any									=       False





       def snake_case__		(				self  :						Optional[Any]	)       ->	Optional[Any]:

            '''simple docstring'''




            super().setUp()

            _UpperCamelCase							       =			['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

            _UpperCamelCase							       =			os.path.join(self.tmpdirname			,					VOCAB_FILES_NAMES['''vocab_file''']	)
            with open(self.vocab_file			,					'''w'''			,					encoding='''utf-8'''	) as vocab_writer:
                 vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]	)	)





       def snake_case__		(				self  :						List[Any]			,					**lowerCAmelCase__  :						Dict	)       ->	List[Any]:

            '''simple docstring'''




            return BertJapaneseTokenizer.from_pretrained(self.tmpdirname			,					subword_tokenizer_type='''character'''			,					**lowerCAmelCase__	)





       def snake_case__		(				self  :						List[str]			,					lowerCAmelCase__  :						int	)       ->	List[Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			'''こんにちは、世界。 \nこんばんは、世界。'''
            _UpperCamelCase							       =			'''こ ん に ち は 、 世 界 。 こ ん ば ん は 、 世 界 。'''
            return input_text, output_text





       def snake_case__		(				self  :						int	)       ->	int:

            '''simple docstring'''




            pass  # TODO add if relevant





       def snake_case__		(				self  :						Optional[int]	)       ->	str:

            '''simple docstring'''




            pass  # TODO add if relevant





       def snake_case__		(				self  :						Optional[Any]	)       ->	Tuple:

            '''simple docstring'''




            pass  # TODO add if relevant





       def snake_case__		(				self  :						str	)       ->	Union[str, Any]:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class(self.vocab_file			,					subword_tokenizer_type='''character'''	)

            _UpperCamelCase							       =			tokenizer.tokenize('''こんにちは、世界。 \nこんばんは、世界。'''	)
            self.assertListEqual(
                lowerCAmelCase__			,					['''こ''', '''ん''', '''に''', '''ち''', '''は''', '''、''', '''世''', '''界''', '''。''', '''こ''', '''ん''', '''ば''', '''ん''', '''は''', '''、''', '''世''', '''界''', '''。''']	)
            self.assertListEqual(
                tokenizer.convert_tokens_to_ids(lowerCAmelCase__	)			,					[3, 4, 5, 6, 7, 11, 9, 10, 12, 3, 4, 8, 4, 7, 11, 9, 10, 12]	)





       def snake_case__		(				self  :						str	)       ->	Any:

            '''simple docstring'''




            _UpperCamelCase							       =			['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

            _UpperCamelCase							       =			{}
            for i, token in enumerate(lowerCAmelCase__	):
                 _UpperCamelCase							       =			i
            _UpperCamelCase							       =			CharacterTokenizer(vocab=lowerCAmelCase__			,					unk_token='''[UNK]'''	)

            self.assertListEqual(tokenizer.tokenize(''''''	)			,					[]	)

            self.assertListEqual(tokenizer.tokenize('''こんにちは'''	)			,					['''こ''', '''ん''', '''に''', '''ち''', '''は''']	)

            self.assertListEqual(tokenizer.tokenize('''こんにちほ'''	)			,					['''こ''', '''ん''', '''に''', '''ち''', '''[UNK]''']	)







       def snake_case__		(				self  :						str	)       ->	str:

            '''simple docstring'''




            _UpperCamelCase							       =			self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese-char'''	)

            _UpperCamelCase							       =			tokenizer.encode('''ありがとう。'''			,					add_special_tokens=lowerCAmelCase__	)
            _UpperCamelCase							       =			tokenizer.encode('''どういたしまして。'''			,					add_special_tokens=lowerCAmelCase__	)

            _UpperCamelCase							       =			tokenizer.build_inputs_with_special_tokens(lowerCAmelCase__	)
            _UpperCamelCase							       =			tokenizer.build_inputs_with_special_tokens(lowerCAmelCase__			,					lowerCAmelCase__	)

            # 2 is for "[CLS]", 3 is for "[SEP]"
            assert encoded_sentence == [2] + text + [3]
            assert encoded_pair == [2] + text + [3] + text_a + [3]

@custom_tokenizers
class 							__lowerCAmelCase	(       unittest.TestCase					):






       """simple docstring"""





       def snake_case__		(				self  :						Union[str, Any]	)       ->	Dict:

            '''simple docstring'''




            _UpperCamelCase							       =			'''cl-tohoku/bert-base-japanese'''
            _UpperCamelCase							       =			AutoTokenizer.from_pretrained(lowerCAmelCase__	)
            self.assertIsInstance(lowerCAmelCase__			,					lowerCAmelCase__	)

class 							__lowerCAmelCase	(       unittest.TestCase					):






       """simple docstring"""





       def snake_case__		(				self  :						List[str]	)       ->	Tuple:

            '''simple docstring'''




            _UpperCamelCase							       =			'''cl-tohoku/bert-base-japanese'''
            with self.assertLogs('''transformers'''			,					level='''WARNING'''	) as cm:
                 BertTokenizer.from_pretrained(lowerCAmelCase__	)
                 self.assertTrue(
                     cm.records[0].message.startswith(
                         '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
                         ''' is called from.'''	)	)
            _UpperCamelCase							       =			'''bert-base-cased'''
            with self.assertLogs('''transformers'''			,					level='''WARNING'''	) as cm:
                 BertJapaneseTokenizer.from_pretrained(lowerCAmelCase__	)
                 self.assertTrue(
                     cm.records[0].message.startswith(
                         '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
                         ''' is called from.'''	)	)










'''simple docstring'''

import argparse

import intel_extension_for_pytorch as ipex
import torch

from diffusers import DPMSolverMultistepScheduler, StableDiffusionPipeline


lowercase__		:     int			=							argparse.ArgumentParser('Stable Diffusion script with intel optimization', add_help=False)
parser.add_argument('--dpm', action='store_true', help='Enable DPMSolver or not')
parser.add_argument('--steps', default=None, type=int, help='Num inference steps')
lowercase__		:     Union[str, Any]			=							parser.parse_args()


lowercase__		:     Union[str, Any]			=							'cpu'
lowercase__		:     Tuple			=							'a lovely <dicoo> in red dress and hat, in the snowly and brightly night, with many brighly buildings'

lowercase__		:     List[Any]			=							'path-to-your-trained-model'
lowercase__		:     Optional[Any]			=							StableDiffusionPipeline.from_pretrained(model_id)
if args.dpm:
   lowercase__		:     Union[str, Any]			=							DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
lowercase__		:     Dict			=							pipe.to(device)

# to channels last
lowercase__		:     Any			=							pipe.unet.to(memory_format=torch.channels_last)
lowercase__		:     Dict			=							pipe.vae.to(memory_format=torch.channels_last)
lowercase__		:     Any			=							pipe.text_encoder.to(memory_format=torch.channels_last)
if pipe.requires_safety_checker:
   lowercase__		:     Union[str, Any]			=							pipe.safety_checker.to(memory_format=torch.channels_last)

# optimize with ipex
lowercase__		:     List[str]			=							torch.randn(2, 4, 64, 64)
lowercase__		:     int			=							torch.rand(1) * 9_99
lowercase__		:     Optional[int]			=							torch.randn(2, 77, 7_68)
lowercase__		:     List[str]			=							(sample, timestep, encoder_hidden_status)
try:
   lowercase__		:     Optional[Any]			=							ipex.optimize(pipe.unet.eval(), dtype=torch.bfloataa, inplace=True, sample_input=input_example)
except Exception:
   lowercase__		:     Any			=							ipex.optimize(pipe.unet.eval(), dtype=torch.bfloataa, inplace=True)
lowercase__		:     Tuple			=							ipex.optimize(pipe.vae.eval(), dtype=torch.bfloataa, inplace=True)
lowercase__		:     Any			=							ipex.optimize(pipe.text_encoder.eval(), dtype=torch.bfloataa, inplace=True)
if pipe.requires_safety_checker:
   lowercase__		:     Union[str, Any]			=							ipex.optimize(pipe.safety_checker.eval(), dtype=torch.bfloataa, inplace=True)

# compute
lowercase__		:     Optional[Any]			=							6_66
lowercase__		:     Tuple			=							torch.Generator(device).manual_seed(seed)
lowercase__		:     Dict			=							{'generator': generator}
if args.steps is not None:
   lowercase__		:     int			=							args.steps

with torch.cpu.amp.autocast(enabled=True, dtype=torch.bfloataa):
   lowercase__		:     Dict			=							pipe(prompt, **generate_kwargs).images[0]

# save image
image.save('generated.png')



