
'''simple docstring'''







import os
import pickle
import unittest

from transformers import AutoTokenizer
from transformers.models.bert.tokenization_bert import BertTokenizer
from transformers.models.bert_japanese.tokenization_bert_japanese import (
    VOCAB_FILES_NAMES,
    BertJapaneseTokenizer,
    CharacterTokenizer,
    JumanppTokenizer,
    MecabTokenizer,
    SudachiTokenizer,
    WordpieceTokenizer,
)
from transformers.testing_utils import custom_tokenizers, require_jumanpp, require_sudachi

from ...test_tokenization_common import TokenizerTesterMixin






@custom_tokenizers
class 			lowerCAmelCase__       (  lowerCamelCase_   ,						unittest.TestCase					):
					lowerCAmelCase_					       =					BertJapaneseTokenizer
					lowerCAmelCase_					       =					False
					lowerCAmelCase_					       =					True






					def      _snake_case   (       self		):


											"""simple docstring"""





											super().setUp()

											lowercase_     :					Any													=	[
											    '''[UNK]''',
											    '''[CLS]''',
											    '''[SEP]''',
											    '''こんにちは''',
											    '''こん''',
											    '''にちは''',
											    '''ばんは''',
											    '''##こん''',
											    '''##にちは''',
											    '''##ばんは''',
											    '''世界''',
											    '''##世界''',
											    '''、''',
											    '''##、''',
											    '''。''',
											    '''##。''',
											]

											lowercase_     :					int													=	os.path.join(self.tmpdirname    ,							VOCAB_FILES_NAMES['''vocab_file''']		)
											with open(self.vocab_file    ,							'''w'''    ,							encoding='''utf-8'''		) as vocab_writer:
																	vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]		)		)






					def      _snake_case   (       self    ,							__SCREAMING_SNAKE_CASE		):


											"""simple docstring"""





											lowercase_     :					List[str]													=	'''こんにちは、世界。 \nこんばんは、世界。'''
											lowercase_     :					Dict													=	'''こんにちは 、 世界 。 こんばんは 、 世界 。'''
											return input_text, output_text






					def      _snake_case   (       self    ,							__SCREAMING_SNAKE_CASE		):


											"""simple docstring"""





											lowercase_						,			lowercase_     :					int													=	self.get_input_output_texts(__SCREAMING_SNAKE_CASE		)
											lowercase_     :					Dict													=	tokenizer.encode(__SCREAMING_SNAKE_CASE    ,							add_special_tokens=__SCREAMING_SNAKE_CASE		)
											lowercase_     :					Optional[Any]													=	tokenizer.decode(__SCREAMING_SNAKE_CASE    ,							clean_up_tokenization_spaces=__SCREAMING_SNAKE_CASE		)
											return text, ids






					def      _snake_case   (       self		):


											"""simple docstring"""





											pass  # TODO add if relevant






					def      _snake_case   (       self		):


											"""simple docstring"""





											pass  # TODO add if relevant






					def      _snake_case   (       self		):


											"""simple docstring"""





											pass  # TODO add if relevant






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					int													=	self.tokenizer_class(self.vocab_file		)

											lowercase_     :					int													=	tokenizer.tokenize('''こんにちは、世界。\nこんばんは、世界。'''		)
											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
											self.assertListEqual(tokenizer.convert_tokens_to_ids(__SCREAMING_SNAKE_CASE		)    ,							[3, 12, 10, 14, 4, 9, 12, 10, 14]		)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Tuple													=	self.tokenizer_class(self.vocab_file    ,							word_tokenizer_type='''mecab'''		)
											self.assertIsNotNone(__SCREAMING_SNAKE_CASE		)

											lowercase_     :					Optional[int]													=	'''こんにちは、世界。\nこんばんは、世界。'''
											lowercase_     :					Dict													=	tokenizer.tokenize(__SCREAMING_SNAKE_CASE		)
											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
											self.assertListEqual(tokenizer.convert_tokens_to_ids(__SCREAMING_SNAKE_CASE		)    ,							[3, 12, 10, 14, 4, 9, 12, 10, 14]		)

											lowercase_     :					int													=	os.path.join(self.tmpdirname    ,							'''tokenizer.bin'''		)
											with open(__SCREAMING_SNAKE_CASE    ,							'''wb'''		) as handle:
																	pickle.dump(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)

											with open(__SCREAMING_SNAKE_CASE    ,							'''rb'''		) as handle:
																	lowercase_     :					Dict													=	pickle.load(__SCREAMING_SNAKE_CASE		)

											lowercase_     :					Tuple													=	tokenizer_new.tokenize(__SCREAMING_SNAKE_CASE		)

											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Union[str, Any]													=	MecabTokenizer(mecab_dic='''ipadic'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップルストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']    ,							)






					def      _snake_case   (       self		):


											"""simple docstring"""





											try:
																	lowercase_     :					str													=	MecabTokenizer(mecab_dic='''unidic_lite'''		)
											except ModuleNotFoundError:
																	return

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']    ,							)






					def      _snake_case   (       self		):


											"""simple docstring"""





											try:
																	lowercase_     :					List[str]													=	MecabTokenizer(mecab_dic='''unidic'''		)
											except ModuleNotFoundError:
																	return

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']    ,							)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					int													=	MecabTokenizer(do_lower_case=__SCREAMING_SNAKE_CASE    ,							mecab_dic='''ipadic'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップルストア''', '''で''', '''iphone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']    ,							)






					def      _snake_case   (       self		):


											"""simple docstring"""





											try:
																	lowercase_     :					str													=	MecabTokenizer(
																	    do_lower_case=__SCREAMING_SNAKE_CASE    ,							normalize_text=__SCREAMING_SNAKE_CASE    ,							mecab_option='''-d /usr/local/lib/mecab/dic/jumandic'''		)
											except RuntimeError:
																	# if dict doesn't exist in the system, previous code raises this error.
																	return

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']    ,							)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Union[str, Any]													=	MecabTokenizer(normalize_text=__SCREAMING_SNAKE_CASE    ,							mecab_dic='''ipadic'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''ｱｯﾌﾟﾙストア''', '''で''', '''iPhone''', '''８''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''　''', '''。''']    ,							)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Optional[int]													=	self.tokenizer_class(self.vocab_file    ,							word_tokenizer_type='''sudachi'''		)
											self.assertIsNotNone(__SCREAMING_SNAKE_CASE		)

											lowercase_     :					Any													=	'''こんにちは、世界。\nこんばんは、世界。'''
											lowercase_     :					int													=	tokenizer.tokenize(__SCREAMING_SNAKE_CASE		)
											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
											self.assertListEqual(tokenizer.convert_tokens_to_ids(__SCREAMING_SNAKE_CASE		)    ,							[3, 12, 10, 14, 4, 9, 12, 10, 14]		)

											lowercase_     :					Tuple													=	os.path.join(self.tmpdirname    ,							'''tokenizer.bin'''		)
											with open(__SCREAMING_SNAKE_CASE    ,							'''wb'''		) as handle:
																	pickle.dump(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)

											with open(__SCREAMING_SNAKE_CASE    ,							'''rb'''		) as handle:
																	lowercase_     :					Tuple													=	pickle.load(__SCREAMING_SNAKE_CASE		)

											lowercase_     :					int													=	tokenizer_new.tokenize(__SCREAMING_SNAKE_CASE		)

											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Dict													=	SudachiTokenizer(sudachi_dict_type='''core'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']    ,							)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Union[str, Any]													=	SudachiTokenizer(sudachi_dict_type='''core'''    ,							sudachi_split_mode='''A'''		)

											self.assertListEqual(tokenizer.tokenize('''外国人参政権'''		)    ,							['''外国''', '''人''', '''参政''', '''権''']		)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					List[str]													=	SudachiTokenizer(sudachi_dict_type='''core'''    ,							sudachi_split_mode='''B'''		)

											self.assertListEqual(tokenizer.tokenize('''外国人参政権'''		)    ,							['''外国人''', '''参政権''']		)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					str													=	SudachiTokenizer(sudachi_dict_type='''core'''    ,							sudachi_split_mode='''C'''		)

											self.assertListEqual(tokenizer.tokenize('''外国人参政権'''		)    ,							['''外国人参政権''']		)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Optional[Any]													=	SudachiTokenizer(do_lower_case=__SCREAMING_SNAKE_CASE    ,							sudachi_dict_type='''core'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							[''' ''', '''\t''', '''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', ''' ''', '''。''', ''' ''', ''' ''']    ,							)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Tuple													=	SudachiTokenizer(normalize_text=__SCREAMING_SNAKE_CASE    ,							sudachi_dict_type='''core'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							[''' ''', '''\t''', '''ｱｯﾌﾟﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', ''' ''', '''が''', ''' ''', ''' ''', '''\n ''', '''発売''', '''さ''', '''れ''', '''た''', '''\u3000''', '''。''', ''' ''', ''' ''']    ,							)






					@require_sudachi
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					str													=	SudachiTokenizer(trim_whitespace=__SCREAMING_SNAKE_CASE    ,							sudachi_dict_type='''core'''		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れ''', '''た''', '''。''']    ,							)






					@require_jumanpp
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					List[Any]													=	self.tokenizer_class(self.vocab_file    ,							word_tokenizer_type='''jumanpp'''		)
											self.assertIsNotNone(__SCREAMING_SNAKE_CASE		)

											lowercase_     :					List[Any]													=	'''こんにちは、世界。\nこんばんは、世界。'''
											lowercase_     :					Union[str, Any]													=	tokenizer.tokenize(__SCREAMING_SNAKE_CASE		)
											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							['''こんにちは''', '''、''', '''世界''', '''。''', '''こん''', '''##ばんは''', '''、''', '''世界''', '''。''']		)
											self.assertListEqual(tokenizer.convert_tokens_to_ids(__SCREAMING_SNAKE_CASE		)    ,							[3, 12, 10, 14, 4, 9, 12, 10, 14]		)

											lowercase_     :					List[str]													=	os.path.join(self.tmpdirname    ,							'''tokenizer.bin'''		)
											with open(__SCREAMING_SNAKE_CASE    ,							'''wb'''		) as handle:
																	pickle.dump(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)

											with open(__SCREAMING_SNAKE_CASE    ,							'''rb'''		) as handle:
																	lowercase_     :					Optional[Any]													=	pickle.load(__SCREAMING_SNAKE_CASE		)

											lowercase_     :					str													=	tokenizer_new.tokenize(__SCREAMING_SNAKE_CASE		)

											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)






					@require_jumanpp
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Tuple													=	JumanppTokenizer()

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']    ,							)






					@require_jumanpp
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					List[Any]													=	JumanppTokenizer(do_lower_case=__SCREAMING_SNAKE_CASE		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップル''', '''ストア''', '''で''', '''iphone''', '''8''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']    ,							)






					@require_jumanpp
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Any													=	JumanppTokenizer(normalize_text=__SCREAMING_SNAKE_CASE		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''ｱ''', '''ｯ''', '''ﾌ''', '''ﾟ''', '''ﾙ''', '''ストア''', '''で''', '''iPhone''', '''８''', '''\u3000''', '''が''', '''\u3000''', '''\u3000''', '''\u3000''', '''発売''', '''さ''', '''れた''', '''\u3000''', '''。''']    ,							)






					@require_jumanpp
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Tuple													=	JumanppTokenizer(trim_whitespace=__SCREAMING_SNAKE_CASE		)

											self.assertListEqual(
											    tokenizer.tokenize(''' \tｱｯﾌﾟﾙストアでiPhone８ が  \n 発売された　。  '''		)    ,							['''アップル''', '''ストア''', '''で''', '''iPhone''', '''8''', '''が''', '''発売''', '''さ''', '''れた''', '''。''']    ,							)






					@require_jumanpp
					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Union[str, Any]													=	JumanppTokenizer()

											self.assertListEqual(
											    tokenizer.tokenize('''ありがとうございますm(_ _)ｍ見つけるのが大変です。'''		)    ,							['''ありがとう''', '''ございます''', '''m(_ _)m''', '''見つける''', '''の''', '''が''', '''大変です''', '''。''']    ,							)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Tuple													=	['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こんにちは''', '''こん''', '''にちは''', '''ばんは''', '''##こん''', '''##にちは''', '''##ばんは''']

											lowercase_     :					List[str]													=	{}
											for i, token in enumerate(__SCREAMING_SNAKE_CASE		):
																	lowercase_     :					str													=	i
											lowercase_     :					Dict													=	WordpieceTokenizer(vocab=__SCREAMING_SNAKE_CASE    ,							unk_token='''[UNK]'''		)

											self.assertListEqual(tokenizer.tokenize(''''''		)    ,							[]		)

											self.assertListEqual(tokenizer.tokenize('''こんにちは'''		)    ,							['''こんにちは''']		)

											self.assertListEqual(tokenizer.tokenize('''こんばんは'''		)    ,							['''こん''', '''##ばんは''']		)

											self.assertListEqual(tokenizer.tokenize('''こんばんは こんばんにちは こんにちは'''		)    ,							['''こん''', '''##ばんは''', '''[UNK]''', '''こんにちは''']		)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					int													=	BertJapaneseTokenizer.from_pretrained('''nlp-waseda/roberta-base-japanese-with-auto-jumanpp'''		)
											lowercase_     :					Optional[Any]													=	tokenizer.subword_tokenizer

											lowercase_     :					str													=	subword_tokenizer.tokenize('''国境 の 長い トンネル を 抜ける と 雪国 であった 。'''		)
											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							['''▁国境''', '''▁の''', '''▁長い''', '''▁トンネル''', '''▁を''', '''▁抜ける''', '''▁と''', '''▁雪''', '''国''', '''▁であった''', '''▁。''']		)

											lowercase_     :					str													=	subword_tokenizer.tokenize('''こんばんは こんばん にち は こんにちは'''		)
											self.assertListEqual(__SCREAMING_SNAKE_CASE    ,							['''▁こん''', '''ばん''', '''は''', '''▁こん''', '''ばん''', '''▁に''', '''ち''', '''▁は''', '''▁こんにちは''']		)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Optional[Any]													=	self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese'''		)

											lowercase_     :					Optional[Any]													=	tokenizer.encode('''ありがとう。'''    ,							add_special_tokens=__SCREAMING_SNAKE_CASE		)
											lowercase_     :					Dict													=	tokenizer.encode('''どういたしまして。'''    ,							add_special_tokens=__SCREAMING_SNAKE_CASE		)

											lowercase_     :					Union[str, Any]													=	tokenizer.build_inputs_with_special_tokens(__SCREAMING_SNAKE_CASE		)
											lowercase_     :					Any													=	tokenizer.build_inputs_with_special_tokens(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)

											# 2 is for "[CLS]", 3 is for "[SEP]"
											assert encoded_sentence == [2] + text + [3]
											assert encoded_pair == [2] + text + [3] + text_a + [3]







@custom_tokenizers
class 			lowerCAmelCase__       (  lowerCamelCase_   ,						unittest.TestCase					):
					lowerCAmelCase_					       =					BertJapaneseTokenizer
					lowerCAmelCase_					       =					False






					def      _snake_case   (       self		):


											"""simple docstring"""





											super().setUp()

											lowercase_     :					Optional[Any]													=	['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

											lowercase_     :					List[str]													=	os.path.join(self.tmpdirname    ,							VOCAB_FILES_NAMES['''vocab_file''']		)
											with open(self.vocab_file    ,							'''w'''    ,							encoding='''utf-8'''		) as vocab_writer:
																	vocab_writer.write(''''''.join([x + '''\n''' for x in vocab_tokens]		)		)






					def      _snake_case   (       self    ,							**__SCREAMING_SNAKE_CASE		):


											"""simple docstring"""





											return BertJapaneseTokenizer.from_pretrained(self.tmpdirname    ,							subword_tokenizer_type='''character'''    ,							**__SCREAMING_SNAKE_CASE		)






					def      _snake_case   (       self    ,							__SCREAMING_SNAKE_CASE		):


											"""simple docstring"""





											lowercase_     :					Union[str, Any]													=	'''こんにちは、世界。 \nこんばんは、世界。'''
											lowercase_     :					int													=	'''こ ん に ち は 、 世 界 。 こ ん ば ん は 、 世 界 。'''
											return input_text, output_text






					def      _snake_case   (       self		):


											"""simple docstring"""





											pass  # TODO add if relevant






					def      _snake_case   (       self		):


											"""simple docstring"""





											pass  # TODO add if relevant






					def      _snake_case   (       self		):


											"""simple docstring"""





											pass  # TODO add if relevant






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					str													=	self.tokenizer_class(self.vocab_file    ,							subword_tokenizer_type='''character'''		)

											lowercase_     :					int													=	tokenizer.tokenize('''こんにちは、世界。 \nこんばんは、世界。'''		)
											self.assertListEqual(
											    __SCREAMING_SNAKE_CASE    ,							['''こ''', '''ん''', '''に''', '''ち''', '''は''', '''、''', '''世''', '''界''', '''。''', '''こ''', '''ん''', '''ば''', '''ん''', '''は''', '''、''', '''世''', '''界''', '''。''']		)
											self.assertListEqual(
											    tokenizer.convert_tokens_to_ids(__SCREAMING_SNAKE_CASE		)    ,							[3, 4, 5, 6, 7, 11, 9, 10, 12, 3, 4, 8, 4, 7, 11, 9, 10, 12]		)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					List[Any]													=	['''[UNK]''', '''[CLS]''', '''[SEP]''', '''こ''', '''ん''', '''に''', '''ち''', '''は''', '''ば''', '''世''', '''界''', '''、''', '''。''']

											lowercase_     :					Dict													=	{}
											for i, token in enumerate(__SCREAMING_SNAKE_CASE		):
																	lowercase_     :					Tuple													=	i
											lowercase_     :					Tuple													=	CharacterTokenizer(vocab=__SCREAMING_SNAKE_CASE    ,							unk_token='''[UNK]'''		)

											self.assertListEqual(tokenizer.tokenize(''''''		)    ,							[]		)

											self.assertListEqual(tokenizer.tokenize('''こんにちは'''		)    ,							['''こ''', '''ん''', '''に''', '''ち''', '''は''']		)

											self.assertListEqual(tokenizer.tokenize('''こんにちほ'''		)    ,							['''こ''', '''ん''', '''に''', '''ち''', '''[UNK]''']		)






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					List[str]													=	self.tokenizer_class.from_pretrained('''cl-tohoku/bert-base-japanese-char'''		)

											lowercase_     :					Optional[int]													=	tokenizer.encode('''ありがとう。'''    ,							add_special_tokens=__SCREAMING_SNAKE_CASE		)
											lowercase_     :					List[str]													=	tokenizer.encode('''どういたしまして。'''    ,							add_special_tokens=__SCREAMING_SNAKE_CASE		)

											lowercase_     :					List[str]													=	tokenizer.build_inputs_with_special_tokens(__SCREAMING_SNAKE_CASE		)
											lowercase_     :					List[str]													=	tokenizer.build_inputs_with_special_tokens(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)

											# 2 is for "[CLS]", 3 is for "[SEP]"
											assert encoded_sentence == [2] + text + [3]
											assert encoded_pair == [2] + text + [3] + text_a + [3]







@custom_tokenizers
class 			lowerCAmelCase__       (  unittest.TestCase					):






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					int													=	'''cl-tohoku/bert-base-japanese'''
											lowercase_     :					str													=	AutoTokenizer.from_pretrained(__SCREAMING_SNAKE_CASE		)
											self.assertIsInstance(__SCREAMING_SNAKE_CASE    ,							__SCREAMING_SNAKE_CASE		)







class 			lowerCAmelCase__       (  unittest.TestCase					):






					def      _snake_case   (       self		):


											"""simple docstring"""





											lowercase_     :					Optional[int]													=	'''cl-tohoku/bert-base-japanese'''
											with self.assertLogs('''transformers'''    ,							level='''WARNING'''		) as cm:
																	BertTokenizer.from_pretrained(__SCREAMING_SNAKE_CASE		)
																	self.assertTrue(
																	    cm.records[0].message.startswith(
																	        '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
																	        ''' is called from.'''		)		)
											lowercase_     :					Dict													=	'''bert-base-cased'''
											with self.assertLogs('''transformers'''    ,							level='''WARNING'''		) as cm:
																	BertJapaneseTokenizer.from_pretrained(__SCREAMING_SNAKE_CASE		)
																	self.assertTrue(
																	    cm.records[0].message.startswith(
																	        '''The tokenizer class you load from this checkpoint is not the same type as the class this function'''
																	        ''' is called from.'''		)		)





'''simple docstring'''







import warnings

from ...utils import logging
from .image_processing_donut import DonutImageProcessor


_lowercase			:  Any   							=	logging.get_logger(__name__)






class 			lowerCAmelCase__       (  lowerCamelCase_					):






					def __init__(       self    ,							*__SCREAMING_SNAKE_CASE    ,							**__SCREAMING_SNAKE_CASE		):


											"""simple docstring"""





											warnings.warn(
											    '''The class DonutFeatureExtractor is deprecated and will be removed in version 5 of Transformers. Please'''
											    ''' use DonutImageProcessor instead.'''    ,							__SCREAMING_SNAKE_CASE    ,							)
											super().__init__(*__SCREAMING_SNAKE_CASE    ,							**__SCREAMING_SNAKE_CASE		)



