def METHOD_NAME(self, cfg: DictConfig):
    tokenizer = AutoTokenizer.from_pretrained(
        cfg.tokenizer_name, vocab_file=cfg.vocab_file, do_lower_case=cfg.do_lower_case
    )
    self.tokenizer = tokenizer