class_docstr: Prepossesses Latin text for prose rhythm analysis.
docstr: Tokenize text on supplied characters.
  "Puella bona est. Puer malus est." ->
  [ [{word: puella, syllables: [...], index: 0}, ... ], ... ]
  :return:list
  
  >>> Scansion().tokenize('puella bona est. puer malus est.')
  [{'plain_text_sentence': 'puella bona est', 'structured_sentence': [{'word': 'puella', 'index': 0, 'syllables': [{'syllable': 'pu', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}, {'syllable': 'el', 'index': 1, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': True}, {'syllable': 'la', 'index': 2, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}], 'syllables_count': 3}, {'word': 'bona', 'index': 1, 'syllables': [{'syllable': 'bo', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': True}, {'syllable': 'na', 'index': 1, 'elide': (True, 'weak'), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}], 'syllables_count': 2}, {'word': 'est', 'index': 2, 'syllables': [{'syllable': 'est', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': True}], 'syllables_count': 1}]}, {'plain_text_sentence': ' puer malus est', 'structured_sentence': [{'word': 'puer', 'index': 0, 'syllables': [{'syllable': 'pu', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': True}, {'syllable': 'er', 'index': 1, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': False}], 'syllables_count': 2}, {'word': 'malus', 'index': 1, 'syllables': [{'syllable': 'ma', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': True}, {'syllable': 'lus', 'index': 1, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}], 'syllables_count': 2}, {'word': 'est', 'index': 2, 'syllables': [{'syllable': 'est', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': True}], 'syllables_count': 1}]}, {'plain_text_sentence': '', 'structured_sentence': []}]
docstr_tok: ["Tokenize","text","on","supplied","characters",".","``","Puella","bona","est",".","Puer","malus","est",".","''","-",">","[","[","{","word",":","puella",",","syllables",":","[","...","]",",","index",":","0","}",",","...","]",",","...","]",":","return",":","list",">",">",">","Scansion","(",")",".tokenize","(","'puella","bona","est",".","puer","malus","est",".","'",")","[","{","'plain_text_sentence","'",":","'puella","bona","est","'",",","'structured_sentence","'",":","[","{","'word","'",":","'puella","'",",","'index","'",":","0",",","'syllables","'",":","[","{","'syllable","'",":","'pu","'",",","'index","'",":","0",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","False","}",",","{","'syllable","'",":","'el","'",",","'index","'",":","1",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","True",",","None",")",",","'accented","'",":","True","}",",","{","'syllable","'",":","'la","'",",","'index","'",":","2",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","False","}","]",",","'syllables_count","'",":","3","}",",","{","'word","'",":","'bona","'",",","'index","'",":","1",",","'syllables","'",":","[","{","'syllable","'",":","'bo","'",",","'index","'",":","0",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","True","}",",","{","'syllable","'",":","'na","'",",","'index","'",":","1",",","'elide","'",":","(","True",",","'weak","'",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","False","}","]",",","'syllables_count","'",":","2","}",",","{","'word","'",":","'est","'",",","'index","'",":","2",",","'syllables","'",":","[","{","'syllable","'",":","'est","'",",","'index","'",":","0",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","True",",","None",")",",","'accented","'",":","True","}","]",",","'syllables_count","'",":","1","}","]","}",",","{","'plain_text_sentence","'",":","'","puer","malus","est","'",",","'structured_sentence","'",":","[","{","'word","'",":","'puer","'",",","'index","'",":","0",",","'syllables","'",":","[","{","'syllable","'",":","'pu","'",",","'index","'",":","0",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","True","}",",","{","'syllable","'",":","'er","'",",","'index","'",":","1",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","True",",","None",")",",","'accented","'",":","False","}","]",",","'syllables_count","'",":","2","}",",","{","'word","'",":","'malus","'",",","'index","'",":","1",",","'syllables","'",":","[","{","'syllable","'",":","'ma","'",",","'index","'",":","0",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","True","}",",","{","'syllable","'",":","'lus","'",",","'index","'",":","1",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","False",",","None",")",",","'accented","'",":","False","}","]",",","'syllables_count","'",":","2","}",",","{","'word","'",":","'est","'",",","'index","'",":","2",",","'syllables","'",":","[","{","'syllable","'",":","'est","'",",","'index","'",":","0",",","'elide","'",":","(","False",",","None",")",",","'long_by_nature","'",":","False",",","'long_by_position","'",":","(","True",",","None",")",",","'accented","'",":","True","}","]",",","'syllables_count","'",":","1","}","]","}",",","{","'plain_text_sentence","'",":","``",",","'structured_sentence","'",":","[","]","}","]"]
code: def tokenize(self, text: str) -> List[Dict]:
      """
      Tokenize text on supplied characters.
      "Puella bona est. Puer malus est." ->
      [ [{word: puella, syllables: [...], index: 0}, ... ], ... ]
      :return:list
  
      >>> Scansion().tokenize('puella bona est. puer malus est.')
      [{'plain_text_sentence': 'puella bona est', 'structured_sentence': [{'word': 'puella', 'index': 0, 'syllables': [{'syllable': 'pu', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}, {'syllable': 'el', 'index': 1, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': True}, {'syllable': 'la', 'index': 2, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}], 'syllables_count': 3}, {'word': 'bona', 'index': 1, 'syllables': [{'syllable': 'bo', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': True}, {'syllable': 'na', 'index': 1, 'elide': (True, 'weak'), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}], 'syllables_count': 2}, {'word': 'est', 'index': 2, 'syllables': [{'syllable': 'est', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': True}], 'syllables_count': 1}]}, {'plain_text_sentence': ' puer malus est', 'structured_sentence': [{'word': 'puer', 'index': 0, 'syllables': [{'syllable': 'pu', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': True}, {'syllable': 'er', 'index': 1, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': False}], 'syllables_count': 2}, {'word': 'malus', 'index': 1, 'syllables': [{'syllable': 'ma', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': True}, {'syllable': 'lus', 'index': 1, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (False, None), 'accented': False}], 'syllables_count': 2}, {'word': 'est', 'index': 2, 'syllables': [{'syllable': 'est', 'index': 0, 'elide': (False, None), 'long_by_nature': False, 'long_by_position': (True, None), 'accented': True}], 'syllables_count': 1}]}, {'plain_text_sentence': '', 'structured_sentence': []}]
      """
  
      tokenized_sentences = text.split(".")
  
      tokenized_text = []
      for sentence in tokenized_sentences:
          sentence_dict = {}
          sentence_dict["plain_text_sentence"] = sentence
          sentence_dict["structured_sentence"] = self._tokenize_words(
              sentence
          )
          tokenized_text.append(sentence_dict)
  
      return tokenized_text
  
file_path: cltk/src/cltk/prosody/lat/scanner.py
imports: from typing import Dict, List
  from cltk.prosody.lat.syllabifier import Syllabifier
label_desc: Use image node_id 4 for calling the Scansion obj's underlying member method code with example usage: obj.tokenize(text) and returns: tokenized_text