File size: 1,345 Bytes
e2b1d98
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
### Imports
import nltk
from nltk.tokenize import sent_tokenize
nltk.data.path.append("/nltk_data/")


class NltkSegmentizer:
    ##==========================================================================================================
    """
    Definition of attributes
    """

    ##==========================================================================================================
    """
    Function: __init__
    """
    def __init__(self):
        print("Initializing NltkSegmentizer object")
        nltk.download('punkt')
    ##==========================================================================================================
    """
    Function: segment_into_sentences
    """
    def segment_into_sentences(self, src_text="", _format=""):
        intermediate_result = None

        if isinstance(src_text, str):
            intermediate_result = sent_tokenize(src_text)
        elif isinstance(src_text, list):
            intermediate_result = list()

            for sent in src_text:
                intermediate_result.extend(sent_tokenize(sent))

        return intermediate_result
    ##==========================================================================================================

##==========================================================================================================