      LIKE_NUM
      LIKE_EMAIL
      IS_STOP
      IS_OOV
     
      FLAG14 = 14
      FLAG15
      FLAG16
      FLAG17
      FLAG18
      FLAG19
      FLAG20
      FLAG21
      FLAG22
      FLAG23
 
</s> remove         freq, doc_freq, key = line.split('\t', 2)
 </s> add         freq, doc_freq, key = line.rstrip().split('\t', 2) </s> remove         freq, doc_freq, key = line.split('\t', 2)
 </s> add         freq, doc_freq, key = line.rstrip().split('\t', 2) </s> remove     "FLAG14": FLAG14,
    "FLAG15": FLAG15,
    "FLAG16": FLAG16,
    "FLAG17": FLAG17,
 </s> add     "IS_BRACKET": IS_BRACKET,
    "IS_QUOTE": IS_QUOTE,
    "IS_LEFT_PUNCT": IS_LEFT_PUNCT,
    "IS_RIGHT_PUNCT": IS_RIGHT_PUNCT, </s> remove # Move these up to FLAG14--FLAG18 once we finish the functionality and
# are ready to regenerate the model
#IS_BRACKET
#IS_QUOTE
#IS_LEFT_PUNCT
#IS_RIGHT_PUNCT
 </s> add 
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
      LIKE_NUM
      LIKE_EMAIL
      IS_STOP
      IS_OOV
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
    IS_BRACKET
    IS_QUOTE
    IS_LEFT_PUNCT
    IS_RIGHT_PUNCT

    FLAG18 = 18
      FLAG19
      FLAG20
      FLAG21
      FLAG22
      FLAG23
keep keep keep keep replace replace replace replace replace replace keep keep keep keep keep
 introduce lang field for LexemeC to hold language id
put noun_chunk logic into iterators.py for each language separately 
spacy/attrs.pxd