'Simple test of tokenization.'

def test_tokenize_simple(self):

    tokens = tgrep.tgrep_tokenize(u'A    ..    (B    !<    C    .    D)    |    ![<<    (E    ,    F)    $    G]')
    self.assertEqual(tokens, [u'A', u'..', u'(', u'B', u'!', u'<', u'C', u'.', u'D', u')', u'|', u'!', u'[', u'<<', u'(', u'E', u',', u'F', u')', u'$', u'G', u']'])
