'Test tokenization of the TGrep2 manual example patterns.'

def test_tokenize_examples(self):

    self.assertEqual(tgrep.tgrep_tokenize(u'NP    <    PP'), [u'NP', u'<', u'PP'])
    self.assertEqual(tgrep.tgrep_tokenize(u'/^NP/'), [u'/^NP/'])
    self.assertEqual(tgrep.tgrep_tokenize(u'NP    <<    PP    .    VP'), [u'NP', u'<<', u'PP', u'.', u'VP'])
    self.assertEqual(tgrep.tgrep_tokenize(u'NP    <<    PP    |    .    VP'), [u'NP', u'<<', u'PP', u'|', u'.', u'VP'])
    self.assertEqual(tgrep.tgrep_tokenize(u'NP    !<<    PP    [>    NP    |    >>    VP]'), [u'NP', u'!', u'<<', u'PP', u'[', u'>', u'NP', u'|', u'>>', u'VP', u']'])
    self.assertEqual(tgrep.tgrep_tokenize(u'NP    <<    (PP    .    VP)'), [u'NP', u'<<', u'(', u'PP', u'.', u'VP', u')'])
    self.assertEqual(tgrep.tgrep_tokenize(u"NP    <'    (PP    <,    (IN    <    on))"), [u'NP', u"<'", u'(', u'PP', u'<,', u'(', u'IN', u'<', u'on', u')', u')'])
    self.assertEqual(tgrep.tgrep_tokenize(u'S    <    (A    <    B)    <    C'), [u'S', u'<', u'(', u'A', u'<', u'B', u')', u'<', u'C'])
    self.assertEqual(tgrep.tgrep_tokenize(u'S    <    ((A    <    B)    <    C)'), [u'S', u'<', u'(', u'(', u'A', u'<', u'B', u')', u'<', u'C', u')'])
    self.assertEqual(tgrep.tgrep_tokenize(u'S    <    (A    <    B    <    C)'), [u'S', u'<', u'(', u'A', u'<', u'B', u'<', u'C', u')'])
    self.assertEqual(tgrep.tgrep_tokenize(u'A<B&.C'), [u'A', u'<', u'B', u'&', u'.', u'C'])
