'Test tokenization of segmented patterns.'

def test_tokenize_segmented_patterns(self):

    self.assertEqual(tgrep.tgrep_tokenize(u'S    <    @SBJ=s    <    (@VP=v    <    (@VB    $..    @OBJ))    :    =s    ..    =v'), [u'S', u'<', u'@SBJ', u'=', u's', u'<', u'(', u'@VP', u'=', u'v', u'<', u'(', u'@VB', u'$..', u'@OBJ', u')', u')', u':', u'=s', u'..', u'=v'])
