'Test tokenization of labeled nodes.'

def test_tokenize_node_labels(self):

    self.assertEqual(tgrep.tgrep_tokenize(u'S    <    @SBJ    <    (@VP    <    (@VB    $..    @OBJ))'), [u'S', u'<', u'@SBJ', u'<', u'(', u'@VP', u'<', u'(', u'@VB', u'$..', u'@OBJ', u')', u')'])
    self.assertEqual(tgrep.tgrep_tokenize(u'S    <    @SBJ=s    <    (@VP=v    <    (@VB    $..    @OBJ))'), [u'S', u'<', u'@SBJ', u'=', u's', u'<', u'(', u'@VP', u'=', u'v', u'<', u'(', u'@VB', u'$..', u'@OBJ', u')', u')'])
