'Test tokenization of macro definitions.'

def test_tokenize_macros(self):

    self.assertEqual(tgrep.tgrep_tokenize(u'@    NP    /^NP/;\n@    NN    /^NN/;\n@NP    [!<    NP    |    <    @NN]    !$..    @NN'), [u'@', u'NP', u'/^NP/', u';', u'@', u'NN', u'/^NN/', u';', u'@NP', u'[', u'!', u'<', u'NP', u'|', u'<', u'@NN', u']', u'!', u'$..', u'@NN'])
