tokenizer.setText(t1); TextToken token = tokenizer.nextToken();
tokenizer.setText(t2); TextToken token = tokenizer.nextToken(true);
	public static void main(String args[]) {		String t1 = "\u30A8\u31A1\uACFF\u2FAA\u312A\u3045";		String t2 = "为了有效地传播佛教，中文版的佛经必须被中国的信徒所读懂。";		String t3 = "문자 사용 상의 오류를 찾아내기 위해 검증된 중국어 판을 재검토하고, 보다 읽기 쉽게 하기 위해 언어적 표현을 다듬는다.";		SimpleTokenizer tokenizer = new SimpleTokenizer();		tokenizer.setText(t1);		TextToken token = tokenizer.nextToken();		while(token != null && token.getType() != TextToken.EOF) {			System.out.println(token.getText());			token = tokenizer.nextToken();		}	}