テキストファイルからトークンを抽出していますか？

Question

私はトークンとしてテキストファイルからテキストを抽出することができるようにしたいが - 例えば、私は文を含むテキストファイルを持っていると言う：

それは良いレストランだ、

は私を信じて！

「トークン」としてこのトークンの内容を抽出したいとします。たとえば、1つのトークンは「それ」、次のトークンは「」、それ以降は「a」、 「良い」、「レストラン」、次に「」、「\ n」、「信じる」、「」、「私」、「！だから私はそれを置く一つの方法は、トークンは言葉でも単語でもないということです。ここで

は、私がこれまで持っているものである（私はトークンがプログラムのどこかにある単語であるかどうかを確認し、この方法は、単に次のトークンを返す）：

public Token next() { 
    if (c == -1) { 
     throw new NoSuchElementException(); 
    } 

    Writer sw=new CharArrayWriter(); 
    try { 
     while (c != -1 && Character.isLetter(c)) { 
      sw.write(c); 
      c = r.read(); 
     } 
     while (c != -1 && !Character.isLetter(c)) { 
      c = r.read(); 
     } 
    } catch (IOException e) { 
     c = -1; 
     return null; 
    } 
    return null; 
} 

を今私が持っています私はライターをトークンとしてエクスポートする方法がわからないので、値を 'null'として返します。誰にもこれについてのヒントはありますか？ありがとうございました！

Answer 1

私は、Matcherクラスを使用したソリューションが問題を解決できると思います。

Matcher m = Pattern.compile("\\p{Alpha}+|\\p{Digit}+|\\p{Punct}+|\\p{Space}+").matcher("It's a good restaurant, believe me!"); 
while(m.find()) 
    System.out.println(">"+m.group()+"<"); 

たぶん、この正規表現は正しいものであることができなかったが、あなたはより良いものを構築することができます。パターンのマニュアルを参照してください：

http://docs.oracle.com/javase/6/docs/api/java/util/regex/Pattern.html

Answer 2

あなたのニーズに合ったScannerクラスを見てください。

http://docs.oracle.com/javase/6/docs/api/java/util/Scanner.html

あなたのファイルからスキャナを構築する場合、あなたはあなたのトークンを取得するためにnext()メソッドを使用することができます。