字句解析の観点からC式を分析する

Question

私は宿題として字句解析プログラム（PHP）をコーディングしており、Cプログラムをトークン化する必要があります。

私が分析する必要がCコードからのコードのこの次の部分を有する： 次いでOPERATOR => +にトークン化う+e25.f12.e--、VARIABLE => e25それはエラーとしてそれを知らせるため.f12.e--をスキップします。今、私はそれが正しい動作であるかどうか、アルゴリズムが正しく動作しているかどうか、またはそれもトークン化する必要があるかどうかはわかりません（.f12.e--のトークン化を表示できますか？次のように

たとえば、次のコードは、トークン化する必要があります

コード：

xe,12.34e-25" ;;kjk 'a'"'"'/* dfh sfg fsg 
    sdgf sdf 






sdfvvs svd sdv 
*//*3rf 3rfg 3f 



e2f2efef*//*/*/*/ 

をトークン化：

var => xe 
operator => , 
constant => 12.34e-25 
string => " ;;kjk 'a'" 
string => '"' 
operator => * 
operator =>/

ありがとうございます。

Answer 1

+e25.f12.e 

tokenises：私は見

+ operator 
e25 identifier 
. operator 
f12 identifier 
. operator 
e identifier