lexical-analysis

2熱

1答えて

テキストファイルから（is、are、am、was etc）のような一般的な単語を削除する必要があります。どのようなJavaでそれを行うの効率的な方法は何ですか？

-1熱

1答えて

スキャナ（Flexを使用して実装されている）が一度にすべてのトークンを認識しないパーサーを実装しています。入力から最初のトークンを取り出して終了するだけです。誰かが私を助けてくださいこれを整理することができます。ここに私の ".lex" ファイルです：私はabc;として入力を与えるたとえば %{ /* need this for the call to atof() below */ #inc

0熱

2答えて

"Ad Hoc"字句解析ツール

プロジェクトでは、ファイルから読み込まれた偽のプログラミング言語用の単純な字句解析ツールを作成しようとしています。私はその週の早い段階で、このようなプログラムをどのように実装することができるかを尋ねました。入力バッファと2つの出力バッファを作成します。 2つのループを初期化し、トークンの開始点を見つけるまでそれらを増分します。いったん開始点を見つけたら、空白または記号が見つかるまで2番目のループ

2熱

2答えて

より効率的な方法は、スペースで区切られた文字列をPythonで分割しますか？

最近、私はPythonでの作業を分析するnginxのアクセスログを扱っています。私は、ログの2000行を解析し、this に応じしかし、それは本当に遅いですshlexを使用してスペースで引用符で囲まれた文字列を分割する方法は1.2秒以上の費用がかかることがわかりました。私のnginxサーバーは毎秒2500本以上の回線を生成します。私はre以上のネイティブ（無礼な）方法で文字列をインデックスして

4熱

1答えて

PHPで韻を検出するための英文テキストの分析

これが可能かどうかはわかりませんが、いくつかの文章を分析して文章があるかどうかを判断する方法（あらかじめ書かれたライブラリまたは既知の科学的検出スキーム）韻？同僚は、最初と最後の単語を比較し、シソーラスを使用するように提案しましたが、それがどのように機能するかはわかりません。高精度は私が目指しているものではなく、20％の精度ですばらしいものになります。ちょっとしたウェブアプリケーションのアイデア

4熱

2答えて

実行時にコンパイラが行番号を処理する方法エラーメッセージ

ほとんどのコンパイラはエラーメッセージとともに行番号を返します。私はコンパイラの設計の観点からは、どのようにコンパイラは、次の異なるフェーズの観点から行番号メッセージを処理するのだろうか？ありがとう。スキャナパーサ ASTデータ構造コード生成、追加で：実行時環境マシンインタプリタ

0熱

1答えて

フレックスを使用してCコードの字句とトークンを印刷する

字句解析ツール "flex"を使って字句を出力しようとしています。問題は字句があり、字句ではなくトークンを印刷できます。これはあなたが私は字句解析を行う際に、このにyylex（）関数は、「ヌル」を返し、それは私があれば喜んでいるでしょう example5.l:8:1: warning: format ‘%s’ expects argument of type ‘char *’, but argum

1熱

1答えて

Javaを使用してインタープリタを作成するツール

現在、私のコンパイラが読む言語は、java.C++を使用してコンパイラを作成する方法に関するツール（ソフトウェアプログラムまたはフレームワークのいずれか）を探しています。私は既にGUIを準備しています。しかし、私はまだコンパイラの作成を開始する手掛かりがありません。誰かが私に、実際の正確なソースコードを探すのではなく、字句解析、構文解析、意味解析を行うコンパイラを作成するヒントやアルゴリズムを探

0熱

2答えて

Cのレキシカルアナライザコード

私はVisual C++用のVisual Studio 2010を使用していますが、Cプログラミング用のレキシカルアナライザのコードを実装しましたが、 "型指定子がありません - 私のコードに何か問題がありますか？または私はちょうどコンパイラを変更する必要がありますか？ 25次語彙素である（次のトークンである：ここでこのは、次のトークンが出力になるように仮定されている総符号この例のように

3熱

2答えて

Flex（Fast Lexical Analyzer）を使用してアンレックスする方法は？

Flexを使用してトークンを入力ストリームに戻す方法はありますか？私はyyunlex()のようないくつかの機能を想像しています。