tokenize

1熱

1答えて

デバッグヘルプを求めていますが、なぜこのトークナイザが配列を正しくコピーしていないのですか？

この課題では、スペースを削除しながら文字列の内容を別の文字列にコピーするcでトークナイザ関数を作成する必要があります。次のトークンを探すべき位置を返します。トークンは、文字列または1つの演算子charです。私の試みでは、スペースを検出してバイパスするカウンタが、最初のトークンの後に結果文字列にコピーされる内容を何らかの方法で停止します。ここに私のコードは次のとおりです。 int checkOp

-2熱

1答えて

Pythonでトークン化する際に '__getitem__'エラーが発生する

私はテキストマイニングプロセスのための単語を解明しようとしています。私はCSVファイルを持っています。私のテキストデータは列名「Abstrac」で収集されました。だから私は次のコードを実行しようとしているが、私はエラー'file' object has no attribute '__getitem__'を取得します。 def get_tokens(): with open('scopu

-1熱

2答えて

strtok（）関数を使用したときのメモリ割り当て

strtok()を使用するたびに文字列のメモリを再割り当てする必要がありますか？私は、ファイルから行を読み込んでトークンに分割するプログラムを作成しているので、疑問に思っています。それぞれのトークンをcellという変数に格納したいとします。私は複数の文字列を作成し、それらをリンクリストに入れることができますが、それはプログラムにオーバーヘッドを増やすことになるので、できればそれを避けようとします。

0熱

1答えて

ElasticSearchでは、カスタムアナライザからのトークンはどのように表示されますか？

私は独自のフィルタとchar_filterでカスタムアナライザを作成しようとしています。アナライザ/フィルタ/ char_filterのコンボによって生成されたトークンをどのように見るかを理解できれば助かります。カスタムアナライザ、フィルタ、およびchar_filterを使用して特定の文字列から生成されたトークンを検査するために使用できるAPIクエリがありますか？

1熱

2答えて

AndroidのMultiAutoCompleteTextViewはwhatsappのようなカスタムトークナイザを持っていますGroupChat

私はwhatsppの機能として@ likeのカスタムトークナイザを作成したいと思います（グループを開いて@を開いてリストを開くとユーザーがany.alsoを選択できます）。は、私は私が発見したthings.butの多くを検索した検索機能Example like twitter、ユーザーがリストのポップアップウィンドウが表示されませんその後、@書き込むことができるとき。が、これでは、ユーザーは

0熱

1答えて

一度に1つの文字を解析するときにStringReader内の改行文字を認識

私はテキストファイルを解析し、後で処理するためにそれをトークン化しています。プログラムは、File.ReadAllText()を使用してテキストファイル全体をメモリに読み込んだ後、文字列全体をトークナイザに渡します。トークナイザは、テキストをStringReaderに配置し、一度に1文字ずつ処理します。現在は、不一致が発生するたびに基本的な構文エラーが生成されますが、エラーが発生した行番号を含め

1熱

2答えて

正規表現で文字列をトークン化する

abc def ghi jklのような文字列があるとします（簡略化のために最後にスペースを入れていますが、それは本当に問題ではありません）。そのチャンク abc def ghi jkl 文字列に1〜4個の「チャンク」がある場合に限り、これは次のようになります。私はすでに次の正規表現を試してみました：Regex101.comで ^([^ ]+){1,4}$ Regex101.co

0熱

2答えて

C++ tokenizerの '変数'のエラーstd :: stringstream mystreamに初期化子がありますが型が不完全です '

私はC++が新しく、数字のファイルから行を読み込み、行を文字列配列にトークン化して変換しようとしていますそれらの配列項目を倍精度の数値に変換します。しかしトークン化の過程で私はこのエラーを受け取ります。 ''変数 '' std :: stringstream mystream 'に初期化子がありますが、不完全な型' 'があります。私は他の人の提案を見てきましたが、私はブーストを使わずにそれをやりた

0熱

1答えて

はタイトルに続き、ApacheのSolrの

に新しいトークナイザのメソッドを追加し、私は私の問題は、私はそれについての文書を発見したことができないです http://mim.hus.vnu.edu.vn/phuonglh/softwares/vnTokenizer のApache Solrのに新しいトークナイザメソッドを追加します。出来ますか？

1熱

1答えて

「unknown tokenizer」で作成されたテーブルを削除しますか？

私はsqlite3データベースを持っています。このDB内の単一のテーブルを削除することはできません。エラーメッセージにはunknown tokenizer: mmと表示されます。最新のSQLiteSpy v1.9.11の中のコマンドDROP TABLE tablename;と、.NETコードと公式のsqlite NuGetパッケージv 1.0.103の中で直接試してみました。トークナイザが不明