どのように私は、文字列のラインを持っている

Question

意味のある単語にテキストの行を変換しますword_tokenizeですが、変換できませんでした。

コンテキスト：PDFファイルをテキストファイルに解析していますpdfコンバータから戻ってきて、pdfをテキストに変換しています。私はPDFminerを使っています。Python

Answer 1

再帰を使用してこの問題を解決できます。まず、あなたがここに来ることができ、辞書のtxtファイルをダウンロードしたいと思うでしょう：https://github.com/Ajax12345/My-Python-Projects/blob/master/the_file.txt

dictionary = [i.strip('\n') for i in open('the_file.txt')] 
def get_options(scrambled, flag, totals, last): 
    if flag: 
     return totals 

    else: 
     new_list = [i for i in dictionary if scrambled.startswith(i)] 
     if new_list: 

      possible_word = new_list[-1] 
      new_totals = totals 
      new_totals.append(possible_word) 
      new_scrambled = scrambled[len(possible_word):] 
      return get_options(new_scrambled, False, new_totals, possible_word) 

     else: 
      return get_options("", True, totals, '') 


s = "specificationsinaccordancewithqualityaccreditedstandards" 
print(' '.join(get_options(s, False, [], ''))) 

出力：

'specifications in accordance with quality accredited standards' 

Answer 2

trieを使うことができます。 trieは、単語の検証を可能にするデータ構造です。
これはツリーで、有効なプレフィックスのためにブランチをナビゲートし、完全な世界にヒットしたときに通知を受け取ります。

私はこれを "具体的に"使用したことはありませんが、私はこのpythonの実装であるdatrieを見つけました。

datrieをインポートしてtxt辞書（例：here）からtrieを生成し、その文字列を解析することを考えました。 trieで一致が見つかったときに文字ごとに文字を読み、合っていない単語を見つけたら分割語の文字列に追加します。

triehere on wikipediaまたはin this video（これはtrieが何であるかを教えてくれた人です）で詳細を見つけることができます。