文字列内の記号を確認する

Question

私は単純なDSLを実装しています。私が手にどこ

def tokenize(txt): 
    ... 
    return fmt, vars 

：私は次の関数を実装する必要が

{ 
    'name': 'John', 
    'city': 'Paris', 
    'more': 'xxx', 
    'data': 'yyy', 
    ... 
} 

：私は、次の入力文字列を持っている：

txt = 'Hi, my name is <<name>>. I was born in <<city>>.' 

をそして私は、次のデータを持っている

fmt = 'Hi, my name is {name}. I was born in {city}.' 
vars = ['name', 'city'] 

つまり、はstr.format()関数に渡すことができ、varsは検出されたトークンのリストです（データを検索できるようになりました。これはいくつかの名前空間に分割できるため、説明したよりも複雑になります）

この後

、フォーマットを処理することは簡単で、次のようになります。

get_paramsはデータの簡単な検索を実行すると、のようなものを返している

def expand(fmt, vars, data): 
    params = get_params(vars, data) 
    return fmt.format(params) 

：

params = { 
    'name': 'John', 
    'city': 'Paris', 
} 

マイquesti on：

tokenizeを実装するにはどうすればよいですか？ delitimersが<<と>>であることを知って、どのようにしてトークンを検出できますか？ regexesのために行くべきか、それとも簡単な道がありますか？

これはpystache、または.format自体がやっていることに似ていますが、私は軽量な実装が欲しいです。この段階では、堅牢性はあまり重要ではありません。

Answer 1

はい、これは正規表現のための完全なターゲットです。開始/終了の引用符を見つけ、中括弧で置き換え、シンボル名をリストに抽出します。あなたは法的なシンボルの堅実な記述をしていますか？

/\<\<([a-zA-Z]+[a-zA-Z0-9_]*)\>\>/ 

（これは先頭のアンダースコアを除きます）の検索が必要です。あなたは正規表現でそれに慣れていますか？

Answer 2

import re 

def tokenize(text): 
    found_variables = [] 
    def replace_and_capture(match): 
     found_variables.append(match.group(1)) 
     return "{{{}}}".format(match.group(1)) 
    return re.sub(r'<<([^>]+)>>', replace_and_capture, text), found_variables 

fmt, vars = tokenize('Hi, my name is <<name>>. I was born in <<city>>.') 
print(fmt) 
print(vars) 

# Output: 
# Hi, my name is {name}. I was born in {city}. 
# ['name', 'city']