regexesを使って単語境界で分割するにはどうすればよいですか？

Question

私はこれをやろうとしている：

import re 
sentence = "How are you?" 
print(re.split(r'\b', sentence)) 

結果は

[u'How are you?'] 

ている私は[u'How', u'are', u'you', u'?']ような何かをしたいです。これはどのように達成できますか？

Answer 1

残念ながら、Pythonは空の文字列で分割できません。

これを回避するには、splitの代わりにfindallを使用する必要があります。

実際には\bは単語境界を意味します。

(?<=\w)(?=\W)|(?<=\W)(?=\w)に相当します。意味

、次のコードは動作します：

import re 
sentence = "How are you?" 
print(re.findall(r'\w+|\W+', sentence)) 

Answer 2

import re 
split = re.findall(r"[\w']+|[.,!?;]", "How are you?") 
print(split) 

---

出力：

['How', 'are', 'you', '?'] 

---

Ideone Demo

Regex101 Demo

---

正規表現説明：

"[\w']+|[.,!?;]" 

    1st Alternative: [\w']+ 
     [\w']+ match a single character present in the list below 
      Quantifier: + Between one and unlimited times, as many times as possible, giving back as needed [greedy] 
      \w match any word character [a-zA-Z0-9_] 
      ' the literal character ' 
    2nd Alternative: [.,!?;] 
     [.,!?;] match a single character present in the list below 
      .,!?; a single character in the list .,!?; literally