Pythonで文字列に反復的に追加する有効な方法はありますか？

Question

私は、指定された句読点を無視して、テキストを単語に分割するPython関数を書いています。ここにいくつかの作業コードがあります。私はリストから文字列を構築することは効率的であると確信していません（コード中のbuf = []）。誰かがこれを行うためのよりよい方法の提案をしていますか？

def getwords(text, splitchars=' \t|!?.;:"'): 
    """ 
    Generator to get words in text by splitting text along specified splitchars 
    and stripping out the splitchars:: 

     >>> list(getwords('this is some text.')) 
     ['this', 'is', 'some', 'text'] 
     >>> list(getwords('and/or')) 
     ['and', 'or'] 
     >>> list(getwords('one||two')) 
     ['one', 'two'] 
     >>> list(getwords(u'hola unicode!')) 
     [u'hola', u'unicode'] 
    """ 
    splitchars = set(splitchars) 
    buf = [] 
    for char in text: 
     if char not in splitchars: 
      buf.append(char) 
     else: 
      if buf: 
       yield ''.join(buf) 
       buf = [] 
    # All done. Yield last word. 
    if buf: 
     yield ''.join(buf) 

Answer 1

を使用することができます

re.split('[\s|!\?\.;:"]', text) 

しかし、テキストが非常に大きい場合、結果の配列が多すぎるメモリを消費している可能性があります。次に、あなたはre.finditerを検討するかもしれません：

import re 
def getwords(text, splitchars=' \t|!?.;:"'): 
    words_iter = re.finditer(
    "([%s]+)" % "".join([("^" + c) for c in splitchars]), 
    text) 
    for word in words_iter: 
    yield word.group() 

# a quick test 
s = "a:b cc? def...a||" 
words = [x for x in getwords(s)] 
assert ["a", "b", "cc", "def", "a"] == words, words 

Answer 2

re.splitを使用したくないですか？ Pythonで文字列を連結し、同様に彼らのパフォーマンスを評価するいくつかの方法について

import re 
re.split("[,; ]+", "coucou1 , coucou2;coucou3") 

Answer 3

http://www.skymind.com/~ocrow/python_string/会談。

Answer 4

あなたはre.split()を使用して入力を分割することができます：

>>> splitchars=' \t|!?.;:"' 
>>> re.split("[%s]" % splitchars, "one\ttwo|three?four") 
['one', 'two', 'three', 'four'] 
>>> 

はEDIT：あなたのsplitcharsは]または^などの特殊文字が含まれている可能性がある場合、あなたはあなたがre.splitを使用することができますre.escpae()

>>> re.escape(splitchars) 
'\\ \\\t\\|\\!\\?\\.\\;\\:\\"' 
>>> re.split("[%s]" % re.escape(splitchars), "one\ttwo|three?four") 
['one', 'two', 'three', 'four'] 
>>>