str.translateをUnicode文字列で動作させるにはどうすればよいですか？

Question

私は次のコードを持っている：

import string 
def translate_non_alphanumerics(to_translate, translate_to='_'): 
    not_letters_or_digits = u'!"#%\'()*+,-./:;<=>?@[\]^_`{|}~' 
    translate_table = string.maketrans(not_letters_or_digits, 
             translate_to 
             *len(not_letters_or_digits)) 
    return to_translate.translate(translate_table) 

非Unicode文字列のための素晴らしい作品：

>>> translate_non_alphanumerics('<foo>!') 
'_foo__' 

しかし、Unicode文字列で失敗を：

>>> translate_non_alphanumerics(u'<foo>!') 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "<stdin>", line 5, in translate_non_alphanumerics 
TypeError: character mapping must return integer, None or unicode 

私はいずれかを作ることができませんstr.translate（）メソッドのPython 2.6.2 docsの「Unicodeオブジェクト」に関する段落の意味

この作業はどのようにUnicode文字列にするのですか？

Answer 1

translateのUnicode版では、Unicodeの序数からUnicodeの序数に（ordで1文字を取り出すことができる）Unicode序数へのマッピングが必要です。文字を削除する場合は、Noneにマップします。

私はあなたに変換したいの序にすべての文字の順序をマッピングする辞書構築するためにあなたの関数を変更：

def translate_non_alphanumerics(to_translate, translate_to=u'_'): 
    not_letters_or_digits = u'!"#%\'()*+,-./:;<=>?@[\]^_`{|}~' 
    translate_table = dict((ord(char), translate_to) for char in not_letters_or_digits) 
    return to_translate.translate(translate_table) 

>>> translate_non_alphanumerics(u'<foo>!') 
u'_foo__' 

編集：それは変換マッピングからマッピングしなければならないことが判明しUnicode序数（ord経由）を別のUnicode序数、Unicode文字列、またはNone（削除する）のいずれかに変更します。したがって、translate_toのデフォルト値をUnicodeリテラルに変更しました。たとえば：

>>> translate_non_alphanumerics(u'<foo>!', u'bad') 
u'badfoobadbad' 

Answer 2

私は私の元の関数の次の組み合わせを思い付いたとMikeのUnicodeとASCII文字列で動作するバージョン：

def translate_non_alphanumerics(to_translate, translate_to=u'_'): 
    not_letters_or_digits = u'!"#%\'()*+,-./:;<=>?@[\]^_`{|}~' 
    if isinstance(to_translate, unicode): 
     translate_table = dict((ord(char), unicode(translate_to)) 
           for char in not_letters_or_digits) 
    else: 
     assert isinstance(to_translate, str) 
     translate_table = string.maketrans(not_letters_or_digits, 
              translate_to 
               *len(not_letters_or_digits)) 
    return to_translate.translate(translate_table) 

更新：translate_toに 『強要』ユニコードのユニコードtranslate_table。ありがとうマイク。 STRとUnicodeの両方のオブジェクト上で動作します簡単なハック、 については

Answer 3

）（翻訳し実行する前にUnicodeに変換テーブルを変換：

import string 
def translate_non_alphanumerics(to_translate, translate_to='_'): 
    not_letters_or_digits = u'!"#%\'()*+,-./:;<=>?@[\]^_`{|}~' 
    translate_table = string.maketrans(not_letters_or_digits, 
             translate_to 
             *len(not_letters_or_digits)) 
    translate_table = translate_table.decode("latin-1") 
    return to_translate.translate(translate_table) 

ここでキャッチは、それは暗黙的にすべてのstrオブジェクトに変換するということですto_translateにASCII以外の文字が含まれていると、エラーがスローされます。

Answer 4

代わりに交換する必要があるすべての文字を指定するのでそうのように、あなたも、それを他の方法で回避を表示して、代わりに、有効な文字のみを指定することができます。

import re 

def replace_non_alphanumerics(source, replacement_character='_'): 
    result = re.sub("[^_a-zA-Z0-9]", replacement_character, source) 

    return result 

これはで動作しますがユニコードと通常の文字列を使用し、型を保存します（replacement_characterとsourceの両方が同じ型の場合は明らかです）。

Answer 5

このバージョンでは、相対的に他の

def trans(to_translate): 
    tabin = u'привет' 
    tabout = u'тевирп' 
    tabin = [ord(char) for char in tabin] 
    translate_table = dict(zip(tabin, tabout)) 
    return to_translate.translate(translate_table) 

Answer 6

に自分の手紙を作ることができ、私はどこのpython 2であることが分かりました。あなたは多分、これは便利です

table = {ord(s): d for s, d in zip("123", "abc")} 
print("135".translate(table)) 

を書きますのpython 3.6で

table = {ord(s): unicode(d) for s, d in zip("123", "abc")} 
print u"135".translate(table) 

を言うunicode 7は、タイプstrで、あなたはタイプとのに対し

import string 
table = string.maketrans("123", "abc") 
print "135".translate(table) 

を記述します。