PythonでUnicode文字列を補完するコードポイント

Question

unichr(0x10000)は、--enable-unicode=ucs4なしでcpythonをコンパイルするとValueErrorで失敗します。

任意のユニコードスカラー値またはコードポイントを、プログラムが実行されているPythonインタープリタの種類に関係なく動作するunicode文字列に変換する言語組み込み関数またはコアライブラリ関数はありますか？

Answer 1

はい、ここに行く：理解する

>>> unichr(0xd800)+unichr(0xdc00) 
u'\U00010000' 

重要なポイントは、unichr()はPythonインタプリタの文字列エンコーディングで単一のコード単位の整数に変換することです。それはUCS2 [0のいずれであってもよい - The Python Standard Library documentation for 2.7.3, 2. Built-in Functions, on unichr()が

リターンに、 Unicodeのコード整数iが1文字のUnicode文字列を読み込み....引数の有効範囲は、Pythonが設定されたかによって決まります。 .0xFFFF]またはUCS4 [0..0x10FFFF]。それ以外の場合はValueErrorが生成されます。

「1文字」に重点を置いて、それは"one code unit" in Unicode termsを意味します。

私はあなたがPython 2.xを使用していると仮定しています。 Python 3.xインタプリタには、組み込みのunichr()関数はありません。代わりThe Python Standard Library documentation for 3.3.0, 2. Built-in Functions, on chr()は

リターンに、UnicodeのコードポイントI ....引数の有効範囲は0から1,114,111（ベース16から0x10FFFF）によるものである整数である文字を表す文字列を読み出します。

戻り値は、コード単位が1つの文字列ではなく、不特定の長さの文字列になりました。したがって、Python 3.xでは、chr(0x10000)は期待どおりに動作します。これは、任意のUnicodeスカラ値またはコードポイントを、プログラムが実行されているPythonインタプリタの種類に関係なく動作するunicode文字列に変換します。

しかし、Python 2.xに戻る。 unichr()を使用してPython 2.x unicodeオブジェクトを作成し、0xFFFFより大きいUnicodeスカラー値を使用している場合は、Pythonインタプリタのunicodeオブジェクトの実装を認識するようにコードをコミットしています。

あなたはスカラー値でunichr()をしようとする機能で、この意識を分離することができ、ValueErrorをキャッチし、対応するUTF-16サロゲートペアを再試行します：

def unichr_supplemental(scalar): 
    try: 
     return unichr(scalar) 
    except ValueError: 
     return unichr(0xd800 + ((scalar-0x10000)//0x400)) \ 
       +unichr(0xdc00 + ((scalar-0x10000)% 0x400)) 

>>> unichr_supplemental(0x41),len(unichr_supplemental(0x41)) 
(u'A', 1) 
>>> unichr_supplemental(0x10000), len(unichr_supplemental(0x10000)) 
(u'\U00010000', 2) 

しかし、あなただけにそれが簡単に見つけるかもしれませんコード

>>> '\x00\x00\x00\x41'.decode('utf-32be'), \ 
... len('\x00\x00\x00\x41'.decode('utf-32be')) 
(u'A', 1) 
>>> '\x00\x01\x00\x00'.decode('utf-32be'), \ 
... len('\x00\x01\x00\x00'.decode('utf-32be')) 
(u'\U00010000', 2) 

：あなたのスカラーは4バイトのUTF-32、UTF-32バイトstringの値に変換し、unicode文字列にこのバイトstringをデコード上記のコードはUnicode文字列のためのUTF-16エンコーディングでPython 2.6.7でテストされました。私はUnicode文字列のためのUTF-32エンコーディングでPython 2.xインタープリターでそれをテストしませんでした。しかし、Python 2.xインタプリタでUnicode文字列を実装しても、それは変更されません。