任意のエンコーディングをPythonのutf8に変換しますか？

Question

私はさまざまなウェブサイトからウェブページをクロールしており、さまざまなエンコードがあります。私が取得エンコーディングのサンプルがある -

• Big5の
• TIS-620
• UTF-16LE
• SHIFT_JIS
• EUC-JP
• MacCyrillic
• KOI8-R

より一般的なエンコーディングとは異なります。上記のエンコーディングを使用してデコードすることで、Webページのユニコードソースを取得できます。

私の質問はこれです：私はutf8としてすべてのファイルを保存したいと思います。 utf8を使用してユニコードソースをエンコードすると、すべてのWebページで使用できますか？ utf8はすべてのユニコードコードポイントをサポートしていますか？

Answer 1

短くて甘いとは言えません。はい！

Answer 2

はい、UTF-8は、より小さな整数がより少ないバイトを取るように、整数をバイト単位で格納する方法に過ぎません。その結果、128未満の値が1バイトに格納され、ASCIIはASCIIのままです。 UTF-8はすべてのUnicodeコードポイントを表すことができます。