ユニコード以外のコードでUTF-8ユニコードファイルを読み取る

Question

UTF-8エンコーディングでUnicodeであるテキストファイルを読み込んで、このデータを別のテキストファイルに書き込む必要があります。このファイルにはタブで区切られたデータが行単位で表示されます。

私の読書コードは、ユニコードをサポートしていないC++コードです。私がやっているのは、ファイルをstring/char*で1行ずつ読み込み、その文字列をそのまま出力先ファイルに置くことです。私はコード変更提案を歓迎しないようにコードを変更することはできません。

私が知りたいことは、行単位で読むときに、行内でNULL終了文字（ '\ 0'）が発生する可能性があります。これは、Unicodeであり、1文字が複数バイトにまたがることができるからです。

私の考えは、NULL終端文字が行内で遭遇する可能性が非常に高いということでした。あなたの考え？

Answer 1

UTF-8に設定上位ビットが標準と同じコード値を持つすべてのASCII文字、ために1つのバイトを使用していますASCIIエンコーディング、その他の文字は最大4バイトです。各バイトの上位ビットは制御ビットとして予約されています。 1バイト以上を使用するコード・ポイントの場合、制御ビットが設定されます。

したがって、UTF-8ファイルには0文字は含まれません。

チェックWikipedia for UTF-8

Answer 2

非常に低い：UTF-8エスケープシーケンス内のすべてのバイトが1