SQLAlchemy/MySQLバイナリBLOBはutf-8でエンコードされていますか？

Question

私はファイルを格納するfilesテーブルとSQLAlchemyとMySQLを使用しています。ファイルが格納されている場所のタイプMEDIUMBLOBの

mysql> show full columns in files; 
+---------+--------------+-----------------+------+-----+---------+-------+---------------------------------+---------+ 
| Field | Type   | Collation  | Null | Key | Default | Extra | Privileges      | Comment | 
+---------+--------------+-----------------+------+-----+---------+-------+---------------------------------+---------+ 
| id  | varchar(32) | utf8_general_ci | NO | PRI | NULL |  | select,insert,update,references |   | 
| created | datetime  | NULL   | YES |  | NULL |  | select,insert,update,references |   | 
| updated | datetime  | NULL   | YES |  | NULL |  | select,insert,update,references |   | 
| content | mediumblob | NULL   | YES |  | NULL |  | select,insert,update,references |   | 
| name | varchar(500) | utf8_general_ci | YES |  | NULL |  | select,insert,update,references |   | 
+---------+--------------+-----------------+------+-----+---------+-------+---------------------------------+---------+ 

コンテンツ列は次のようにそのテーブルが定義されています。私はSQLAlchemyののBINARYタイプとLargeBinaryタイプの違いについてかなりわからない

__maxsize__ = 12582912 # 12MiB                                
content = Column(LargeBinary(length=__maxsize__))       

：SQLAlchemyのでは、その列は次のように宣言されています。または、MySQLのVARBINARYタイプとBLOBタイプの違い。それが重要かどうかは私には分かりません。

質問：私はそのテーブルの実際のバイナリファイルを保存するたびに、Pythonのbytesまたはb''オブジェクト、すなわち、私は次の警告

.../python3.4/site-packages/sqlalchemy/engine/default.py:451: Warning: Invalid utf8 character string: 'BCB121' 
    cursor.execute(statement, parameters) 

を得る私は警告を無視したくありませんしかし、それはファイルが触れているようです。この警告を正常に処理するにはどうすればよいのでしょうか？

サイドノート：This question関連しているように思われ、UTF-8（this answer）にすべて入ってくるデータを変換しようとすると、MySQLのバグのようです。

Answer 1

これはドライバの問題であることが判明しました。どうやら、デフォルトのMySQLドライバはPy3とutf8をサポートしています。 cymysqlを仮想Python環境にインストールするとこの問題は解決され、警告が消えます。

修正： MySQLがソケットまたはポート（hereを参照）で接続しているかどうかを確認し、それに応じて接続文字列を変更します。

mysql+cymysql://user:pwd@localhost/database?unix_socket=/var/run/mysqld/mysqld.sock 

そうport引数を使用します。私の場合、ソケット接続を使用して。

編集：上記のコードではエンコードの問題が修正されましたが、もう1つはブロブサイズになりました。 a bug in CyMySQLのBLOBが8Mを超えると、コミットに失敗します。その問題を解決したPyMySQLに切り替えましたが、大きなブロブを持つsimilar issueがあるようです。

Answer 2

確かにわかりませんが、あなたの問題は、数年前にPython 2.7であったものと同じルーツを持っている可能性があります：https://stackoverflow.com/a/9535736/68998。簡単に言えば、真のバイナリ文字列やバイナリ照合のテキスト（大文字小文字を区別するutf8照合の欠如のために使用される）で作業している場合、Mysqlのインターフェイスはあなたに確信させません。いくつかの（とても楽しいバイナリフラグを持っていないフィールドだけデコードを

• リターンバイナリ文字列など、すべての文字列フィールドを、そして
• あなたにデコードを残す：したがって、結合MySQLは、以下のオプションがありますフィールドのunicode、他方がstrある）
• は、すべての文字列フィールドにunicodeに復号を強制するためのオプションを持っています、でも本当のバイナリ

私の推測では、あなたのケースでは、第3のオプションはどこかに私が有効になっていることですn基になるMysqlバインディング最初の容疑者は接続文字列（接続パラメータ）です。