cosine_similarity行列に必要なメモリを見積もる方法は？

Question

私はsklearn.metrics.pairwise.cosine_similarityで余弦行列を計算しようとしています。出力マトリックスは60k * 50kかもしれません。ただし、32GメモリのMemoryErrorを返します。サーバーにメモリを追加することを検討していますが、どれだけ必要なのかを見積もりたいと思います。

ありがとうございました。

Answer 1

必要なメモリの見積もりは、60,000 * 50,000 * 4バイト= 12ギガバイトです。浮動小数点の代わりに倍精度を使用している場合は、メモリの2倍の容量になります。