リンケージ行列値エラー：配列を持つ配列要素を設定する

Question

enter image description hereテキスト解析用に作成したトピックモデルの出力に対して、numpyとscipyを使って階層的クラスタリングを行っています。

私はテストコードをldamodelに適用したので、それは単語の表記になりました。その後私はそれを行列に変換しました。今、私はマトリックスのリンケージマトリックスを作るためにscipyを使いたいと思っています。しかし、それは値エラーを与える：配列要素をシーケンスで設定する。 これは、等しく整形された配列だけがクラスタ化できるためです。私の行列は、リストのリスト内のリスト間の長さに違いがあります。 私は今これを解決する方法はありません。 コードの一部です。それが役に立つのかどうかわかりません。私は本当に誰かが私を助けることを願っています。

import numpy as np 
    X = np.array(corpus) 
    from matplotlib import pyplot as plt 
    from scipy.cluster.hierarchy import dendrogram, linkage 
    Z = linkage(X, 'cosine') 

Answer 1

あなたはLDAモデルから行列Xを取得言及しただろうと、それはある種の疎行列であるかもしれません。密度の高い行列に変換するにはX.todense()でlinkageメソッドを適用します。行列が大きすぎてメモリに格納できない場合は、 Z=linkage(X.todense(),distance='cosine')のようにします。

場合によっては、行列のdtypeを変更すると役立ちます。

P.S：私も同じ問題に直面し、私の疎なフィーチャマトリックス（scipy.sparse.csrマトリックス）を高密度に変換して問題を解決しました。