SKlearn Tfidfvectorizer with Keras：予想されるdense_input_1の形状が

Question

SKLearn TfidfvectorizerとKerasを組み合わせようとしていますが、次のエラーが発生しました： 例外：モデル入力をチェックしているときにエラーが発生しました：dense_input_1 126）の形をしていますが、形が整っています（700,116）

マトリックスの形状と関係がありますが、解決方法がわかりません。

vectorizer = TfidfVectorizer(analyzer=self.identity, use_idf=True, max_features=2000) 

#a list of sentences 
x_train_vec = vectorizer.fit_transform(x_train).toarray() 
x_test_vec = vectorizer.fit_transform(self.x_test[i]).toarray() 

#labels 
y_train = np_utils.to_categorical(y_train, self.nb_classes) 
y_test = np_utils.to_categorical(y_test, self.nb_classes) 

#get model 
model = self.build_model(x_train_vec.shape[1]) 
model.fit(x_train_vec, y_train, nb_epoch=self.n_epochs, batch_size=self.batch_size, shuffle='batch', verbose=1, validation_data=(x_test_vec, y_test),) 

ビルドモデル：

def build_model(self, nb_features): 
    print("Building model...") 

    model = Sequential() 
    model.add(Dense(input_dim = nb_features, output_dim = self.hidden_units_1)) 
    model.add(Activation('relu')) 

Answer 1

問題がx_trainとx_testの次元の差です。 tfidfvectorizerの最大機能を変更することで問題は解決しました。あなたのテストセットをベクトル化すると

vectorizer = TfidfVectorizer(analyzer=self.identity, use_idf=True, max_features=100) 

Answer 2

、あなたはtransformを呼び出す必要はありませんfit_transform：

x_train_vec = vectorizer.fit_transform(x_train).toarray() 
x_test_vec = vectorizer.transform(self.x_test[i]).toarray()