2016-07-17 6 views
2

私は最近、Windows 10とPython 3.5でGPUをサポートするmxnet(pythonパッケージ)をインストールしました。私はいくつかの例を実行し、彼らは正常に動作するようです。.csvトレーニングデータをmxnetの畳み込みニューラルネットワークにどのように送ることができますか?

私はすでにRxでMxnetを使用していましたが、スタイルマシンの学習パッケージを学習するのは慣れていましたが、MxnetなどのPythonディープ学習パッケージでは初めてでした。私は.csvトレーニングデータモデルに。

私は単純なCNNにいくつかの画像をフィードしたいと思います。画像は28x28ピクセルで、.csvには平坦な配列として保存されます。トレーニング用とテスト用の2つの.csvファイルがあります。各.csvファイルには、以下の構造を有する:

label, pixel1, pixel2, ..., pixel784 
0,... 
1,... 

は、合計で10枚のラベルと周り300分の1000の画像はトレーニングセット/テスト・セットにあります。ところでRそれを(私はRでmxnetで用いたものと同様であり、このアプローチを使用してい

import mxnet as mx 
import pandas as pd 
import numpy as np 
import os 

path = "C://users//me//data" 
os.chdir(path) 

df_train = pd.read_csv("train_28.csv") 
df_test = pd.read_csv("test_28.csv") 

keys = ['pixel.'+str(i) for i in range(1,785)] 

X_train = df_train[keys].get_values().T 
X_train = X_train.reshape((1200,28,28,1)) 
y_train = df_train['label'].get_values().reshape((1200,1)) 
#y_train = y_train.reshape((28,28,1,1200)) 



data = mx.symbol.Variable('data') 

# First conv layer 
conv1 = mx.symbol.Convolution(data=data, kernel=(5,5), num_filter=20) 
tanh1 = mx.symbol.Activation(data=conv1, act_type="tanh") 
pool1 = mx.symbol.Pooling(data=tanh1, pool_type="max", 
           kernel=(2,2), stride=(2,2)) 

# Second conv layer 
conv2 = mx.symbol.Convolution(data=pool1, kernel=(5,5), num_filter=50) 
tanh2 = mx.symbol.Activation(data=conv2, act_type="tanh") 
pool2 = mx.symbol.Pooling(data=tanh2, pool_type="max", 
           kernel=(2,2), stride=(2,2)) 

# First fully connected 
flatten = mx.symbol.Flatten(data=pool2) 
fc1 = mx.symbol.FullyConnected(data=flatten, num_hidden=500) 
tanh3 = mx.symbol.Activation(data=fc1, act_type="tanh") 
# second fullc 
fc2 = mx.symbol.FullyConnected(data=tanh3, num_hidden=10) 
# loss 
lenet = mx.symbol.SoftmaxOutput(data=fc2, name='softmax')        

device = mx.gpu()        

model = mx.model.FeedForward.create(lenet, 
            X = X_train, 
            y = y_train, 
            ctx = device, 
            num_epoch = 30) 

:私はモデルデータをロードし、訓練するために、次のコードを使用してい

[16:54:11] D:\chhong\mxnet\dmlc-core\include\dmlc/logging.h:235: [16:54:11] d:\chhong\mxnet\src\operator\./convolution-inl.h:347: Check failed: ksize_x <= dshape[3] && ksize_y <= dshape[2] kernel size exceed input 
Traceback (most recent call last): 
    File "C:\Users\Me\Desktop\esempio_lenet.py", line 57, in <module> 
    num_epoch = 30) 
    File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 901, in create 
    eval_batch_end_callback=eval_batch_end_callback) 
    File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 745, in fit 
    self._init_params(dict(data.provide_data+data.provide_label)) 
    File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\model.py", line 485, in _init_params 
    arg_shapes, _, aux_shapes = self.symbol.infer_shape(**input_shapes) 
    File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\symbol.py", line 453, in infer_shape 
    return self._infer_shape_impl(False, *args, **kwargs) 
    File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\symbol.py", line 513, in _infer_shape_impl 
    ctypes.byref(complete))) 
    File "C:\Users\Me\Anaconda3\lib\site-packages\mxnet-0.7.0-py3.5.egg\mxnet\base.py", line 77, in check_call 
    raise MXNetError(py_str(_LIB.MXGetLastError())) 
mxnet.base.MXNetError: InferShape Error in convolution0: [16:54:11] d:\chhong\mxnet\src\operator\./convolution-inl.h:347: Check failed: ksize_x <= dshape[3] && ksize_y <= dshape[2] kernel size exceed input 

そして私は私が間違っているのかを把握することはできません:完璧に動作、しかし私は、しかし、私は次のエラーを取得しています)...ので、私はより良いパフォーマンスのためのPythonを使用する必要がR上のGPUを使用することはできません。誰かがこのエラーについて教えてください。そして、上記と同じ構造で.csvファイルをロードし、mxnetモデルをトレーニングする方法に関する明確な指示を私に提供してください。私はドキュメントを見ましたが、.csvファイルを正しくロードする方法を自分で判断できませんでした。

このような.csvファイルをロードする手順を尋ねる理由は、その形式のデータであり、これらの.csvファイルを含むフォルダに対してスクリプトを実行し、深い畳み込みニューラルネットワークのトレーニングに使用する準備ができていることは非常に貴重です。

私が書いたサンプルコードを再現するには、列車とテストの.csvファイルのセットが利用可能です(here)。

答えて

3

問題をいただき、ありがとうございます。この行である:第三及び第四の寸法は、幅と高さながらmxnet二次元で

X_train = X_train.reshape((1200,28,28,1)) 

は、特徴マップであるので、それは次のようになります。

X_train = X_train.reshape((1200,1,28,28)) 
+1

ありがとうございました。私が直面していた問題を修正しました。しかし、私はまだMXnetの他の問題に遭遇し、Pythonでテンソルフローに移行することを決めました。あなたや他の誰かがMXnetでもう少し明るい光を放つことができるチュートリアルやリソースをお勧めしたら、読んでいただければ幸いです。 – mickkk

関連する問題