2016-12-20 4 views
4

テンソルフローレコードを作成してモデルをフィードしたい。 これまでは、uint8 numpy配列をTFRecord形式に格納するために次のコードを使用しました。浮動小数点numpy配列を持つテンソルフローレコード

私は、このコード例

features = tf.parse_single_example(example, features={ 
    'image_raw': tf.FixedLenFeature([], tf.string), 
    'map_raw': tf.FixedLenFeature([], tf.string), 
    'label_raw': tf.FixedLenFeature([], tf.string), 
}) 

image = tf.decode_raw(features['image_raw'], tf.uint8) 
image.set_shape(params.IMAGE_HEIGHT*params.IMAGE_WIDTH*3) 
image = tf.reshape(image_, (params.IMAGE_HEIGHT,params.IMAGE_WIDTH,3)) 

map = tf.decode_raw(features['map_raw'], tf.uint8) 
map.set_shape(params.MAP_HEIGHT*params.MAP_WIDTH*params.MAP_DEPTH) 
map = tf.reshape(map, (params.MAP_HEIGHT,params.MAP_WIDTH,params.MAP_DEPTH)) 

label = tf.decode_raw(features['label_raw'], tf.uint8) 
label.set_shape(params.NUM_CLASSES) 

を読んで、それがうまく働いて

def _int64_feature(value): 
    return tf.train.Feature(int64_list=tf.train.Int64List(value=[value])) 


def _bytes_feature(value): 
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value])) 


def _floats_feature(value): 
    return tf.train.Feature(float_list=tf.train.FloatList(value=[value])) 


def convert_to_record(name, image, label, map): 
    filename = os.path.join(params.TRAINING_RECORDS_DATA_DIR, name + '.' + params.DATA_EXT) 

    writer = tf.python_io.TFRecordWriter(filename) 

    image_raw = image.tostring() 
    map_raw = map.tostring() 
    label_raw = label.tostring() 

    example = tf.train.Example(features=tf.train.Features(feature={ 
     'image_raw': _bytes_feature(image_raw), 
     'map_raw': _bytes_feature(map_raw), 
     'label_raw': _bytes_feature(label_raw) 
    }))   
    writer.write(example.SerializeToString()) 
    writer.close() 

。今私はuint8の代わりにfloat numpy配列の配列 "map"を使って同じことをしたいのですが、それを行う方法の例が見つかりませんでした。 関数_floats_featureを試しました。これはスカラーを渡すと機能しますが、配列では機能しません。 uint8で をシリアライズするには、tostring()メソッドを使用します。

浮動小数点数の配列をシリアル化するにはどうすればよいですか?

答えて

6

FloatListおよびBytesListは繰り返し可能です。だから、浮動小数点のリストを渡す必要があります。あなたの_float_featureに余分なブラケットを取り外し、すなわち

def _floats_feature(value): 
    return tf.train.Feature(float_list=tf.train.FloatList(value=value)) 

numpy_arr = np.ones((3,)).astype(np.float) 
example = tf.train.Example(features=tf.train.Features(feature={"bytes": _floats_feature(numpy_arr)})) 
print(example) 

features { 
    feature { 
    key: "bytes" 
    value { 
     float_list { 
     value: 1.0 
     value: 1.0 
     value: 1.0 
     } 
    } 
    } 
} 
2

私はヤロスラフの答えに拡大していきます。

Int64List、BytesListおよびFloatListは、iterator of the underlying elements(繰り返しフィールド)を想定しています。あなたの場合は、イテレータとしてリストを使うことができます。

あなたが言った:私はそれにスカラーを渡すが、の配列では動作しません。スカラーを渡すと、_floats_featureは1つの浮動小数点要素の配列を(期待どおりに)作成するので、これが期待されます。しかし、配列を渡すときには、配列のリストを作成し、それを浮動小数点のリストを期待する関数に渡します。

は、だからあなたの関数から配列の構築を削除します。

numpy_arr = np.ones((3,3))astype(:番目の列が入力されたとき、ヤロスラフの例では、失敗した

1

float_list=tf.train.FloatList(value=value) npy.float)

入力としてnumpy_arr.ravel()を使用したときに機能することが判明しました。しかし、それを行うより良い方法はありますか?

+0

ヤロスラフは浮動小数点のリストが必要であると述べています。num_arrはリストではないので、何らかの形でフラット化してからモデルに渡す前に形状を修正する必要があります。 – cberkay

関連する問題