2016-07-07 7 views
0

私の目標は、いくつかの分析を実行できるようにBigQueryテーブルをローカルに保存することです。ローカルに保存するには、Google Cloud StorageにCSVファイルとしてエクスポートしようとしました。 Googleのクラウドストレージに一緒に再びそれらを置く方法は大規模なBigQueryテーブルをGoogle Cloud Storageにコピーし、その後ローカルダウンロードする

exampledata.csv000000000000 
exampledata.csv000000000001 
... 

あります:データセット可哀想に、このように見て、このようにそれは多くの異なるファイルに分割され、1つのファイルとしてそれを動かすには大きすぎますか?おそらくフォーマットをcsvに変更することさえできますか?

私のアプローチは、ダウンロードして手動で変更しようとしていました。それをクリックすると、BIN.fileとして保存され、また非常に時間がかかるので、動作しません。さらに私はそれらを一緒に組み立てる方法を知らない。

私もgsutilコマンドで取得しようとしましたが、私はそれらを私のマシンに保存することができましたが、zipファイルとして保存しました。 WinRarで解凍すると、私は何をするべきか分からないexampledata.outファイルを得ることができます。さらに、私はそれらを1つのファイルにまとめて戻す方法を無駄にしています。

テーブルをコンピュータに、ファイルとして、csvとしてどのように入手できますか?

私はUbuntuの上で実行されて働いているコンピュータが、私は、Windows Server使用して、Googleの仮想マシン上のデータを持っている必要があり、2012年

+0

は、CSV形式のexamplataataファイルですか? –

+0

@ DarylWenman-Bateson 7zipで解凍しました。メモ帳で開くと、csv.file構造を持っているようです。 –

+1

あなたは、あなたの特定の質問について、ほとんど何の答えも得られないでしょう。しかし、あなたの質問の背後にある動機づけ(「いくつかの分析を実行できるようにBigQueryテーブルをローカルに保存する」)はあまり意味がありません。 BigQueryに「あまりにも大きい」データを格納する方法を考え直しながら、ローカルで分析しようと考えているかもしれません。 –

答えて

0

窓から1にすべてのファイルをマージするには、以下の使用してみてくださいコマンドプロンプト

copy *.cs* merged.csv

0

は、あなたが簡単にBINファイルとしてGoogleクラウドからダウンロードすることができ、.gzipファイルとして保存することができを提案します。あなたは、次のようにBigQueryでこれらのsplitedのファイルを取得する場合: エクスポートテーブルは - > csv形式、GZIP、URIなどの圧縮:

Windowsで

:FILE_NAME * を次に、以下のようなステップを実行して、戻って、それらを組み合わせることができます

  1. 末尾に.zipを追加してください。

  2. 7-zipを使用して最初の.zipファイルの名前を "... 000000000000"にすると、残りの.zipファイルがすべて自動的に検出されます。これは、分割された.zipファイルを解凍する通常の方法と同じです。

    Ubuntuので

私はインターネットで見つけることができる方法下記のファイルを解凍することができませんでした。私はそれを把握する場合は、答えを更新します。

関連する問題