2016-11-01 19 views
0

テーブルのすべての行をスキャンするとき、私は、Java APIを使用してGoogle BigTableのテーブルのすべての行(〜130万行)をスキャンしようとしていますが、しかし、私は次のエラーを取得する:GoogleクラウドBigtableのStatusRuntimeExceptionエラー

Error while reading table 'projects/firm-link-147413/instances/some-bigger-table/tables/media-location-demo' : Response was not consumed in time; terminating connection. (Possible causes: row size > 256MB, slow client data read, and network problems) 

データセット全体のサイズは約2GBで、個々の行サイズは非常に小さい(< 100k)。ネットワーク接続はダウンロードとアップロードの両方に優れています。クライアントにはデータを読み取る能力があります(アップロード時に実行される同様のコードがあり、正常に動作します)。

ありがとうございました!

全体の誤差がある:

com.google.cloud.bigtable.grpc.io.IOExceptionWithStatus:com.google.cloud.bigtable.grpc.scanner.ResultQueueEntry $ ExceptionResultQueueEntry.getResponseOrThrowで応答ストリーム でエラーが発生しました(ResultQueueEntry.java:88)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] at com.google.cloud.bigtable.grpc.scanner.ResponseQueueReader.getNextMergedRow(ResponseQueueReader.java:95)〜 [bigtable-hbase-1.2-0.9.3.jar!/:na] com35.png。com/.3.jar!/:na] at com.google.cloud.bigtable.grpc.scanner.StreamingBigt (ResumingStreamingResultScanner.java:resumingStreamingResultScanner.java):com.google.cloud.bigtable.grpc.scanner.ResumingStreamingResultScanner.next(ResumingStreamingResultScanner.java: 89)[bigtable-hbase-1.2-0.9.3.jar!/:na] com35.png。 0.9.3.jar!/:na] com.google.cloud.bigtable.hbase.adapters.read.BigtableResultScannerAdapter $ 1.next(BigtableResultScannerAdapter.java:58)[bigtable-hbase-1.2-0.9.3.jar! /:na] at org.apache.hadoop.hbase.client.AbstractClientScanner $ 1.hasNext(AbstractClientScanner.java:94)[hbase-client-1.2.1.jar!/:1.2.1] at com.shutterfly。 (クラス/!0.0.1-SNAPSHOT) com.shutterfly.corp.migrator.locspec.service.MediaIALookupMigrator.verifyMigratedData(MediaIALookupMigrator.java:86)[classes!/:0.0.1-SNAPSHOT] (com.shutterfly.corp.migrator.locspec.LocspecMigratorApplication.main) (LocspecMigratorApplication.java:21)[クラス!/:0.0.1-SNAPSHOT]sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブメソッド)〜[na:1.8.0_102] at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl .java:62)〜[na:1.8.0_102] at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)〜[na:1.8.0_102] at java.lang.reflect.Method.invoke(メソッド.java:498)〜[na:1.8.0_102] at org.springframework.boot.loader.MainMethodRunner.run(MainMethodRunner.java:48)[locspec-migrator-0.0.1-SNAPSHOT.jar:0.0.1-スナップショット] at org.springframework.boot.loader.Launcher.launch(Launcher.java:87)[locspec-migrator-0.0.1-SNAPSHOT.jar:0.0.1-SNAPSHOT] at org.springframework.boot.loader.Launcher .launch(Launcher.java:50)[locspec-migrator-0.0.1-SNAPSHOT.jar:0.0.1-SNAPSHOT] at org.springframework.boot.loader.JarLauncher.main(JarLauncher.java:58)[locspec -migrator-0.0.1-SNAPSHOT.jar:0.0.1-SNAPSHOT] 原因:com.google.bigtable.repackaged.io.grpc.StatusRuntimeException:DEADLINE_EXCEEDED: 'projects/firm-link-147413 /インスタンス/ some-larger-table/tables/media-location-demo ':応答は時間内に消費されませんでした。接続を終了する。 (可能な原因:行サイズ> 256MB、クライアントデータの読み込み速度が遅い、ネットワークの問題)com35.png 0.9.3.jar!/:na] com.google.cloud。bigtable.grpc.scanner.StreamObserverAdapter.onClose(StreamObserverAdapter.java:61)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] 、com.google.cloud.bigtable.grpc.io.ChannelPool $ InstrumentedChannel $ 2.onClose(ChannelPool.java:201)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] at com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl $ ClientStreamListenerImpl.close (ClientCallImpl.java:481)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] com35.png。 java:398)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] com.google.bigtable.repackaged.io.grpc.internal.ClientCallImpl $ ClientStreamListenerImpl $ 1StreamClosed.runInContext(ClientCallImpl.java: 513)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] com35.png (SerializingExecutor.java:textRunnable.java:52)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] at com.google.bigtable.repackaged.io.grpc.internal.SerializingExecutor $ TaskRunner.run 154)〜[bigtable-hbase-1.2-0.9.3.jar!/:na] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)〜[na:1.8.0_102] at java。 (Thread.java:745)〜[na:1.8.0_102]

(日本語訳)

答えて

1

私はこれを見ています。これは、あなたの使い方に固有のいくつかの状況、特にあなたが大陸を渡って仕事をしていることによって異なります。 Google Groupsに投稿できますか?さらなるガイダンスについての会話は、公開ではなく機密にする必要があり、グループはそのオプションを私たちに与えます。

関連する問題