Google Big Query Error：CSVテーブルに多すぎるエラーが発生しました。行：1エラー：1

Question

enter image description here Googleの大きなクエリで読み込まれた12 GBのcsvファイルでクエリを実行しようとしていますが、データセットでクエリを実行できません。データセットが正しくロードされているかどうかはわかりません。ペインのテーブルとして表示されますが、ジョブ履歴には表示されません。誰でも同じことを助けることができます。

データセットが周りに1.2mmの記録と3728個の変数

求人IDあり、Googleのストレージバケットからロードされた：PG-US-ADV-X-DAT-AIA-プロト-1：bquijob_b951879_1540d02c1a4

Answer 1

をそのため、BigQueryに読み込まれていないCSVファイルに対してクエリを実行しているように見えますが、Google Cloud Storageに存在する連合テーブルがそのポイントを指しているだけです。

これは、基礎となるCSVファイルにエラーがあったように見えます：

Too many value in row starting at position:11398444388 in file:gs://syntheticpopulation-storage/Alldatamerged_Allgrps.csv 
Too many value in row starting at position:9252859186 in file:gs://syntheticpopulation-storage/Alldatamerged_Allgrps.csv 
... 

はこれが問題を診断するのに十分である場合は私に知らせてください。私はあなたがクエリの履歴を見れば、それらのメッセージをクエリジョブの警告として見ることができると信じています。

私は内部で3つのバグ提出されました：エラーメッセージの

1. 悪い文法を。
2. フェデレーテッド・テーブルの問題に起因するエラー・メッセージは、どのテーブルに問題があるかを伝えていないため診断できません。
3. フェデレーテッド・テーブルの問題からのエラー・メッセージは、表示されていない警告ストリームにあるため、UIでアクション可能ではありません。

Answer 2

スキーマを確認してください.1つの列にスキーマを含めるのを忘れている可能性があります。

Answer 3

既知のバグ@googleと思われます。すでに修正を加えたが、それを生産に押し込んでいない。 https://code.google.com/p/google-bigquery/issues/detail?id=621

Answer 4

私はinstructions in the GCP docsの後に同じ問題がありました。

これは2回目に失敗しましたbq loadですが、最初のものではありません。

ignore unknown valuesオプションを選択してBigQuery Webインターフェイスでジョブを繰り返すことがわかりました。

私はまだデータのエラーを検出していませんが、それを見て始めています。

Answer 5

job.errorsには、ジョブの詳細なエラーが含まれています。

これはどこにも書かれていないようですが、ソースコード：https://googlecloudplatform.github.io/google-cloud-python/0.20.0/_modules/google/cloud/bigquery/job.htmlと_AsyncJobのctrl + fで確認できます。

だからあなたWAIT_FOR_JOBのコードは次のようになります。コードやエラーの

def wait_for_job(job): 
    while True: 
     job.reload() 
     if job.state == 'DONE': 
      if job.error_result: 
       raise RuntimeError(job.errors) 
      return 
     time.sleep(1)