Big Query用のGoogle Natural Language Proscessing出力（json）の準備方法

Question

Big Query（BQ）で自然言語処理（NLP）呼び出しの出力を照会しようとしていますが、出力を取得しようとしていますBQの正しいフォーマット。

私は、BQが（改行で区切られた）jsonファイルを取りますが、（a）NLPの出力がjson改行で区切られていること、（b）スキーマが正しいことを確信していません。

{ 
    "entities": [ 
    { 
     "name": "Rowling", 
     "type": "PERSON", 
     "metadata": { 
     "wikipedia_url": "http://en.wikipedia.org/wiki/J._K._Rowling" 
     }, 
     "salience": 0.65751493, 
     "mentions": [ 
     { 
      "text": { 
      "content": " J.", 
      "beginOffset": -1 
      } 
     }, 
     { 
      "text": { 
      "content": "K. Rowl", 
      "beginOffset": -1 
      } 
     } 
     ] 
    }, 
    { 
     "name": "LONDON", 
     "type": "LOCATION", 
     "metadata": { 
     "wikipedia_url": "http://en.wikipedia.org/wiki/London" 
     }, 
     "salience": 0.14284456, 
     "mentions": [ 
     { 
      "text": { 
      "content": "\ufeffLON", 
      "beginOffset": -1 
      } 
     } 
     ] 
    }, 
    { 
     "name": "Harry Potter", 
     "type": "WORK_OF_ART", 
     "metadata": { 
     "wikipedia_url": "http://en.wikipedia.org/wiki/Harry_Potter" 
     }, 
     "salience": 0.0726779, 
     "mentions": [ 
     { 
      "text": { 
      "content": "th Harry Pot", 
      "beginOffset": -1 
      } 
     }, 
     { 
      "text": { 
      "content": "‘Harry Pot", 
      "beginOffset": -1 
      } 
     } 
     ] 
    }, 
    { 
     "name": "Deathly Hallows", 
     "type": "WORK_OF_ART", 
     "metadata": { 
     "wikipedia_url": "http://en.wikipedia.org/wiki/Harry_Potter_and_the_Deathly_Hallows" 
     }, 
     "salience": 0.022565609, 
     "mentions": [ 
     { 
      "text": { 
      "content": "he Deathly Hall", 
      "beginOffset": -1 
      } 
     } 
     ] 
    } 
    ], 
    "language": "en" 
} 

Googleクラウドシェルのコマンドラインを介して、大きなクエリに直接出力を送信する方法があります：

ここで私が働いているJSON出力がですか？

すべての情報をお待ちしております。

おかげ

Answer 1

私のハリー・ポッターのブログ記事が見つかりました！ BigQueryの文字列としてNL APIのJSONレスポンスを格納してから、クエリにuser-defined functionを使用することをおすすめします。あなたは、各エンティティはあなたが投稿JSONで表示する頻度のカウントを取得する（テーブルが公に閲覧可能です）以下を実行することができます：

SELECT 
    COUNT(*) as entity_count, entity 
FROM 
    JS(
    (SELECT entities FROM [sara-bigquery:samples.hp_udf]), 
    entities, 
    "[{ name: 'entity', type: 'string'}]", 
    "function(row, emit) { 
     try { 
     x = JSON.parse(row.entities); 
     entities = x['entities']; 
     entities.forEach(function(data) { 
      emit({ entity: data.name }); 
     }); 
     } catch (e) {} 
    }" 
) 
GROUP BY entity 
ORDER BY entity_count DESC 

Answer 2

は、このページで

ルックシェルGoogleクラウドでのコマンドラインを介して、大きなクエリに直接出力を送信し、 "BQロード" https://cloud.google.com/bigquery/bq-command-line-tool

を検索しますここには、jsonスキーマに関するいくつかの例があります。 Schema to load json data to google big query