HDInsightの外部SqoopメタストアとしてのAzure SQL

Question

おはよう！

AzIn SQLをHDInsight用の外部Sqoopメタストアとして設定する方法についてのドキュメントはありますか？

通常、HDInsightクラスタは、計算リソースとして動的に生成され、作業が完了するとシャットダウンされます。

これは、Sqoopジョブ定義がクラスタの再起動や新しいクラスタのアタッチ後も存続する必要がある理由です。

理想的には、外部sqoopメタストアは、作成プロセス中に動的に新しいクラスタにアタッチする必要があります。あなたはAzureのSQLまたはAzureのMySQLでは、以下のこれらのテーブルを作成し、新しいメタストア に接続するために、Sqoopの--meta-接続句を使用できるかどう

よろしく、

-Yuriy

Answer 1

は、判明したがこの制限があります。Sqoop on HDInsight does not close JDBC connection properly?

CREATE TABLE SQOOP_ROOT (
version INT, 
propname VARCHAR(128) NOT NULL, 
propval VARCHAR(256), 
CONSTRAINT SQOOP_ROOT_unq UNIQUE (version, propname)) 
INSERT INTO SQOOP_ROOT 
     VALUES(
      NULL, 
      'sqoop.hsqldb.job.storage.version', 
      '0'); 

      INSERT INTO SQOOP_ROOT 
VALUES(
    0, 
    'sqoop.hsqldb.job.info.table', 
    'SQOOP_SESSIONS' 
     ); 

    CREATE TABLE SQOOP_SESSIONS(
     JOB_NAME VARCHAR(64) , 
     PROPNAME VARCHAR(128) , 
     PROPVAL VARCHAR(1024) , 
     PROPCLASS VARCHAR(32) , 
     CONSTRAINT SQOOP_SESSIONS_unq UNIQUE 
(JOB_NAME , 
PROPNAME , 
PROPCLASS) 
     );