固定幅ファイルからSQLサーバー幅テーブルへ

Question

固定幅のデータを持つテキストファイルがあります。テキストファイルには、ID、データ、状態が含まれています。 IDは単なるINTです。ステートには2つのCHARステートメントがあります。データは、その州に登録されている会社の情報です。私は、データの列にのみ4列に示されている説明を容易にするために：SQL Serverテーブルにそれらを置くために

は、私が最初に

注dbo.rawcompanyinfo_delimited呼ばSQLServerのテーブルにテキストファイルをダンプ。 500列あります。

CREATE TABLE dbo.rawcompanyinfo_delimited(ID smallint NOT NULL, Data VARCHAR(MAX) NULL, State CHAR(2)); 

INSERT INTO dbo.rawcompanyinfo_delimited(100,'ABCINC 111 333.5 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(200,'APPLE  213 333.5 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(300,'BTEC  100 123.5 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(400,'S INC  123 333.0 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(500,'B INC  145 123.2 USD','PA') 

私もdbo.rawcompanyinfo_delimitedを通じて、私はmap.CompaniesLenInfoをループネストされたカーソルを書いた

CREATE TABLE map.CompaniesLenInfo(Startingposition int not null, Length int not null, columnnames varchar(100) not null) 
insert into map.CompaniesLenInfo(1,10,CompanyName) 
insert into map.CompaniesLenInfo(11,3,CompanyID) 
insert into map.CompaniesLenInfo(15,5,TotalIncome) 
insert into map.CompaniesLenInfo(21,3,Currency) 

map.CompaniesLenInfoに保存されていると私Startingposition、長さとcolumnNamesを伝えるマッピングテーブルを持っています結果を表に保管します。私は広いtable.Can誰として挿入することができます

CREATE TABLE dbo.output(ID INT , CompanyName VARCHAR(10),CompanyID VARCHAR(3),TotalIncome VARCHAR(5),Currency VARCHAR(3)) ; 
INSERT INTO dbo.output(100,'ABCINC','111','333.5','USD','PA') 
INSERT INTO dbo.output(200,'APPLE','213','333.5', 'USD','PA') 
INSERT INTO dbo.output(300,'BTEC'  ,'100', '123.5', 'USD','PA') 
INSERT INTO dbo.output(400,'S INC'  ,'123', '333.0', 'USD','PA') 
INSERT INTO dbo.output(500,'B INC'  ,'145', '123.2', 'USD','PA') 

---

DECLARE @ID INT,@StartPosition INT,@Len INT; 
DECLARE @Data NVARCHAR(MAX), @ColumnName VARCHAR(100),@Val VARCHAR(MAX),@CompanyID CHAR(9),@State_Code VARCHAR(2); 
DECLARE @Currency VARCHAR(10); 
DECLARE @FinCursor AS CURSOR; 

DECLARE @ParsingCursor AS CURSOR; 
SET @FinCursor=CURSOR FAST_FORWARD FOR SELECT ID,Data 
FROM map.CompaniesLenInfo WHERE State='PA'; 
OPEN @FinCursor; 
FETCH NEXT FROM @FinCursor INTO @ID,@Data; 
WHILE @@FETCH_STATUS = 0 
BEGIN 


    SET @ParsingCursor = CURSOR FAST_FORWARD FOR SELECT StartPosition,Length,columnnames 
    FROM dbo.rawcompanyinfo_delimited; 
    OPEN @ParsingCursor; 
    FETCH NEXT FROM @ParsingCursor INTO @StartPosition, @Len, @ColumnName; 
    WHILE @@FETCH_STATUS = 0 
     BEGIN 
      SET @Val = SUBSTRING(@Data,@StartPosition, @Len); 
      /* Not sure how to insert into dbo.output*/ 

      FETCH NEXT FROM @ParsingCursor INTO @StartPosition, @Len, @ColumnName; 
     END 

    CLOSE @ParsingCursor; 
    DEALLOCATE @ParsingCursor; 


FETCH NEXT FROM @FinCursor INTO @ID,@Data; 

END 
CLOSE @FinCursor; 
DEALLOCATE @FinCursor; 

方法以下のように速くなる可能性があり、他の方法を提案しますか？

Answer 1

はPIVOTを使用したサンプルです：

CREATE TABLE dbo.rawcompanyinfo_delimited（ID smallint NOT NULL、データVARCHAR（MAX）NULL、状態CHAR（2））;

INSERT INTO dbo.rawcompanyinfo_delimited(id,data,State)values(100,'ABCINC 111 333.5 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(id,data,State)values(200,'APPLE  213 333.5 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(id,data,State)values(300,'BTEC  100 123.5 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(id,data,State)values(400,'S INC  123 333.0 USD','PA') 
INSERT INTO dbo.rawcompanyinfo_delimited(id,data,State)values(500,'B INC  145 123.2 USD','PA') 

CREATE TABLE CompaniesLenInfo(Startingposition int not null, Length int not null, columnnames varchar(100) not null) 
insert into CompaniesLenInfo(Startingposition,Length,columnnames)VALUES(1,10,'CompanyName') 
insert into CompaniesLenInfo(Startingposition,Length,columnnames)VALUES(11,3,'CompanyID') 
insert into CompaniesLenInfo(Startingposition,Length,columnnames)VALUES(15,5,'TotalIncome') 
insert into CompaniesLenInfo(Startingposition,Length,columnnames)VALUES(21,3,'Currency') 

SELECT * 
FROM (
    SELECT r.ID,r.State,SUBSTRING(r.Data,ci.Startingposition,ci.Length) AS val,ci.columnnames 
    FROM rawcompanyinfo_delimited AS r,CompaniesLenInfo AS ci 
) AS t PIVOT(MAX(val) FOR columnnames IN (CompanyName,CompanyID,TotalIncome,Currency)) p 

 
+-----+-------+-------------+-----------+-------------+----------+ 
| ID | State | CompanyName | CompanyID | TotalIncome | Currency | 
+-----+-------+-------------+-----------+-------------+----------+ 
| 100 | PA | ABCINC  | 111  | 333.  | US  | 
| 200 | PA | APPLE  | 213  | 333.  | US  | 
| 300 | PA | BTEC  | 100  | 123.  | US  | 
| 400 | PA | S INC  | 123  | 333.  | US  | 
| 500 | PA | B INC  | 145  | 123.  | US  | 
+-----+-------+-------------+-----------+-------------+----------+ 

Answer 2

コマンドラインツールbcp、バルクコピープログラムを使用します。 bcpはデータを解析してロードします。固定幅の列の開始と停止を定義するには、 "フォーマットファイル"を定義する必要があります。別の文字（〜など）で区切られたデータを取得できる場合は、列デリミタと行終端文字を定義する方が簡単です。

ここではドキュメントの参照です：https://docs.microsoft.com/en-us/sql/relational-databases/import-export/use-a-format-file-to-bulk-import-data-sql-server

Answer 3

は、カーソルを使用する必要はありません。 （あなたは500個の列を持っている場合は、多分少し長い）出力テーブルにあなたの生データテーブルからデータをロードするには、単一を使用することができますINSERT SELECTステートメントの：ここに

INSERT INTO dbo.output(ID,CompanyName,CompanyID,TotalIncome,Currency) 
SELECT r.ID, 
     (SELECT Substring(r.Data, m.startingposition, m.length) 
     FROM map.CompaniesLenInfo AS m 
     WHERE m.columnnames = 'CompanyName'), 
     ... 
     (SELECT Substring(r.Data, m.startingposition, m.length) 
     FROM map.CompaniesLenInfo AS m 
     WHERE m.columnnames = 'Currency') 
    FROM dbo.rawcompanyinfo_delimited AS r