ループ内のSQL Alchemyでレコードを更新する方法

Question

SQLSoup（SQLAlchemyエクステンション）を使用して、SQL Server 2008データベースのレコードを更新しようとしています。私はpyobdcを接続に使用しています。関連する例を見つけることを困難にするいくつかの問題があります。

非常に大きなテーブル（200万件以上のレコード）のジオメトリフィールドを再投影しているため、フィールドを更新する標準的な方法の多くは使用できません。ジオメトリフィールドからテキストに座標を抽出し、それらを変換して戻す必要があります。これはすべて問題なく、すべての個々の部分が機能しています。

しかし、レコードごとに1つずつループしながら、各行でSQL Updateステートメントを実行したいとします。私は、レコードセットにロックを置くか、接続が使用中であると仮定します。最初のレコードを正常に更新した後、下のコードを使用するかのように、接続が使用されています。

新しい接続を作成したり、既存の接続を再利用したり、別の方法でこれを達成する方法についてアドバイスをいただければ幸いです。

s = select([text("%s as fid" % id_field), 
      text("%s.STAsText() as wkt" % geom_field)], 
      from_obj=[feature_table]) 

rs = s.execute() 

for row in rs: 
    new_wkt = ReprojectFeature(row.wkt) 

    update_value = "geometry :: STGeomFromText('%s',%s)" % (new_wkt, "3785") 
    update_sql = ("update %s set GEOM3785 = %s where %s = %i" % 
        (full_name, update_value, id_field, row.fid)) 

    conn = db.connection() 
    conn.execute(update_sql) 
    conn.close() #or not - no effect.. 

更新された作業コードは次のようになります。それはいくつかのレコードでうまく動作しますが、テーブル全体がハングするので、あまりにも多くのデータを読み込んでいると思います。

db = SqlSoup(conn_string) 
#create outer query 

Session = sessionmaker(autoflush=False, bind=db.engine) 
session = Session() 
rs = session.execute(s) 

for row in rs: 
    #create update sql... 
    session.execute(update_sql) 
session.commit() 

接続エラーが発生するようになりました。

これはODBCドライバに問題がある可能性がありように見えます

DBAPIError: (Error) ('HY000', '[HY000] [Microsoft][ODBC SQL Server Driver]Connection is busy with results for another hstmt (0) (SQLExecDirectW)')

からhttp://sourceitsoftware.blogspot.com/2008/06/connection-is-busy-with-results-for.html

さらにを更新します。

プロファイラを使用して、サーバー上で、それは最初の更新ステートメントその後、select文を示してい「開始」しているが完了していない。 Select文を設定して上位10行を返すと、それは完了し、更新が実行されます。

SQL: Batch Starting Select... 
SQL: Batch Starting Update... 

私はこれがpyodbcとSQL Serverドライバの問題だと思っています。 SQL Alchemyを削除してpyodbcで同じSQLを実行すると、ハングすることもあります。更新のための新しい接続オブジェクトを作成したとしても。

また、MARS-Multiple Active Record Setsを許可することを目的としたSQL Server Native Client 10.0ドライバを試しましたが、違いはありませんでした。結局、私は "結果をページング"し、pyodbcとSQLを使ってこれらのバッチを更新していましたが（下記参照）、SQLAlchemyが自動的にこれを行うことができたと思いました。

Answer 1

Sessionをお試しください。

rs = s.execute()となり、最後の3行をsession.execute(update_sql)に置き換えることができます。また、自動コミットをオフにしてセッションを設定し、最後にsession.commit()を呼び出すことをお勧めします。

Answer 2

プロセスがハングすると、sp_who2をSqlボックスに表示し、何が起きているのかを確認できますか？ブロックされたspidを確認し、何が起こっているかを示唆するものがSqlコード内にあるかどうかを確認してください。あなたが他人をブロックしているspidを見つけたら、dbcc inputbuffer(*spidid*)を実行して、そのクエリが実行されたことがわかるかどうか確認してください。それ以外の場合は、SQLプロファイラを接続して呼び出しをトレースすることもできます。

場合によっては、ブロックを引き起こすSqlサーバー上の並列処理でもかまいません。これがデータウェアハウスでない限り、Max DOPをオフにすることをお勧めします（1に設定）。私に知らせてください。朝にこれをもう一度チェックして助けが必要な時は、私は喜んで助けます。

Answer 3

私は別の解決策が見つかるまで、私は単一の接続とカスタムSQLを使ってレコードセットを返し、バッチでこれらを更新しています。私がやっていることは、特に特殊なケースではないと思うので、なぜ私は複数の結果セットを同時に扱うことができないのか分かりません。

作品の下に

が、非常に、非常に遅い..です

cnxn = pyodbc.connect(conn_string, autocommit=True) 
cursor = cnxn.cursor() 

#get total recs in the database 
s = "select count(fid) as count from table" 
count = cursor.execute(s).fetchone().count 

#choose number of records to update in each iteration 
batch_size = 100 
for i in range(1,count, batch_size): 
    #sql to bring back relevant records in each batch 
    s = """SELECT fid, wkt from(select ROW_NUMBER() OVER(ORDER BY FID ASC) AS 'RowNumber' 
,FID 
,GEOM29902.STAsText() as wkt 
    FROM %s) features 
    where RowNumber >= %i and RowNumber <= %i""" % (full_name,i,i+batch_size) 

    rs = cursor.execute(s).fetchall() 
    for row in rs: 
     new_wkt = ReprojectFeature(row.wkt) 
     #...create update sql statement for the record 
     cursor.execute(update_sql) 
     counter += 1 
cursor.close() 
cnxn.close()