couchdbからドキュメントを照会し、それらをpandasデータフレームにロードするにはどうすればいいですか？

Question

ローカルのcouchdbサーバーでTwitterデータをダウンロードしました。 それはjsonファイルとして保存されました。

このコードを使用して、データベースをpythonで入力します。 第一インポートライブラリ

import couchdb 
import pandas as pd 
from couchdbkit import Server 
import json 
import cloudant 

は、次のサーバーに接続して、私が入力したいデータベースを選択します。

dbname = couchdb.Server('http://localhost:5984') 
db = dbname['Test'] 
server = couchdb.Server('http://localhost:5984') 

私は、しかし、私はjupyterのノートブックにサーバーからデータを置くことができるのか分からないのpythonでデータベースを作成および削除できます。 私はそれを分析するためにリトロットでテキストと時間を取得したいと思います。 私はPythonから1つのJSONファイルしか見ることができません。

可能であれば、DB内のすべてのJSONデータをpythonのpandasデータフレームに追加したいので、Rでも解析することができます。

質問は、ドキュメントをクエリしてパンダのデータフレームに読み込む方法ですか？

Answer 1

CouchDBのデータベースからのすべてのドキュメントは、include_docsクエリ属性を持つ/{db}/_all_docsエンドポイントから取得できます。応答は、rowsフィールドにリストされているすべてのドキュメントのjsonオブジェクトです。

あなたは直接のCouchDBで動作するように requestsパッケージを使用して、 pandas.read_jsonでパンダに応答をロードまたは内部のpythonオブジェクトにJSONを変換 couchdbパッケージを使用して、直接応答を読み込み、つまりはこのような何か行うことができますいずれか

：

を

import couchdb 
import pandas as pd 

couch = couchdb.Server('http://localhost:5984') 
db = couch['Test'] 
rows = db.view('_all_docs', include_docs=True) 
data = [row['doc'] for row in rows] 
df = pd.DataFrame(data) 

は、資源課税することができ、メモリに完全なデータベースを読むより注意してください、あなたは小さなバッチで情報を読み取るために_all_docsエンドポイントのskipとlimitクエリパラメータに見たいと思うかもしれません。