json parsingの高速化

Question

私は約5000の結果を返すAPIをリクエストしています。

[{'test': '1'}, {'test': '2'}, {'test': '3'}]（のみ5000との結果）

現在、この単純な構造行うには約30秒を取っている：あなたは、私がujsonを使用している見ることができるように

for x in ujson.loads(r.content): 
    pass 

をそのデータ構造はそうのように見えますそれはjson.loads()と比較して実際にはスピードアップさえしません。

このパフォーマンスを向上させる方法についてのご意見はありますか？

おかげ

要求されたとして、どのようにコードをタイミングイム：

start = time.time() 
r = requests.get(url, headers={'Range': 'items=1-5000'}) 
print 'time to make request: {0}'.format(time.time() - start) 
for x in ujson.loads(r.content): 
    pass 
print 'time to parse request: {0}'.format(time.time() - start) 

Answer 1

たぶんuが（r.jsonを使用することができます）の代わりにr.content（http://docs.python-requests.org/en/master/)(https://github.com/kennethreitz/requests/blob/master/requests/models.py#L861) のの、これがあるかどうかを知るしないでください速く

Answer 2

試してみてください。

ujson_loads = ujson.loads(r.content) 
for x in ujson_loads: 
    pass 

はまだそれをテストしていませんが、それはあなたの問題の解決策かもしれません。

Answer 3

私はあなたのpython 2を使用していることがわかり以来、私はあなたがcjsonアドバイスします： あなたは

pip install python-cjson 

する必要があります。

import cjson 
start = time.time() 
r = requests.get(url, headers={'Range': 'items=1-5000'}) 
print 'time to make request: {0}'.format(time.time() - start) 
for x in cjson.decode(r.content): 
    pass 
print 'time to parse request: {0}'.format(time.time() - start) 

そうであっても過言ではない重いJSONでそれがより高速でありますujson（）：

cjson - 要求を解析する時間：0.000113010406494

ujson - 要求を解析する時間：0.000193119049072