40,000のタグ要素を持つ非常に大きなXMLファイルがあります。 このファイルを解析するために要素ツリーを使用しているとき、メモリのためにエラーが発生しています。 xml全体をメモリにロードせずに、データチャンク内のxmlファイルを読み取ることができるPythonのモジュールはありますか?そのモジュールはどのように実装できますか?チャンクでXMLファイルを解析する方法
2
A
答えて
2
おそらく、PythonでXMLを操作するための最良のライブラリはlxml
です。この場合、iterparse
/iterwalk
に興味があります。
+2
http://stackoverflow.com/questions/7171140/using-python-iterparse-for-large-xml-filesこれは大きなXMLを扱う際には注目に値するファイル。 –
2
これは、人々が通常サックスを使用して解決する問題です。
あなたの巨大なファイルが基本的にXML文書の集まりであり、全体的なXMLエンベロープである場合は、sax(または単純文字列解析)を使用して一連の個別ドキュメントに分解し、 lxml.etree。
関連する問題
- 1. ASIHTTPでXMLを解析する方法
- 2. JAXBは大きなXMLファイルをチャンクで解析できますか
- 3. C#でXMLファイルを解析する方法(youtube api result)?
- 4. Javaで高度なXMLファイルを解析する方法
- 5. NSXMLParserでXMLファイルを解析する方法
- 6. ブラウザでローカルXMLファイルを解析する方法は?
- 7. XSLTでXMLファイルをインポートして解析する方法
- 8. SSISでXMLファイルを解析する方法は?
- 9. TitaniumでローカルXMLファイルを解析する方法は?
- 10. "ランダム" XMLを解析する方法
- 11. C#でXMLファイルを解析する
- 12. Javaでfake-xmlファイルを解析する
- 13. androidでxmlファイルを解析する
- 14. XMLファイルの解析
- 15. xmlファイルを再帰的に解析する方法
- 16. Perl、XMLファイルを解析する方法、xpath
- 17. 巨大なXMLファイルを解析する方法
- 18. サーバーからXMLファイルを解析する方法は?
- 19. 巨大なXMLファイルを解析する方法
- 20. ストアプロシージャでXML解析を行う方法
- 21. XMLファイルを分析する方法は?
- 22. XMLを解析して、XMLを解析する際のXMLの解析
- 23. JavaでXMLファイルを解析する際にインラインDTDを無視する方法
- 24. iPadでXMLファイルを解析する際にCDATAタグを処理する方法
- 25. "複雑な" XMLファイルを解析する
- 26. ipadのxmlファイルを解析する
- 27. XMLファイルを解析するVB.NET
- 28. AndroidのローカルXMLファイルを解析する
- 29. XAMLファイルを解析する方法は?
- 30. .as(AS3)ファイルを解析する方法
私はpythonistではありませんが、XMLを解析するためのSAX(DOMではない)aproachを探します。 –
問題がタグへのランダムアクセスを必要としない限り、SAXは完璧です。そうでない場合は、メモリ内のデータのよりコンパクトな表現を作成する方法がある場合でも、それを使用することができます。 –
lxmlが最適です.. IBMもお勧めします:) – codersofthedark