Javaを使用したBIGファイルのXML分割

Question

選択したXMLファイルを分割するJavaプログラムを作成しようとしています。

XMLファイルのデータサンプル：お尻に

<EmployeeDetails> 
<Employee> 
<FirstName>Ben</FirstName> 
</Employee> 
<Employee> 
<FirstName>George</FirstName> 
</Employee> 
<Employee> 
<FirstName>Cling</FirstName> 
</Employee> 
<EmployeeDetails> 

というように、私はこの250メガバイトXMLファイルのアリを持って、それは常に痛みそれを外部プログラムを開いて、手動で読めることができるようにそれを分割します他のもの（すべてのラップトップ/デスクトップがそのような大きなファイルを開くことはできません）。そこで、私はこの機能を持つJavaプログラムを作成することにしました： - XMLファイルを選択してください（すでに完了しています） - 例えば、＃のタグに基づいてファイルを分割します（現在のファイルには100kのタグがあります。例：ファイルごとに10kファイルを分割する - ファイルを分割する（すでに完了している）

2番目のタスクを実行するにはどうすればよいでしょうか？ -4日は、私はおそらくこれを行うことができますどのように確認するか（それはもちろん、私の心の中で）それも可能である。

どれレスポンスが理解されるであろう。

乾杯、をGrimm。

Answer 1

簡単な解決方法があります。 XMLが常にこのような改行を持つ場合、XML処理は必要ありません。

Path originalPath = Paths.get("... .xml"); 
try (BufferedReader in = Files.newBufferedReader(originalPath, StandardCharsets.UTF_8)) { 
    String line = in.readLine(); // Skip header line(s) 

    line = in.readLine(); 
    for (int fileno; line != null && !line.contains("</EmployeeDetails>"); ++fileno) { 
     Path partPath = Paths.get("...-" + fileno + ".xml"); 
     try (PrintWriter out = new PrintWriter(Files.newBufferedWriter(partPath, 
       StandardCharsets.UTF_8))) { 
      int counter = 0; 
      out.println("<EmployeeDetails>"); // Write header. 
      do { 
       out.println(line); 
       if (line.contains("</Employee>") { 
        ++counter; 
       } 
       line = in.readLine(); 
      } while (line != null && !line.contains("</EmployeeDetails>") 
        && counter < 1000); 
      out.println("</EmployeeDetails>"); 
     } 
    } 
} 

Answer 2

ドキュメントRのルート要素にXという名前の子が多数存在すると仮定すると、次のXSLT 2.0変換はN番目のX要素ごとにファイルを分割します。

<t:transform xmlns:t="http://www.w3.org/1999/XSL/Transform" 
    version="2.0"> 
    <t:param name="N" select="100"/> 
    <t:template match="/*"> 
    <t:for-each-group select="X" 
         group-adjacent="(position()-1) idiv $N"> 
     <t:result-document href="{position()}.xml"> 
     <R> 
      <t:copy-of select="current-group()"/> 
     </R> 
     </t:result-document> 
    </t:for-each-group> 
    </t:template> 
</t:transform> 

あなたは（メモリ内のソースツリーを構築せずに）ストリーミングモードでこれを実行したい場合は、（a）は<xsl:mode streamable="yes"/>を追加し、（b）はXSLT 3.0プロセッサを使用してそれを実行します（サクソン-EEまたはExselt ）。