分割Powershell経由で大規模なCSVファイルをエクスポート

Question

誰もがExcelの最大行を持っていることを知っている1048574。私の質問は：最大行に達したときに、新しいCSVファイルに移動します。でる。

$RootFolder = Get-Content "c:\DRIVERS\myfile.txt" 

foreach ($arrayOfPaths in $RootFolder){ 

    $csv = $arrayofPaths -replace '^\\\\[^\\]+\\([^\\]+)\\([^\\]+).*', 'C:\output\Company_name_${1}_${2}.csv' 
    Get-ChildItem $arrayOfPaths -Recurse | Where-Object {$_.mode -match "d"} | ForEach-Object { 
$path = $_.FullName 
    Get-Acl $path | Select-Object -Expand Access | 
    Select-Object @{n='Path';e={$path}}, IdentityReference, AccessControlType, 
        FileSystemRights | 
    Export-Csv $csv -Append -NoType 
    } 

} 

最終更新日：

$RootFolder = Get-Content "c:\DRIVERS\myfile.txt" 

foreach ($arrayOfPaths in $RootFolder){ 

    $csv = $arrayofPaths -replace '^\\\\[^\\]+\\([^\\]+)\\([^\\]+).*', 'C:\output\Company_name_${1}_${2}.csv' 
    $csvIndex = 1 
    $maxRows = 1000000 
    $rowsLeft = $maxRows 

    Get-ChildItem $arrayOfPaths -Recurse | Where-Object {$_.mode -match "d"} | ForEach-Object { 
    #$csv = $_.FullName -replace '^\\\\[^\\]+\\([^\\]+)\\([^\\]+).*', 'C:\output\Company_name_${1}_${2}.csv'# <- construct CSV path here 
    $path = $_.FullName 
    $thisCSV = Get-Acl $path | Select-Object -Expand Access | 
    Select-Object @{n='Path';e={$path}}, IdentityReference, AccessControlType, 
        FileSystemRights | 
    ConvertTo-Csv 
if ($thisCSV.count -lt $rowsLeft) { 
    $thisCSV | Export-Csv $csv -append -noType 
    $rowsLeft -= $thisCSV.count 
} else { 
    $thisCSV[0..($rowsLeft - 1)] | Export-Csv $csv -append -noType 
    $csvIndex++ 
    $csv = $csv -replace '\.csv$', "$csvIndex.csv" 
    if ($thisCSV.count -gt $rowsLeft) { 
     $thisCSV[$rowsLeft..($thisCSV.count - 1)] | Export-Csv $csv -append -noType 
    } 
    $rowsLeft = $maxRows - ($thisCSV.count - $rowsLeft) 
} 


    } 

} 

Answer 1

がスプリット・ポイントに到達するまで、その.Countプロパティを追加し、一時変数にConvertTo-Csvを行い、その新しい名前で新しいファイルにCSV配列を分割しますこの時点から使用されます。

以下は、単一のCSVが1000000行を超えることができないと仮定した簡単な例です。

$csv = ............. 
$csvIndex = 1 
$maxRows = 1000000 
$rowsLeft = $maxRows 

........... 
$thisCSV = Select-Object ........ | 
      ConvertTo-Csv 
if ($thisCSV.count -lt $rowsLeft) { 
    $thisCSV | Export-Csv $csv -append -noType 
    $rowsLeft -= $thisCSV.count 
} else { 
    $thisCSV[0..($rowsLeft - 1)] | Export-Csv $csv -append -noType 
    $csvIndex++ 
    $csv = $csv -replace '\.csv$', "$csvIndex.csv" 
    if ($thisCSV.count -gt $rowsLeft) { 
     $thisCSV[$rowsLeft..($thisCSV.count - 1)] | Export-Csv $csv -append -noType 
    } 
    $rowsLeft = $maxRows - ($thisCSV.count - $rowsLeft) 
}