2016-03-29 16 views
0

これは私の質問に適切な場所であるかどうかわかりませんが、別のコミュニティにするべきでしょうか?大規模なCSVファイルを扱うウェブサイトの実装に関する質問があります入力として。大規模なCSVファイルをウェブサイトの入力として使用する

私はウェブサイト上のすべての種類のデータを生成するための入力としてCSVファイルを持つウェブサイトをプログラムしたいと思います。各エントリには独自のジオロケーションがあると思います。最後に、CSVファイルのデータが使用される有益なWebサイトを作成します。

ここでは、これを行うにはどのようなアプローチがベストであるかを知りたいと思います。このCSVファイルをデータベースに保存し、PHPでデータを取得すると、Webサイトが呼び出されているときに大きな読み込み時間がかかることがあります。そのような大規模なCSVファイルを扱う際にどのようなアプローチが有効なのか教えていただけますか?

あなたにアイデアを伝えてください。私のCSVファイルでは、私は次のようなデータを持っている:

 
#, Soccer Club, Street adress, Highest competition,.. 
1, Soccer club 1, adress 123, 3th division,.. 
2, Soccer club 2, adress 456, 6th division,.. 
etc. 

今、私はこのデータを使用websteを作成して、地図上のマーカーポイントのすべての種類を作成したいです。私はこの唯一の問題をコード化する方法を知っていますが、私はこの情報を生成するために長い時間をロードするために私のウェブサイトを持たずに、データを読み込んで使用するための高速な方法を探しています。私はまだそれを試していないが、私はそれに多くの時間を費やす前に、私はあなたが私に与えることができる助言を疑問に思っていた?

はところで、私はあなたがあるとしてファイル全体を格納し、その上でクエリを実行しないデータベーステーブルにCSVをインポートすることをお勧め1ギガバイト/ 2ギガバイト

+0

データベースアクセスは、特に大きなデータセットの場合、ファイルI/Oよりも優れている/高速になります。 –

+0

あなたは一度に1GB/2GBのデータを処理することはできません –

+0

@MineshPatel多くのリソースがある場合、これを行うことができます。 – Justinas

答えて

-1

のサイズのCSVファイルを考えます。データベースは最適化されており、これらのことを意味します。

+0

2Gbファイルを処理したことはありません... – Justinas

+0

大きなファイルを処理しました。正しいインデックスを使用すると、クエリを高速化できます。 –

+0

問題はデータベースからの読み取りではなく、ファイル自体の処理です。 – Justinas

関連する問題