large-data

    2熱

    1答えて

    ほとんどリアルタイムでクリックストリームデータを保存してエクスポートする最も良い方法は何ですか

    私はたくさんのヒットを取得しているウェブサイトを持っているとしましょう。レポートやモニタリングの目的でクリックデータを使用できるように、クリックデータをデータベースに保存する必要があります。クリックデータには、ユーザーがどこから来ているかなど、このサイトにユーザーを紹介しているユーザーなどの情報が含まれます。 このデータを保存して分析する方法はありますか。サイトがどのように10分ごとに実行されてい
    database database-design mapreduce large-data 2011-04-07

    2熱

    2答えて

    LOAD DATA INFILEを使用して大きなデータファイルをインポートしている間にMYSQLのパフォーマンスを保持する方法は？

    私は大きなデータベース（いくつかのテーブル500000000 +行）を扱っています。毎日3〜10百万行を置き換え、LOAD DATA INFILEを使用して各インポートを約100万行（CRONの場合は1日に3〜10回）とします。 このような大きなファイルをインポートする際、MySQLはCPUの80％を食べ、ウェブサイトからの一般的なクエリはすべて非常に遅くなったり、ウェブサイトのパフォーマンスが低
    mysql amazon-ec2 import load-data-infile large-data 2011-01-10

    3熱

    1答えて

    非常に大きなデータセット（リレーショナルDBを超えて）を格納およびクエリする方法

    現在、非常に大きなデータセット（10億ドル）からデータを効果的に格納および取得する方法に問題があります。私たちはmysqlを使用しており、システム、OS、RAID、クエリ、インデックスなどを最適化しており、現在移行を検討しています。 私は、データの問題を解決するためにどの技術を追求するかについて十分な情報を得て決定する必要があります。私はHDFSでmap/reduceを調べていますが、HBaseに
    hbase hdfs large-data-volumes large-data 2011-01-20

    30熱

    2答えて

    赤い黒ツリー対Bツリー

    私は、メガバイトからテラバイトの範囲のデータに対して高速検索、挿入、および削除操作を実現するプロジェクトを持っています。私は後半のデータ構造を勉強して分析していました。 をデータがメモリが1回で（10〜15件のテラバイトのサンプル範囲）を扱うことができるものよりもはるかにである：具体的なので、私は3例を紹介し、その上で質問をお願いしたいと思います。この場合、データ構造をディスクに格納します。 デー
    data-structures b-tree red-black-tree file-mapping large-data 2011-06-19

    2熱

    2答えて

    30M行

    テーブルと共にInnoDBテーブルから5K行を削除する最善の方法： foreign_id_1 foreign_id_2 整数 DATE1 DATE2 プライマリ（foreign_id_1、foreign_id_2） クエリ：delete from table where (foreign_id_1 = ? or foreign_id_2 = ?) and date2 < ? 日付のクエリに約40秒
    mysql performance innodb sql-delete large-data 2010-12-02

    1熱

    3答えて

    PHPを使用してサーバーに送信できるテキストの長さを制限する

    HTMLを使用してユーザーフォームでこれを行う方法を知っています。しかし、悪意のあるユーザーはそのフォームに合格してサーバーアクションページを呼び出し、異常に大きなサイズのテキストを送信することができます。 このような要求はサーバーから拒否されますか。おそらく、巨大ファイルのアップロードと同様に、実際に到着する前に到着しているPOSTデータのサイズを事前に認識できる仕組みがあります。
    php textbox text-size large-data 2011-05-01

    1熱

    1答えて

    WCFで大量のメッセージを送信できません

    すべての種類のメッセージを送信するためにWCFを使用し、perticularでこのメッセージは約3200000バイトといくつかの文字列とヘッダーを加えました。大規模なペイロードは、私があらゆる面で模倣しようとしている構成で、別のサービスを介してホストから取得されたシリアライズされたオブジェクトです。 私はパフォーマンスのためにnetTcpバインディングを使用しており、たくさんのコールバックを使用し
    wcf nettcpbinding duplex large-data 2010-12-07

    0熱

    2答えて

    すばやく大規模なデータピボット

    私たちは、BIを提供するために予測モデルの開発とデータのスライスとダイシングに使用できる製品を開発しています。 2種類のデータアクセス要件があります。 予測モデリングでは、データを毎日読み込み、行ごとに行う必要があります。この場合、通常のSQL Serverデータベースで十分であり、問​​題は発生していません。 1GBのデータのような巨大なサイズのデータ​​をスライスしてダイシングする場合、300
    sql pivot data-modeling business-intelligence large-data 2011-06-29

    10熱

    4答えて

    MyBatisで非常に大量のデータを扱う

    私の目標は、実際にはデータベースのすべてのデータをXMLファイルにダンプすることです。データベースはそれほど大きくはない、それは約300MBだ。問題は、256MBのメモリ制限（JVM内）のみです。だから明らかに私はすべてをメモリに読み込むことはできません。 私はこの問題を、getList(... int skip, int max)と呼んで、iBatis（iBatisではmyBatisではありませ
    java mybatis large-data 2011-07-01

    3熱

    2答えて

    大きなアプリケーションデータパターンをダウンロード

    私はAndroid用のマップレンダリングアプリケーションを開発しています。地図データは約1.1Gbとかなり大きいです。 .apkサイズの市場と電話の両方に制限があるため、アプリケーションの開始時にダウンロードすることをお勧めします。 これは私が今使用パターンです：データが下盛であれば、私は、ダウンロードの活動 2を開始しない場合は、ダウンロードの活動がAを開始し、 1.（マップを描画するために使用
    android download android-sdcard large-data 2011-02-08
最新の質問