どのくらいの頻度でcronを実行し、twitter公開タイムラインを採掘するのですか？

Question

twitterの公開タイムラインに依存するwebapps、どのくらいの頻度でデータを収集しますか？ 1分ごとに何十万ものメッセージがなければなりませんか？どのように彼らはそれらのいずれかを逃すことなく、すべてのつぶやきを収集するために管理しますか？

Answer 1

一部のサービス（Friendfeedは良い例です）には、「firehose」というTwitter Streaming APIへのアクセス権が与えられています。承認と書面による同意が必要です。

Answer 2

twitter APIはレート制限されていると言われています。公開タイムライン（twitter.com/public_timeline）は同じ意味でレート制限されていませんが、5秒ごとに更新されるため、ほとんどのツイートは決してそこに表示されません。

私は、Twitterのフルフィードと呼ばれるように、Firehoseにアクセスできる企業は3つまたは4つだと思います。 FriendFeedはこれらの1つです。もう一つはGnipです。 Gnipはフィードを他の企業に転売します。これはおそらく完全なツイッターフィードを取得する唯一の実行可能な方法です。

Answer 3

ここに行く：1時間あたり100の要求が十分でない場合

http://twitter.com/help/request_whitelisting

、アカウントがホワイトリストに掲載するには、（毎時20,000ことができます）。

@ceejayozそれ以外の100 GETは、verify_credentialsやrate_limit_statusのようなリクエストを除いて100リクエストを要求します。

Answer 4

publictimelineは、もはやデータをマイニングするのに最適な場所ではありません。 Twitterは現在、Streaming APIsを使って狂ったようなつぶやきを出力しています。 publictimelineとの最も近い比較はspritzerメソッドですが、これには小さなサンプルしか含まれていません。スプライトメソッドよりもすべての（またはそれ以上の）ツイートを集める必要がある場合は、公開ツイートを返すfirehoseフィードなど、他のStreaming API（HTTPプッシュ）フィードにアクセスするための書面による契約に署名する必要があります。