ノードを使用してレート制限付きAPIからデータを取得する

Question

ノードを使用してレート制限されたAPIからデータを取得します。 APIには、1日あたりおよび1ヶ月あたりの制限があります。その分/ 1日に許可されているAPIコールの数が、既に使用されているコードが分かっているアルゴリズムを見つけるのが難しいです。

私はに私のロジックをしたいと思います：APIが制限

ヘルプに近い場合

スイッチキー：

• レート制限GETリクエスト（Rate limit GET requests潜在的な答えはここにあります） ！

  var unirest = require('unirest'); 
  var csv = require('fast-csv'); 
  
  keys = ['1a2a3a','2b1b2f'] 
  
  function readData(a, b, key, cb) { 
  
      var url = 'http://json.infoprovider.com/data.json?' 
      + 'a=' + a 
      + '&b=' + b 
      + '&key=' + key 
  
      unirest.get(url).end(function (response) { 
      cb(response.body); 
      }) 
  } 
  
  csv 
  .fromPath("data.csv", { headers: true }) 
  .on("data", function (data) { 
  
      readData(data.a, data.b, key[0], function (r) { 
       console.log("a: " + data.a + ", lng: " + data.b + ", result: " + (JSON.stringify(r))); 
       console.log("API consumed: " & r.UsedThisDay) 
      }) 
  }) 
  

Answer 1

あなたは彼らの例からnode-rate-limiter

を使用することができます：

var RateLimiter = require('limiter').RateLimiter; 
var limiter = new RateLimiter(1, 250); 


limiter.removeTokens(1, function() { 
    callMyMessageSendingFunction(...); 
}); 

ただ、そこにカウンターを追加し、関連付けることを

私の（擬似）コードは次のようになりますあなたは自分でレートを制限する方法があります。と同様には1日のリクエストを制限します。

var RateLimiter = require('limiter').RateLimiter; 
var limiter = new RateLimiter(1, 250); 
var requestsToday = 0; // Gets reset on each "new" day 
var requestsLimitPerDay = 200; 

limiter.removeTokens(1, function() { 
    callMyMessageSendingFunction(...); 
}); 

function callMyMessageSendingFunction() { 
    requestsToday++; 
    if (requestsToday < requestsLimitPerDay) { 
     makeAPICall(); 
    } 
} 

それは一日あたりの制限がある場合、それはおそらく同様に秒/分あたりの制限があるので、私は、両方の示唆。私の経験では。あなたの要求を全面的に抑制する方が良いでしょう。大規模なサーバー上で実行されているマルチコアNodejsアプリケーションは、Webリクエスト後に同時のWebリクエストを無視してWebサービスを怒らせる確かな方法です。

---

あなたのAPIはほぼ限り迅速にコールバックを取得するつもりはないが、あなたはまた、一日あたりの要求の上限を計算し、そして24時間の同じの上にRateLimiter(1, x)引数としてことを使用するオプションがあります。