Async: mapLimit avec limite n/sec

Des fonctionnalités similaires ont déjà été posées. ( #1113 #1082 #1020 #942 #37 ) Il existe une demande pour une sorte de fonctionnalité de "file d'attente limitée", mais gérer correctement ce type de construction est un problème difficile.

C'est le genre de choses pour lesquelles les gens utilisent des bibliothèques et des systèmes de file d'attente de messages dédiés.

tl;dr you/async aurait besoin d'une sorte de fonction de lissage pour ce faire. Si nous devions faire cela, nous implémenterions probablement une fonction de lissage exponentielle a token bucket .

Si quelqu'un est intéressé à travailler dessus, faites-le nous savoir :)

OP : peut-être avez-vous déjà résolu ce problème... J'ai utilisé un autre package NPM pour implémenter la limitation de débit à l'aide de modèles leakybucket ou token bucket. https://www.npmjs.com/package/limiter Cela a bien fonctionné pour moi dans le passé. Pour créer une fonction de mappeur à débit limité, faites simplement quelque chose comme ça. Votre fonction de mappeur est directement utilisée avec async.

var RateLimiter = require("limiter").RateLimiter;
var limiter = new RateLimiter(2, "second");
var async = require('async');

function rateLimitedMapper(item, callback)
{
  limiter.removeTokens(1, function(err, remainingRequests) {
    console.log("working on item: " + item);
    callback(null, item.length);
  });
}

async.map(input, rateLimitedMapper, function(err, results) {
  // do something with results
 });

Cela semble être une bibliothèque que nous devrions mentionner dans notre fichier readme. Semble faire ce que nous voulions construire.

Oui, il utilise un seau à jetons sous le capot, ce qui est la même approche que j'adoptais. Je serais très bien de reporter la limitation de débit aux bibliothèques externes :)

Ouais, honnêtement, je ne serais pas ravi de devoir prendre en charge quelque chose comme ça au sein d'Async. Il y a tellement de pièges lors de la limitation du débit.

Changer les balises à ce sujet pour signifier que nous avons besoin d'une place dans la documentation pour les autres bibliothèques qui étendent Async.

Une autre façon de le faire en utilisant Promise.all et promise-throttle :

https://stackoverflow.com/questions/20253425/throttle-and-queue-up-api-requests-due-to-per-second-cap/47627820#47627820