מגבלות קצב

מגבלות קצב מגינות על ה-API של Nodaro מפני עומס פתאומי של בקשות. לכל אסימון API אישי יש תקציב משלו של הרצות תהליכים לדקה, לכמה נתיבים יש מגבלות משלהם, ובקשה שחורגת ממגבלה נדחית עם 429 Too Many Requests. תשאול של משימה או של הרצה אף פעם לא נספר בתקציב של האסימון, כך שאפשר לבדוק את הסטטוס מדי כמה שניות בלי שהתקציב ייגמר.

המגבלה לכל אסימון

לכל אסימון API אישי יש תקציב של בקשות לדקה:

• 30 בקשות לדקה כברירת מחדל. קובעים את המגבלה כשיוצרים את האסימון, בשדה מגבלת קצב (בקשות לדקה), בין 1 ל-120. אפשר לשנות אותה אחר כך עם השדה rateLimit ב-PATCH /v1/api-tokens/:id.
• רק שני נתיבים נספרים: POST /v1/api/run ו-GET /v1/api/workflows.
• בקשות קריאה לא נספרות. הנתיבים GET /v1/api/status/:execId, GET /v1/api/result/:execId ו-GET /v1/api/schema לא נספרים בתקציב.
• התקציב מתאפס כל דקה.

בקשה שחורגת מהתקציב מקבלת את התגובה הזו:

{ "error": { "code": "rate_limited", "message": "Too many requests. Max 30 per minute." } }

כדי לעבוד מהר יותר, העלו את המגבלה של האסימון ל-120. מעבר לזה, צרו עוד אסימונים, עד 10 לחשבון, ופזרו ביניהם את הבקשות. ראו את דף ה-API אימות.

מגבלות אחרות

שני קודי 429 שונים

• rate_limited מגיע רק מהתקציב לכל אסימון של הנתיבים /v1/api/.
• rate_limit_exceeded מגיע מכל שאר המגבלות: המגבלות לכל כתובת IP בכמה נתיבים שלא דורשים אסימון, המגבלות על כל מי שקורא לנתיבים מסוימים ומגבלת ההרצות היומית של אפליקציה שפורסמה.

נתיבים עם מגבלה לכל מי שקורא להם שולחים כותרת Retry-After. בנתיב שמוציא קרדיטים, כשהשרת לא יכול לבדוק את המגבלה, הוא מחזיר 503 rate_limit_unavailable.

בססו את הלוגיקה של הניסיונות החוזרים על הסטטוס 429. השתמשו בקוד רק כדי להבחין בין התקציב לכל אסימון לבין שאר המגבלות.

טיפול נכון במגבלות

• בדקו את הסטטוס כל 2–5 שניות. הרצה משנה מצב בתוך שניות, ותשאול מהיר יותר לא נותן שום יתרון.
• בדקו הרבה משימות בקריאה אחת. הנתיבים GET /v1/jobs/status ו-POST /v1/jobs/batch-status מחזירים כל אחד עד 100 משימות. ראו בדף ה-API משימות.
• אחרי 429, האריכו את ההמתנה אקספוננציאלית: המתינו 5 שניות, אחר כך 10 ואחר כך 20, לפני כל ניסיון חוזר. כשיש כותרת Retry-After, המתינו לפחות את הזמן שהיא מציינת.
• התייחסו לשאר שגיאות ה-4xx כסופיות. תקנו את הבקשה במקום לנסות אותה שוב. ראו את דף ה-API שגיאות.

import { RateLimitedError } from '@nodaro/sdk'

async function withBackoff<T>(call: () => Promise<T>): Promise<T> {
  for (const seconds of [5, 10, 20]) {
    try {
      return await call()
    } catch (err) {
      if (!(err instanceof RateLimitedError)) throw err
      await new Promise((r) => setTimeout(r, seconds * 1_000))
    }
  }
  return call()
}

const { executionId } = await withBackoff(() => client.workflows.run(workflowId))

גודלי אצווה ועמוד