AUT-0649· Знання та ШІ
Відкладена обробка запитів до ШІ при обмеженні пропускної здатності
Запити аналізу текстів лишаються в контрольованій черзі після обмеження сервісу й мають явний результат або причину зупинки.
Чернетка · Оцінка потребує перевірки
01 / Проблема
Пік запитів викликає багато повторів і ще більше перевантажує сервіс. Частина текстів губиться або отримує кілька бізнес-результатів після повторної відповіді.
02 / Результат
Кожний текст має один ключ обробки, обмежені спроби й явний стан; відкладені або невизначені результати не запускають повторні бізнес-дії.
03 / Процес
ТригерЧерга аналізу текстів зростає або сервіс ШІ відхилив запит через тимчасове обмеження.
Зберегти стабільний ключ тексту, потрібну редакцію аналізу, пріоритет і допустимий строк; повторне надходження зіставити з чинною обробкою.
Прочитати фактичну відповідь сервісу й доступні обмеження; відмову за змістом або довжиною не називати автоматично тимчасовою квотою.
Для дозволеного повтору врахувати рекомендовану паузу й межу спроб; узгодити повтори адаптера та SDK без множення циклів.
Повертати запит із черги з контрольованою швидкістю; невизначений результат після вже виконаної бізнес-дії спочатку звірити.
Після отримання відповіді зафіксувати один результат; прострочені та вичерпані спроби передати відповідальному з причиною, а не позначати успіхом.
04 / Реалізація1 варіант
Приклад · Контроль із підтвердженням результату
Пакет текстів перевищив поточну швидкість сервісу. Черга зберегла відкладені записи, врахувала паузу й передала вичерпані спроби оператору без повторних задач.
Спосіб реалізації
- Зберігати ключі, стани й обмежені спроби аналізу текстів.
- Керувати швидкістю черги та звіряти невизначені бізнес-результати.
Що потрібно для реалізації
- Є стабільні ключі текстів, погоджений строк і правила пріоритету.
- Є журнал спроб та дозволений маршрут читання стану обробки.
Обмеження
- Microsoft описує ліміти запитів і токенів, 429, заголовки паузи й обмежені повтори; це не гарантує доступної місткості.
- Черга, ключі й підтвердження бізнес-результату — редакційна модель; жодних точних квот цільовому клієнту не приписано.
- Права й можливості цільового середовища перевіряють на аудиті; години попередні.
Що потрібно уточнити (2)
- Чи потрібні пріоритети й різні строки запитів?
Погодьте порядок та прострочення без втрати записів.
- Чи кілька адаптерів або SDK мають власні повтори?
Звірте один контрольований цикл і журнал спроб.