vc.ru

p95 растёт по миллисекунде в день: как не приучить мониторинг к деградации LLM API

Мониторинг p95 для LLM API, динамический сезонный baseline, жёсткий SLO, защита от дрейфа, Python-модуль для canary и provider router ...