Calibrate, Then Route: A Measured Study of Learned Request Routing for Disaggregated LLM Serving
LLM AI 80/100
خلاصه خبر واقعیت از منبع
arXiv:2609.16206v1 Announce Type: new Abstract: Disaggregated LLM serving places compute heavy prefill and memory heavy decode on separate GPU pools. Systems such as DistServe, Splitwise, and Mooncake make this separation fast, but routing still determines which instances handle each request. We study a router that estimates the additional completion time on each instance using exact prompt length, predicted output length, post admission KV cache pressure, and SLO class.
وضعیت تحلیل
تحلیل هوشمند برای این خبر هنوز با ارائهدهنده واقعی تولید نشده است. خلاصه بالا از متادیتای منبع یا ترجمه عنوان/خلاصه است و ادعای تحلیل ساختگی ندارد.
موجودیتهای مرتبط
پردازنده گرافیکی · technology مدل زبانی بزرگ · technology تراشه AI · technology