Where Should the KV Cache Live? Placement Policies Across GPU, CPU, and SSD for Long-Lived Sessions
AI Infrastructure AI 78/100
خلاصه خبر واقعیت از منبع
arXiv:2609.16215v1 Announce Type: new Abstract: GPU high bandwidth memory is scarce and expensive, and KV caches consume much of it as chats, agent loops, and document question answering accumulate state. Systems such as Mooncake, LMCache, FlexGen, InfiniGen, and AttentionStore extend GPU memory with CPU DRAM and SSD. The harder question is which blocks belong in each tier, when to move or evict them, and whether prefetching helps.
وضعیت تحلیل
تحلیل هوشمند برای این خبر هنوز با ارائهدهنده واقعی تولید نشده است. خلاصه بالا از متادیتای منبع یا ترجمه عنوان/خلاصه است و ادعای تحلیل ساختگی ندارد.
موجودیتهای مرتبط
عامل هوشمند · technology زیرساخت هوش مصنوعی · technology پردازنده گرافیکی · technology مدل زبانی بزرگ · technology