XMerge: Cross-Axis Selection and Reconstructive Layer Merging for LLM Depth Compression
LLM AI 63/100
خلاصه خبر واقعیت از منبع
arXiv:2609.02083v1 Announce Type: new Abstract: Removing complete transformer layers preserves a standard serving architecture, but existing depth-compression methods can lose substantial quality, and the loss varies unpredictably across models. We introduce XMerge, a post-training method with two components. Cross-axis selection identifies a block with low relative-magnitude and angular hidden-state change, and local boundary reconstruction re-fits the adjacent surviving bl…
وضعیت تحلیل
تحلیل هوشمند برای این خبر هنوز با ارائهدهنده واقعی تولید نشده است. خلاصه بالا از متادیتای منبع یا ترجمه عنوان/خلاصه است و ادعای تحلیل ساختگی ندارد.
موجودیتهای مرتبط
مدل زبانی بزرگ · technology