DeepSeek-V4.1-Flash: معماری نامتقارن، فشرده‌سازی شدید KV Cache و کارایی در بارهای عاملی
چکیده. DeepSeek-V4.1-Flash مدل چندوجهی Mixture-of-Experts با حدود ۵۵۲ میلیارد پارامتر ستون فقرات است که ۱۰ سپتامبر ۲۰۲۶ معرفی شد. این مدل کوچک‌ترین عضو خانواده معماری جدید DeepSeek است، درک بصری بومی دارد، و زمینه تا یک میلیون توکن را پشتیبانی می‌کند. نوآوری اصلی آن معماری Causal Encoder–Decoder (CED) است: در مرحله پیش‌پر کردن (prefill) حدود ۸ میلیارد پارامتر و در مرحله تولید (decode) حدود ۱۶ میلیارد پارامتر فعال می‌شود. ترکیب Compressed Sparse Attention 2، کش FP4 و بازپخش محدود پنجره لغزان، ردپای KV Cache سراسری را به ۸۹۰ بایت در هر توکن رسانده است؛ یعنی حدود یک‌چهارم نسل قبل روی HBM و حدود یک‌هشتم روی ذخیره پایدار. شرکت اعلام کرده مدل از مدل پرچمدار قبلی خود، V4-Pro، در مجموعه آزمون‌های عاملی جلوتر است و هم‌زمان قیمت API را کاهش داده است. وزن‌ها و گزارش فنی روی Hugging Face منتشر شده‌اند.
مقدمه
رقابت مدل‌های زبانی بزرگ دیگر فقط بر دقت خام روی آزمون‌های دانش عمومی نیست. در کاربردهای عامل‌محور (agentic) هزینه واقعی را سه چیز تعیین می‌کند: تعداد پارامتر فعال در هر توکن، اندازه کش توجه برای زمینه طولانی، و نسبت ورودی به خروجی. بسیاری از جریان‌های کاری عامل حجم ورودی بسیار بزرگ‌تری از خروجی دارند؛ مخزن کد، لاگ ترمینال، تصویر رابط کاربری، تاریخچه ابزار. در این رژیم، هزینه پیش‌پر کردن و نگهداری KV Cache سهم غالب صورتحساب و محدودیت سخت‌افزار است.
DeepSeek-V4.1-Flash دقیقاً برای همین گلوگاه طراحی شده است. اعلام رسمی شرکت آن را «کوچک‌ترین مدل خانواده معماری جدید» با درک بصری بومی معرفی می‌کند؛ هدف طراحی، سقف توانایی بالاتر، استنباط سریع‌تر، توان عملیاتی بیشتر، و مقیاس‌پذیری به مدل‌های بزرگ‌تر عنوان شده است. مدل روی API با نام deepseek-flash در دسترس است و وزن باز آن همراه گزارش فنی «Pushing the Limits of KV Cache Compression» منتشر شده است.
این مقاله رشته‌توییت رسمی ۱۰ سپتامبر ۲۰۲۶ را به روایتی ساخت‌یافته تبدیل می‌کند و ادعاهای معماری، کارایی حافظه، نتایج بنچمارک، سیاست API و پیامدهای استقرار را با گزارش مدل و مستندات قیمت‌گذاری هم‌تراز می‌کند.
مشخصات کلی مدل
| ویژگی | مقدار اعلام‌شده |
|---|---|
| نوع | MoE چندوجهی (متن + تصویر → متن) |
| پارامتر ستون فقرات | ۵۵۲ میلیارد |
| پارامتر فعال در prefill | حدود ۸ میلیارد |
| پارامتر فعال در decode | حدود ۱۶ میلیارد |
| طول زمینه | ۱٬۰۰۰٬۰۰۰ توکن |
| پیکربندی توجه/لایه | ترنسفورمر ۴۰ لایه: ۲۰ لایه رمزگذار علّی + ۲۰ لایه رمزگشا |
| MoE | ۱ خبره مشترک + ۳۸۴ خبره مسیریابی‌شده در هر لایه؛ فعال‌سازی ۶ خبره مسیریابی‌شده در هر توکن |
| پیش‌آموزش | حدود ۴۵ تریلیون توکن چندوجهی |
| KV Cache سراسری | ۸۹۰ بایت در هر توکن |
| مجوز وزن | MIT (طبق کارت مدل) |
منبع اعداد: کارت مدل Hugging Face و گزارش فنی.
توجه شود که برخی راهنماهای استقرار شخص‌ثالث عدد کل را نزدیک ۵۲۲ میلیارد نیز گزارش کرده‌اند؛ رقم رسمی شرکت و کارت مدل ۵۵۲ میلیارد است و در این مقاله همان مبنا استفاده می‌شود.
معماری نامتقارن: Causal Encoder–Decoder
ایده مرکزی V4.1-Flash جدا کردن هزینه پردازش ورودی از هزینه تولید خروجی است. در ترنسفورمر استاندارد رمزگشا‌محور، تقریباً همان مجموعه پارامتر برای هر توکن ورودی و خروجی فعال می‌شود و KV هر لایه از حالت پنهان همان لایه ساخته می‌شود. CED این تقارن را می‌شکند.
طبق گزارش مدل، شبکه ۴۰ لایه به دو نیمه تقسیم شده است: ۲۰ لایه رمزگذار علّی و ۲۰ لایه رمزگشا. KV سراسری رمزگشا از حالت پنهان نهایی رمزگذار تصویر می‌شود، نه از حالت هر لایه رمزگشا. نتیجه عملی این است که پیش‌پر کردن، که در عامل‌ها معمولاً سنگین‌ترین بخش است، فقط حدود ۸ میلیارد پارامتر را فعال می‌کند؛ تولید همچنان حدود ۱۶ میلیارد پارامتر فعال دارد.
این عدم‌تقارن برای بارهایی معنا دارد که نسبت ورودی به خروجی بالاست: خواندن یک مخزن بزرگ و نوشتن چند صد خط وصله، یا مرور ده‌ها اسکرین‌شات و تولید یک برنامه عمل. در چنین سناریویی، کاهش پارامتر فعال ورودی اثر مستقیم روی تأخیر پیش‌پر کردن، توان عملیاتی دسته‌ای، و هزینه واحد دارد. شرکت همین را با عبارت «هوش بیشتر، هزینه کمتر» در اعلام رسمی جمع بسته است.
اجزای معماری مکمل CED عبارت‌اند از:
- Compressed Sparse Attention 2 (CSA2): هر لایه توجه یکی از سه حالت ایستا را می‌گیرد: Full، Reindex یا Reuse. هدف، اشتراک KV اصلی و کلید ایندکسر بین لایه‌ها و استفاده مجدد از اندیس‌های توجه تنک است.
- ایندکسر تنک سلسله‌مراتبی: لایه‌های بعدی ایندکس را روی استخر نامزد ساخته‌شده توسط نخستین لایه Full محدود می‌کنند تا هزینه ایندکس عمیق مستقل از طول زمینه بماند.
- حافظه شرطی Engram: جداول هش مبتنی بر n-گرام که با جست‌وجوی تنک به جریان باقیمانده تزریق می‌شوند؛ گزارش مدل اندازه این بخش را حدود ۱۹۶ میلیارد پارامتر اعلام کرده است. این پارامترها متراکم فعال نمی‌شوند، اما ظرفیت ذخیره و پهنای باند جست‌وجو را در استقرار محلی تعیین می‌کنند.
- Single-Pass mHC: نسخه بازنگری‌شده اتصال ابر‌منیفولد برای مخلوط‌کردن جریان باقیمانده.
- DSpark: رمزگشایی گمانی نیمه‌خودبرگشتی با راستی‌آزمایی زمان‌بندی‌شده بر اساس اطمینان.
- رمزگذار بینایی بومی (DeepSeek-ViT) به‌همراه پروژکتور MLP، به‌جای ماژول بینایی جداگانه پس از آموزش متنی.
وجود Engram به این معناست که «پارامتر فعال ۸/۱۶ میلیارد» هزینه محاسبه لحظه‌ای را توصیف می‌کند، نه کل حافظه وزن. برای استقرار محلی باید ظرفیت جداول حافظه شرطی جداگانه برنامه‌ریزی شود.
فشرده‌سازی KV Cache: از صدها کیلوبایت تا ۸۹۰ بایت
دومین محور اعلام رسمی، کوچک‌کردن کش توجه است. شکل منتشرشده در رشته‌توییت روند تاریخی DeepSeek را چنین نشان می‌دهد:
| نسل | زمان تقریبی | KV Cache سراسری (بایت در هر توکن) | نسبت به نسل قبل |
|---|---|---|---|
| DeepSeek-V1 | نوامبر ۲۰۲۳ | ۳۸۹٬۱۲۰ | — |
| DeepSeek-V3.2 | دسامبر ۲۰۲۵ | ۴۸٬۰۶۸ | حدود ۸.۱ برابر کوچک‌تر از V1 |
| DeepSeek-V4-Flash | آوریل ۲۰۲۶ | ۳٬۵۱۴ | حدود ۱۳.۷ برابر کوچک‌تر از V3.2 |
| DeepSeek-V4.1-Flash | سپتامبر ۲۰۲۶ | ۸۹۰ | حدود ۳.۹ برابر کوچک‌تر از V4-Flash |
نسبت تجمعی نسبت به V1 حدود ۴۳۷ برابر اعلام شده است. نسبت به V4-Flash، نیاز HBM حدود یک‌چهارم و نیاز ذخیره پایدار (SSD یا حافظه میزبان) حدود یک‌هشتم است.
دو سازوکار این کاهش را ممکن کرده‌اند.
اول، CSA2 به‌علاوه کش KV اصلی با دقت FP4 (قالب E2M1 و یک مقیاس E4M3 برای هر ۱۶ کانال). این بخش همان کش سراسری مقیم HBM را به ۸۹۰ بایت در توکن می‌رساند.
دوم، SWA Bounded Replay. به‌جای نوشتن کامل KV پنجره لغزان روی SSD، سیستم فقط چند صد توکن اخیر را در صورت نیاز دوباره اجرا می‌کند و حالت گم‌شده را بازمی‌سازد. در نتیجه ردپای پایدار کش، که در عامل‌های چندنوبتی و پیشوندهای تکراری هزینه «cache hit» را می‌سازد، به‌شدت کوچک می‌شود. شرکت تأکید کرده که در بارهای عاملی سهم هزینه cache-hit اغلب بزرگ است؛ فشرده‌سازی کش دقیقاً همان سهم را هدف می‌گیرد.
پیامد سیستمی روشن است: زمینه یک‌میلیون‌توکنی دیگر فقط یک عدد تبلیغاتی روی کارت مدل نیست، بلکه به محدودیت حافظه و پهنای باند نزدیک‌تر به رژیم عملیاتی نزدیک می‌شود. البته بازپخش پنجره، هزینه محاسبه موضعی را با هزینه ذخیره مبادله می‌کند؛ در بارهایی با پیشوند بسیار متغیر و cache-miss غالب، سود کمتر از بارهای عامل با پیشوند پایدار خواهد بود.
داده، پیش‌آموزش و پس‌آموزش
مدل از صفر روی پیکره چندوجهی حدود ۴۵ تریلیون توکن آموزش دیده است. توجه تنک در طول توالی ۶۴ هزار توکن آموزش داده شده و گسترش زمینه تا یک میلیون توکن از حدود ۳۴ تریلیون توکن به بعد اعمال شده است.
پس‌آموزش از الگوی آشنای SFT، سپس یادگیری تقویتی، سپس تقطیر روی‌سیاست (on-policy distillation) پیروی می‌کند. گزارش مدل می‌گوید الگوریتم پس‌آموزش نسبت به نسل قبل عوض نشده؛ بهبود از خط لوله داده آمده است: سنتز خودکار تکلیف عاملی و مقیاس‌دهی تدریجی. مدل همچنین «تلاش استدلال قابل کنترل پیوسته» در بازه ۱ تا ۱۰۰ را پشتیبانی می‌کند؛ یعنی می‌توان هزینه استنباط را با دقت معامله کرد. این ویژگی برای بنچمارک‌هایی که با ابزار اجرا می‌شوند اهمیت دارد، چون عدد نهایی به بودجه محاسبه وابسته است.
از منظر روش‌شناسی علمی باید توجه کرد که جزئیات ترکیب داده، نرخ تکرار، و پروتکل دقیق RL در اعلام توییتری نیامده و ارزیابی مستقل باید به گزارش فنی و اسکریپت‌های بازتولید روی مخزن مدل مراجعه کند.
نتایج تجربی اعلام‌شده
جدول منتشرشده در رشته‌توییت، V4.1-Flash را در کنار V4-Pro (نسخه ۰۸۱۳)، V4-Flash (۰۷۳۱)، GLM-5.3، Kimi-K3، GPT-5.6-Sol و Claude Opus 5 قرار می‌دهد. اعداد زیر از همان جدول رسمی است؛ ستاره در HLE به زیرمجموعه فقط‌متنی اشاره دارد.
| آزمون | V4.1-Flash | V4-Pro | V4-Flash | GLM-5.3 | Kimi-K3 | GPT-5.6-Sol | Opus 5 |
|---|---|---|---|---|---|---|---|
| GPQA Diamond | ۹۰.۹ | ۹۲.۴ | ۸۹.۹ | ۸۸.۱ | ۹۲.۹ | ۹۴.۱ | ۹۳.۴ |
| HLE | ۳۶.۸ (۳۹.۱*) | ۴۲.۷* | ۳۷.۸* | ۴۲.۰* | ۴۳.۵ | ۴۴.۵ | ۵۶.۳ |
| Codeforces (رتبه) | ۳۴۷۱ | ۳۳۴۸ | ۳۲۸۹ | — | — | — | — |
| MathArena Apex | ۶۵.۶ | ۶۵.۳ | ۵۸.۶ | — | ۶۵.۶ | — | — |
| Terminal-Bench 2.1 | ۹۰.۶ | ۸۷.۹ | ۸۲.۷ | ۸۸.۲ | ۸۸.۳ | ۸۸.۸ | ۸۹.۱ |
| Terminal-Bench 3.0 | ۳۰.۰ | ۱۱.۸ | ۷.۶ | ۲۸.۳ | ۱۷.۷ | ۳۴.۴ | ۴۳.۳ |
| Terminal-Bench 4.0 | ۳۱.۲ | ۱۲.۴ | ۷.۰ | ۳۷.۹ | ۱۲.۶ | ۳۹.۹ | ۵۱.۸ |
| DeepSWE v1.1 | ۷۴.۲ | ۶۲.۷ | ۵۴.۴ | ۶۶.۹ | ۶۷.۵ | ۷۳.۰ | ۷۴.۰ |
| ProgramBench | ۲۰.۳ | ۱۵.۵ | — | ۱۹.۰ | ۱۷.۵ | ۲۳.۰ | ۳۷.۰ |
| NL2Repo-Bench | ۶۵.۴ | ۶۱.۵ | ۵۴.۲ | ۵۸.۰ | ۵۸.۰ | ۵۶.۸ | ۷۵.۳ |
| CyberGym | ۸۸.۱ | ۸۳.۳ | ۷۶.۷ | ۸۴.۵ | ۸۰.۰ | ۸۴.۵ | — |
| SEC-Bench Pro | ۶۲.۸ | ۵۶.۴ | ۳۰.۹ | — | — | ۷۴.۳ | — |
| ExploitGym | ۱۵.۳ | ۵.۴ | ۱.۸ | ۱۵.۰ | — | ۳۳.۷ | ۲۲.۱ |
| HLE (با ابزار) | ۶۳.۹ | ۶۰.۰ | ۵۱.۵ | ۶۲.۵ | ۵۹.۸ | — | ۶۳.۶ |
| Automation-Bench | ۵۴.۸ | ۴۳.۲ | ۳۷.۷ | ۴۸.۸ | ۴۶.۷ | ۴۵.۸ | ۵۰.۳ |
| Agents’ Last Exam | ۳۱.۸ | ۲۵.۷ | ۲۵.۲ | ۲۸.۵ | ۲۷.۶ | ۲۶.۷ | ۲۸.۶ |
| Chartography (با ابزار) | ۷۸.۹ | — | — | — | ۶۸.۱ | ۷۹.۹ | ۸۴.۰ |
| BabyVision (با ابزار) | ۸۹.۶ | — | — | — | ۸۵.۷ | ۸۸.۹ | ۹۴.۱ |
| ZeroBench-main (با ابزار) | ۴۹.۰ | — | — | — | ۴۱.۰ | ۵۳.۰ | ۵۲.۰ |
نمودار میله‌ای همراه اعلام، چهار آزمون عاملی را برجسته می‌کند: Terminal-Bench 3.0 (۳۰.۰)، DeepSWE v1.1 (۷۴.۲)، CyberGym (۸۸.۱) و Automation-Bench (۵۴.۸). در DeepSWE و CyberGym مدل در صدر یا نزدیک صدر این مجموعه قرار دارد؛ در Terminal-Bench 3.0 و ۴.۰ هنوز از Opus 5 عقب است.
چند مشاهده روش‌شناختی لازم است.
یکم، برتری نسبت به V4-Pro در آزمون‌های نرم‌افزاری و عاملی چشمگیرتر از آزمون‌های دانش سخت مثل GPQA و HLE بدون ابزار است. این با فرض طراحی سازگار است: معماری برای بار ورودی‌سنگین و ابزارمحور بهینه شده، نه لزوماً برای دانش دایره‌المعارفی خام.
دوم، بسیاری از اعداد «با ابزار» هستند. مقایسه عادلانه مستلزم یکسان بودن داربست عامل، بودجه فراخوانی ابزار، و سطح تلاش استدلال است. مخزن مدل پوشه ارزیابی برای بازتولید DeepSWE v1.1 را منتشر کرده است.
سوم، شرکت نوشته «آزمون چند طرف مستقل V4.1-Flash را جلوتر از V4-Pro در عملکرد، هزینه، سرعت و زمان کل اجرا می‌داند». جزئیات آن آزمایش‌های شخص‌ثالث در توییت نیامده است؛ ادعای «جلوتر در هر چهار محور» باید به‌عنوان گزارش سازنده خوانده شود تا نتیجه داوری مستقل.
API، مسیر مهاجرت و قیمت
مدل روی API با شناسه deepseek-flash و پشتیبانی چندوجهی بومی فعال است. نام‌های قدیمی deepseek-v4-flash و deepseek-v4-flash-vision-exp موقتاً به V4.1-Flash هدایت می‌شوند. از ساعت ۰۴:۰۰ UTC در ۱۴ سپتامبر ۲۰۲۶ درخواست‌های deepseek-v4-pro نیز تا زمان عرضه V4.1-Pro با نرخ V4.1-Flash به همین مدل می‌روند. شرکای اعلام‌شده در توییت شامل WorkBuddy (از جمله Codebuddy) و OpenCode هستند.
قیمت جدید از ساعت ۰۴:۰۰ UTC در ۱۰ سپتامبر ۲۰۲۶ اعمال شده و بر حسب دلار برای هر یک میلیون توکن است:
| بازه | ورودی (cache hit) | ورودی (cache miss) | خروجی |
|---|---|---|---|
| غیراوج | ۰.۰۰۳ | ۰.۱۵ | ۰.۶۰ |
| اوج | ۰.۰۰۶ | ۰.۳۰ | ۱.۲۰ |
ساعات اوج: ۰۱:۰۰–۰۴:۰۰ و ۰۶:۰۰–۱۰:۰۰ UTC در روزهای کاری. بقیه ساعات، آخر هفته و تعطیلات غیراوج‌اند و نرخ غیراوج نصف نرخ اوج است.
فاصله شدید بین cache-hit و cache-miss همان منطق معماری را در لایه محصول بازتاب می‌دهد. اگر عامل پیشوند پایدار داشته باشد، هزینه ورودی می‌تواند دو مرتبه بزرگی کمتر از miss کامل باشد. در مقابل، بارهای یک‌بارمصرف با زمینه تازه همچنان نرخ miss را می‌پردازند. این ساختار قیمت، طراحی سامانه را به سمت پیشوند مشترک، حافظه جلسه، و دسته‌بندی کار در ساعات غیراوج سوق می‌دهد.
متن‌باز و استقرار
وزن مدل و گزارش فنی روی Hugging Face در دسترس است. شرکت گفته با جامعه متن‌باز روی پشتیبانی استنباط کار می‌کند و برای استقرار بزرگ‌مقیاس (نمونه ذکرشده: ۲۰۰۰ GPU به‌علاوه خوشه ذخیره) آماده گفت‌وگو است. راهنماهای اولیه برای vLLM و SGLang در همان روز انتشار ظاهر شده‌اند و جزئیاتی مثل پنجره لغزان ۱۲۸ توکنی، اشتراک KV فشرده میان لایه‌ها، و بازسازی KV پنجره در cache-hit را شرح می‌دهند.
برای پژوهش بازتولیدپذیر، سه قطعه حیاتی است: وزن، گزارش معماری، و داربست ارزیابی. مورد سوم هنوز کامل‌تر از دو مورد اول نیست؛ بخشی از بنچمارک‌های جدول رسمی پروتکل عمومی یکسانی ندارند. همچنین جداول Engram حجم حافظه غیرمحاسباتی بزرگی به استقرار محلی اضافه می‌کنند و نباید در برآورد «۸ تا ۱۶ میلیارد فعال» نادیده گرفته شوند.
محدودیت‌ها و پرسش‌های باز
V4.1-Flash یک مدل کارآمد است، نه اثبات تمام‌عیار برتری علمی بر تمام مدل‌های بسته. در GPQA Diamond و HLE بدون ابزار، مدل‌های رقیب اعداد بالاتری دارند. در Terminal-Bench نسل ۳ و ۴ فاصله با Opus 5 باقی است. ادعای جلو زدن از V4-Pro در «عملکرد و هزینه و سرعت و زمان کل» به آزمون‌های سازنده و طرف‌های نام‌برده‌نشده متکی است.
پرسش‌های باز برای کارهای بعدی عبارت‌اند از:
- پایداری کیفیت در زمینه نزدیک به یک میلیون توکن، فراتر از آزمون‌های بازیابی سوزن.
- هزینه واقعی بازپخش SWA در بارهای با پیشوند ناپایدار.
- سهم Engram در دقت در برابر هزینه حافظه.
- تعمیم معماری CED به مدل بزرگ‌تر بعدی (V4.1-Pro) بدون از دست رفتن مزیت عدم‌تقارن ۸/۱۶ میلیارد.
- شفافیت بیشتر پروتکل ابزار در بنچمارک‌های چندوجهی مثل BabyVision و Chartography.
تا زمان انتشار گزارش داوری مستقل، اعداد جدول باید به‌عنوان نتایج گزارش‌شده سازنده تلقی شوند.
نتیجه‌گیری
DeepSeek-V4.1-Flash نشان می‌دهد مسیر کاهش هزینه عامل لزوماً کوچک‌کردن مدل پرچمدار نیست. با جدا کردن رمزگذار و رمزگشا، فعال‌سازی نامتقارن ۸ و ۱۶ میلیارد پارامتر، و فشردن KV Cache تا ۸۹۰ بایت در توکن، می‌توان مدل ۵۵۲ میلیارد پارامتری را برای بار ورودی‌سنگین ارزان‌تر کرد و هم‌زمان در چند آزمون نرم‌افزاری از نسل Pro خود شرکت جلو زد. کاهش قیمت API و هدایت تدریجی ترافیک V4-Pro به همین مدل، این فرض را به لایه محصول هم تسری داده است.
ارزش علمی اعلام ۱۰ سپتامبر ۲۰۲۶ بیشتر در صورت‌بندی مسئله است تا در یک عدد بنچمارک واحد: اگر گلوگاه عامل حافظه توجه و هزینه پیش‌پر کردن باشد، معماری باید نامتقارن شود و کش باید فشرده شود. آزمون این فرض، نه رشته‌توییت، بلکه بازتولید مستقل روی بارهای واقعی با زمینه بلند و ابزار خواهد بود.
منابع
- DeepSeek. رشته‌توییت معرفی DeepSeek-V4.1-Flash. X / @deepseek_ai، ۱۰ سپتامبر ۲۰۲۶. https://x.com/deepseek_ai/status/2097930608790167907
- DeepSeek-AI. DeepSeek-V4.1-Flash model card. Hugging Face. https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
- DeepSeek-AI. DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression. Technical report, ۲۰۲۶.
- DeepSeek API Docs. Change log و Models & Pricing، به‌روزرسانی ۱۰ سپتامبر ۲۰۲۶. https://api-docs.deepseek.com/updates
- LMSYS. «SGLang and Miles Add Day-0 Support for DeepSeek-V4.1»، ۱۰ سپتامبر ۲۰۲۶.