آموزش اتصال چند DGX Spark به یکدیگر؛ راهنمای ساخت کلاستر هوش مصنوعی
اگر پروژه‌های هوش مصنوعی شما به مرحله‌ای رسیده که پردازش‌های سنگین آن از توان یک سیستم فراتر رفته است، ساخت کلاستر با چند دستگاه NVIDIA DGX Spark راهکار اصلی شماست. در این مقاله آموزشی، نحوه اتصال سخت‌افزاری، انتخاب کابل‌های مناسب، پیکربندی شبکه ConnectX-7 و راه‌اندازی کلاستر را بررسی می‌کنیم. کلاستر NVIDIA DGX Spark چیست و چه کاربردی دارد؟اتصال از طریق کابل DAC مستقیم QSFP56 به QSFP56 دستگاه NVIDIA DGX Spark یک سیستم قدرتمند و جمع‌وجور برای توسعه و اجرای مدل‌های…
آخرین بروزرسانی: 7 آبان 1405
زمان مطالعه: 17 دقیقه
اگر پروژه‌های هوش مصنوعی شما به مرحله‌ای رسیده که پردازش‌های سنگین آن از توان یک سیستم فراتر رفته است، ساخت کلاستر با چند دستگاه NVIDIA DGX Spark راهکار اصلی شماست. در این مقاله آموزشی، نحوه اتصال سخت‌افزاری، انتخاب کابل‌های مناسب، پیکربندی شبکه ConnectX-7 و راه‌اندازی کلاستر را بررسی می‌کنیم.
کلاستر NVIDIA DGX Spark چیست و چه کاربردی دارد؟اتصال از طریق کابل DAC مستقیم QSFP56 به QSFP56
دستگاه NVIDIA DGX Spark یک سیستم قدرتمند و جمع‌وجور برای توسعه و اجرای مدل‌های هوش مصنوعی است. زمانی که حجم محاسبات یا نیاز حافظه افزایش می‌یابد، می‌توان با اتصال چند دستگاه DGX Spark از طریق شبکه پرسرعت، با استفاده از “کابل کلاستر DGX Spark – کابل اتصال ConnectX-7 DAC / QSFP56“یک کلاستر مقیاس‌پذیر ساخت.
این ساختار به توسعه‌دهندگان و پژوهشگران کمک می‌کند تا بارهای کاری توزیع‌شده را پیاده‌سازی کنند. توجه داشته باشید که افزایش کارایی به نرم‌افزار، روش توزیع محاسبات و نوع مدل بستگی دارد و اتصال چند دستگاه به‌تنهایی به معنی ترکیب خودکار تمام حافظه‌ها (Memory Pooling) نیست.
مرجع تخصصی تجهیزات هوش مصنوعی ایران ★
⚡ سوپر کامپیوتر هوش مصنوعی انویدیا DGX Spark – ۱۲۸GB / ۴TB
برای بررسی مشخصات فنی کامل، ظرفیت ۱۲۸ گیگابایتی حافظه یکپارچه Unified Memory، توان پردازشی فوق‌العاده Blackwell و اطلاع از شرایط تأمین این ابرکامپیوتر رومیزی هوش مصنوعی، به صفحه محصول مراجعه کنید.
تجهیزات موردنیاز برای اتصال DGX Spark
تجهیزات موردنیاز برای اتصال DGX Sparkبرای راه‌اندازی موفقیت‌آمیز کلاستر، به سخت‌افزار و ابزارهای زیر نیاز دارید:
- دو یا چند دستگاه NVIDIA DGX Spark
- کابل‌های سازگار QSFP برای برقراری ارتباط شبکه پرسرعت
- سیستم‌عامل و درایورهای به‌روز دستگاه‌ها
- پیکربندی صحیح رابط‌های شبکه و تنظیمات IP
- ابزار نرم‌افزاری مدیریت کلاستر (مانند NVIDIA Sync)
هر دستگاه DGX Spark دارای دو درگاه QSFP متصل به کنترلر شبکه پیشرفته ConnectX-7 است. هر درگاه حداکثر سرعت اسمی ۲۰۰ گیگابیت بر ثانیه را ارائه می‌دهد؛ بنابراین تهیه کابل‌هایی با پهنای باند بالاتر، تأثیری در افزایش سرعت این پورت‌ها نخواهد داشت.
معرفی و بررسی کنترلر شبکه NVIDIA ConnectX-7
کنترلر شبکه پیشرفته NVIDIA ConnectX-7 به عنوان یکی از پیشروترین و قدرتمندترین آداپتورهای ارتباطی در دنیای سخت‌افزار، نقش حیاتی و کلیدی در زیرساخت‌های مقیاس‌پذیر هوش مصنوعی، مراکز داده مدرن و سیستم‌های پردازش ابری ایفا می‌کند. این تراشه پیشرفته با پشتیبانی از پهنای باند فوق‌العاده بالا، به طور اختصاصی برای مدیریت بارهای کاری سنگین، مدل‌های زبانی بزرگ (LLM) و پردازش‌های توزیع‌شده طراحی شده است.
یکی از برجسته‌ترین قابلیت‌های فنی ConnectX-7، پشتیبانی از استانداردهای ارتباطی پرسرعت مانند InfiniBand و اترنت (Ethernet) با نرخ تبادل داده تا ۲۰۰ و ۴۰۰ گیگابیت بر ثانیه است. این میزان از پهنای باند به سیستم‌ها اجازه می‌دهد تا بدون مواجهه با گلوگاه‌های ارتباطی، حجم عظیمی از داده‌های میان‌گره‌ای را با کمترین میزان تاخیر (Latency) پردازش کنند. فناوری‌های شتاب‌دهی سخت‌افزاری درون‌تراشه‌ای مانند RDMA over Converged Ethernet (RoCE) و GPUDirect RDMA نقش بسزایی در کاهش بار پردازنده مرکزی (CPU) و انتقال مستقیم داده‌ها میان کارت‌های گرافیک و حافظه شبکه دارند.
در معماری کلاسترهای هوش مصنوعی، جایی که ده‌ها یا صدها گره پردازشی (مانند سیستم‌های DGX) نیاز به هماهنگی لحظه‌ای و تبادل پارامترهای مدل دارند، کنترلر ConnectX-7 عملکردی پایدار و همگام فراهم می‌کند. پشتیبانی از موتورهای تطبیقی پیشرفته، قابلیت‌های امنیتی سطح سازگار با سخت‌افزار، رمزگذاری درون‌خطی و مدیریت هوشمند ترافیک شبکه، این کنترلر را به انتخابی بی‌رقیب برای مهندسان و مدیران زیرساخت تبدیل کرده است. این ویژگی‌ها در نهایت منجر به حداکثر بهره‌وری عملیاتی، کاهش زمان آموزش مدل‌های هوش مصنوعی و بهینه‌سازی کامل منابع سخت‌افزاری در مقیاس‌های سازگاهی بزرگ می‌شود.
چه کابلی برای اتصال کلاستر مناسب است؟
مطابق مستندات رسمی NVIDIA، حتماً باید از کابل‌های سازگار با سرعت حداقل ۲۰۰ گیگابیت بر ثانیه استفاده کنید. نمونه‌های تأییدشده و استاندارد عبارت‌اند از:
- Amphenol: مدل NJAAKK-N911
- Amphenol: مدل NJAAKK0006 (نسخه ۰٫۵ متری)
- Luxshare: مدل LMTQF022-SD-R
پیش از خرید نهایی، حتماً سازگاری کابل و کانکتور را با ریویژن دستگاه و توپولوژی شبکه خود تطبیق دهید.
نکته ایمنی مهم: هنگام اتصال کابل QSFP، زبانه کابل باید رو به بالا باشد و کانکتور بدون اعمال فشار وارد درگاه شود. وارد کردن اجباری و خشن کابل می‌تواند آسیب جدی به پورت دستگاه وارد کند.
مراحل ساخت کلاستر NVIDIA DGX Spark
مرحله اول: اتصال فیزیکی دستگاه‌ها
دستگاه‌ها را در رک یا میز کار خود در وضعیت پایدار قرار دهید. با استفاده از کابل‌های QSFP تأییدشده، درگاه‌ها را طبق آرایش شبکه موردنظر (اتصال مستقیم یا سوئیچ) به یکدیگر متصل کنید.
مرحله دوم: شناسایی رابط‌های شبکه (Network Interfaces)
پس از برقراری اتصال فیزیکی، سیستم‌عامل لینوکس رابط‌های شبکه را شناسایی می‌کند. به دلیل معماری PCIe و نحوه کارکرد کنترلر ConnectX-7، هر درگاه فیزیکی QSFP ممکن است به چندین رابط منطقی شبکه منتهی شود.
برای بررسی دقیق ارتباط میان رابط‌های اترنت و RoCE، از دستور زیر استفاده کنید:
ibdev2netdevخروجی این دستور نام رابط‌ها و وضعیت لینک را نشان می‌دهد. از آنجا که نام‌گذاری‌ها بر اساس مسیر آدرس PCIe انجام می‌شود، تنظیمات IP را نباید صرفاً بر اساس شماره ظاهری رابط‌ها انجام دهید.
مرحله سوم: تنظیم شبکه و آدرس‌های IP
پس از شناسایی دقیق رابط‌ها، نوبت به پیکربندی لایه IP برای ارتباط پایدار بین گره‌ها (Nodes) می‌رسد. آدرس‌دهی غلط یا انتخاب اینترفیس نامعتبر باعث قطع ارتباط کلاستر یا افت شدید پهنای باند خواهد شد. توصیه می‌شود دستورالعمل رسمی انویدیا را برای نوع آرایش شبکه خود دقیقاً دنبال کنید.
مرحله چهارم: راه‌اندازی کلاستر با ابزار NVIDIA Sync
نرم‌افزار NVIDIA Sync و دستیار هوشمند آن (Cluster Assistant) ابزار رسمی برای تسهیل پیکربندی کلاستر هستند. این ابزار وظایفی نظیر شناسایی سیستم‌ها، تنظیمات شبکه ConnectX-7، تست سلامت لینک و پیکربندی کلیدهای SSH را خودکارسازی می‌کند.
طبق مستندات NVIDIA، این ابزار از اتصال مستقیم حداکثر ۳ دستگاه و اتصال تا ۴ دستگاه از طریق سوئیچ شبکه پشتیبانی می‌کند.
تفاوت اتصال مستقیم با استفاده از سوئیچ شبکه
آیا اتصال چند DGX Spark باعث ترکیب حافظه GPU می‌شود؟
یک سوال رایج این است که آیا با اتصال این دستگاه‌ها، حافظه کارت‌های گرافیک با هم جمع می‌شوند؟ پاسخ کوتاه این است که اتصال شبکه‌ای به معنای تجمیع خودکار حافظه در سطح سیستم‌عامل نیست. برای اجرای مدل‌های بسیار بزرگ که فراتر از حافظه یک دستگاه هستند، فریم‌ورک‌ها و کدهای نرم‌افزاری شما باید از روش‌های توزیع مدل (Model Parallelism) یا داده (Data Parallelism) پشتیبانی کنند.
جمع‌بندی و منابع
پیاده‌سازی کلاستر با سیستم‌های NVIDIA DGX Spark روشی حرفه‌ای برای مقیاس‌دهی به زیرساخت هوش مصنوعی است. موفقیت در این امر به انتخاب دقیق کابل، پیکربندی عاری از خطا در لایه شبکه و استفاده از ابزارهای مدیریتی سازگار وابسته است.
برای مطالعه جزئیات نقشه‌ها، جدول تطبیق پورت‌های QSFP و پکیج‌های نرم‌افزاری، به مستندات رسمی NVIDIA DGX Spark مراجعه کنید.
مرجع تخصصی تجهیزات هوش مصنوعی ایران ★
⚡ کابل کلاستر DGX Spark – کابل اتصال ConnectX-7 DAC / QSFP56
برای برقراری ارتباط پرسرعت ۲۰۰ گیگابیت بر ثانیه میان گره‌های کلاستر، استفاده از کابل‌های سازگار QSFP56 و کنترلر ConnectX-7 الزامی است. جهت بررسی مشخصات فنی، طول کابل و استعلام موجودی، به صفحه محصول مراجعه کنید.
منبع فنی: NVIDIA DGX Spark User Guide — ConnectX-7 Networking
توجه: این راهنما اختصاصاً مربوط به اتصال چند سیستم مستقل NVIDIA DGX Spark به یکدیگر است و ارتباطی با نحوه اتصال چند کارت گرافیک منفرد (مانند NVIDIA RTX PRO 6000) ندارد.
آیا این مقاله برای شما مفید بود؟
100٪
از 2 نفر،
2 نفر این مقاله را مفید دانسته‌اند.
