مع تطور نماذج الذكاء الاصطناعى إلى ما بعد المقاييس التريليون المعلمة ، تتطلب الصناعة الأداء الشديد والقدرة. أدخل NVIDIA H100 96GB PCIE OEM-أقوى PCIE على أساسGPUمن أي وقت مضى تم إنشاؤه ، يجمع بين هندسة النطاط ، و 96 جيجابايت من ذاكرة HBM3 فائقة السرعة ، وتسريع FP8 الدقيق لإلغاء قفل مستويات الأداء لم يسبق له مثيل في عامل شكل PCIE.
تم تصميمه لنماذج كبيرة ، مدعومة بأرقام حقيقية
مع 96 جيجابايت HBM3 على متنGPUتم تصميمه للتعامل مع:
GPT-4 ، Claude 3 ، Gemini 1.5 ، Llama 3-400B
LLMs متعددة الوسائط ونماذج الانتشار (الفيديو ، الرؤية ، الصوت)
في الوقت الفعلي ، انخفاض تكاليف الذكاء الاصطناعي على نطاق واسع على نطاق واسع
صقل النموذج على مستوى المؤسسة (خرقة ، SFT ، لورا)
المواصفات الرئيسية:
الذاكرة: 96 جيجابايت HBM3 ، عرض النطاق الترددي حتى 3.35 تيرابايت/ثانية
أداء التوتر: ما يصل إلى 4000 tflops (FP8) مع محرك المحولات
Peak FP16 أداء: أكثر من 2000 tflops
واجهة PCIE: PCIE Gen5 X16
الهندسة المعمارية: Nvidia Hopper (H100)
بيانات الأداء:
في المعايير الداخلية NVIDIA ، تحققت H100 96GB PCIE:
تصل إلى 3.5 × تدريب GPT-J أسرع مقابل A100 80GB PCIE
2.6 × إنتاجية استنتاج LLM أعلى مقابل H100 80GB
دعم فعال لقياس GPU (MIG) متعدد الثورات ، مما يسمح بأعباء عمل آمنة AI-A-A-Service على بطاقة واحدة
ميزة OEM: نفس القوة ، المشتريات الأكثر ذكاءً
The H100 96GB PCIe OEM version delivers identical computational performance as retail models, but at a significantly lower TCO. Perfect for:
تكامل خادم GPU
مقدمي خدمات Cloud AI
المختبرات الوطنية ومجموعات الجامعات
منصات القياس من رقائق رقائق الذكاء الاصطناعي
يسلط الضوء على إصدار OEM:
100 ٪ وحدات معالجة الرسومات الجديدة
عبوة صينية بالجملة أو وحدات مختومة مضادة
التوافق العالمي (Supermicro ، Dell ، Asus ، Gigabyte)
ضمان مرن (1-3 سنوات على أساس الحجم)
متاح لشحنات الحجم
حالات الاستخدام: AI Extreme ، في أي مكان
LLM Training & Tulling-Finetune Models في الشركة ، وتجنب تكاليف السحابة العامة
ترقية البنية التحتية لمنظمة العفو الدولية - استبدل العقد A100 بأداء 2-3 × لكل واط
AI الاستدلال كخدمة (AIAAS)-يخدم الآلاف من الجلسات باستخدام MIG أو خطوط أنابيب الحاويات
الذكاء الاصطناعى الطبي-التصوير الدقيق ، اكتشاف المخدرات ، التشخيص في الوقت الفعلي
النظم المستقلة-الانصهار متعدد المستشعرات ، والمحاكاة ، وتعلم السياسة
"يمكن لـ H100 96GB PCIE مطابقة أو يتفوق على العديد من A100s في أعباء العمل القائمة على المحولات-مما يؤدي إلى تقليل حجم المجموعة ، واستخدام الطاقة ، والتكلفة." - Nvidia ، 2024 ورقة بيضاء
