Microsoft telah meluncurkan mesin virtual Azure terbarunya yang dioptimalkan untuk komputasi super AI, seri ND H200 v5.
Seiring dengan perkembangan lanskap AI yang pesat, kebutuhan akan infrastruktur yang skalabel dan berkinerja tinggi terus tumbuh secara eksponensial. Pelanggan Microsoft mengandalkan infrastruktur Azure AI untuk mengembangkan solusi inovatif yang digerakkan oleh AI, itulah sebabnya perusahaan ini menghadirkan kluster komputasi super AI berbasis cloud baru yang dibangun dengan mesin virtual (VM) seri Azure ND H200 v5. VM ini sekarang tersedia secara umum dan dirancang untuk menangani kompleksitas yang terus meningkat dari beban kerja AI tingkat lanjut, mulai dari pelatihan model dasar hingga inferensi generatif.
Salah satu aspek paling menarik dari ND H200 v5 adalah kemampuannya untuk mengatasi hambatan yang disebabkan oleh GPU yang tumbuh dalam kemampuan komputasi mentah pada tingkat yang jauh lebih cepat daripada memori yang terpasang dan bandwidth memori. VM seri ND H200 v5 menghadirkan peningkatan yang signifikan dalam kapasitas dan bandwidth Memori Bandwidth Tinggi (HBM), yang memungkinkan GPU untuk mengakses parameter model lebih cepat. Hal ini menghasilkan latensi aplikasi keseluruhan yang berkurang, yang sangat penting untuk aplikasi waktu nyata seperti agen interaktif.
Lebih lanjut, VM ND H200 v5 dapat mengakomodasi Model Bahasa Besar (LLM) yang lebih kompleks dalam memori satu VM. Ini menghilangkan kebutuhan untuk menjalankan pekerjaan terdistribusi di beberapa VM, meningkatkan kinerja, dan mengurangi kompleksitas.
Terakhir, ND H200 v5 hadir dengan pra-integrasi dengan layanan Azure seperti Azure Batch, Azure Kubernetes Service, Azure OpenAI Service, dan Azure Machine Learning. Integrasi ini memudahkan bisnis untuk memulai dengan VM baru, menjadikannya pilihan yang menarik bagi organisasi yang ingin memanfaatkan kekuatan komputasi super AI.
