Google Cloud mengumumkan inovasi infrastruktur canggih untuk masa depan AI-first Anda, termasuk TPU generasi keenam, Trillium, A3 Ultra VM yang didukung oleh NVIDIA H200 Tensor Core GPU, Hypercompute Cluster, C4A VM yang didasarkan pada prosesor Axion khusus, peningkatan pada jaringan pusat data Jupiter dan kemampuan pembongkaran host Titanium, dan layanan penyimpanan Hyperdisk ML. Peningkatan ini bertujuan untuk meningkatkan kinerja infrastruktur AI, kemudahan penggunaan, dan efisiensi biaya bagi pelanggan. Trillium memberikan peningkatan kinerja yang signifikan dibandingkan TPU v5e, termasuk peningkatan kinerja pelatihan lebih dari 4x, peningkatan throughput inferensi hingga 3x, dan peningkatan efisiensi energi sebesar 67%. A3 Ultra VM dirancang untuk menawarkan lompatan signifikan dalam kinerja dibandingkan generasi sebelumnya, dengan bandwidth jaringan GPU-ke-GPU 2x lipat dan kinerja inferensi LLM hingga 2x lebih tinggi. Hypercompute Cluster menyederhanakan pengelolaan kluster akselerator AI, memungkinkan penerapan yang andal dan berulang melalui satu panggilan API. C4A VM sekarang tersedia secara umum, menawarkan peningkatan kinerja dan efisiensi untuk berbagai beban kerja tujuan umum. Titanium dan jaringan Jupiter telah ditingkatkan untuk mendukung beban kerja AI, dengan adaptor jaringan Titanium ML baru yang menghadirkan lalu lintas GPU-ke-GPU 3,2 Tbps melalui RoCE. Hyperdisk ML sekarang tersedia secara umum, menyediakan penyimpanan berkinerja tinggi untuk beban kerja AI dan HPC, dengan waktu pemuatan data yang lebih cepat dan efisiensi biaya yang lebih besar.