Google Cloud telah mengumumkan fitur baru di Dataflow yang memungkinkan pembacaan sumber kustom dengan load balancing, yang bertujuan untuk memangkas biaya dan meningkatkan efisiensi. Ini hadir sebagai solusi yang disambut baik untuk tantangan penskalaan beban kerja, terutama di lingkungan streaming dengan latensi yang dipantau secara ketat.
Banyak strategi autotuning modern kesulitan untuk mengatasi hot key atau hot worker yang menghambat pemrosesan dan membuat backlog, yang memengaruhi kesegaran data. Misalnya, lingkungan streaming seperti Apache Kafka dapat membuat titik panas di pipeline. Autoscaler dapat mencoba mengimbanginya setelah fakta dengan unit komputasi tambahan, tetapi ini tidak hanya mahal, tetapi juga lambat. Autoscaler hanya bereaksi setelah ada backlog pesan yang terakumulasi dan menimbulkan overhead yang memutar pekerja baru.
Fitur load balancing baru bekerja dengan mendistribusikan beban kerja dengan lebih baik dan secara proaktif meringankan pekerja yang kewalahan. Hal ini memungkinkan pipeline untuk mendorong lebih banyak data dengan sumber daya yang lebih sedikit dan latensi yang lebih rendah. Kasus penggunaan dunia nyata dari pelanggan Dataflow teratas menunjukkan efektivitas fitur ini dalam mengurangi biaya operasional dan meningkatkan kinerja pipeline.
Misalnya, satu pelanggan dapat mengurangi peristiwa penskalaan pekerja hingga 75%, yang menghasilkan pengurangan biaya harian sebesar 64% di Google Compute Engine, dan backlog turun dari ~1 menit menjadi ~10 detik.
Fitur load balancing ini diaktifkan secara default untuk semua pelanggan Dataflow di semua wilayah, sehingga mudah tersedia untuk dimanfaatkan tanpa memerlukan konfigurasi tambahan.
Sebagai kesimpulan, diperkenalkannya pembacaan sumber kustom dengan load balancing di Dataflow menandai langkah signifikan menuju peningkatan efisiensi pipeline dan pengurangan biaya, terutama di lingkungan streaming dengan kecepatan dan efisiensi yang terpenting.
