Google Cloud mengumumkan model penyematan teks baru di Vertex AI, "text-embedding-004" dan "text-multilingual-embedding-002", yang dapat menghasilkan penyematan yang dioptimalkan berdasarkan "jenis tugas". Ini merupakan perkembangan yang signifikan untuk aplikasi Retrieval Augmented Generation (RAG).
Pencarian kesamaan semantik tradisional sering kali gagal memberikan hasil yang akurat dalam RAG karena pertanyaan dan jawaban pada dasarnya berbeda. Misalnya, "Mengapa langit berwarna biru?" dan jawabannya, "Hamburan sinar matahari menyebabkan warna biru," memiliki arti yang berbeda.
"Jenis tugas" menjembatani kesenjangan ini dengan memungkinkan model untuk memahami hubungan antara kueri dan jawabannya. Dengan menentukan "QUESTION_ANSWERING" untuk teks kueri dan "RETRIEVAL_DOCUMENT" untuk teks jawaban, model dapat menempatkan penyematan lebih dekat satu sama lain dalam ruang penyematan, yang mengarah ke hasil pencarian yang lebih akurat.
Model baru ini memanfaatkan "distilasi LLM", di mana model yang lebih kecil dilatih dari Model Bahasa Besar (LLM). Hal ini memungkinkan model penyematan untuk mewarisi beberapa kemampuan penalaran LLM, meningkatkan kualitas pencarian sekaligus mengurangi latensi dan biaya.
Kesimpulannya, "jenis tugas" di Vertex AI Embeddings merupakan langkah signifikan untuk meningkatkan akurasi dan efisiensi sistem RAG. Dengan menyederhanakan pencarian semantik, fitur ini memberdayakan pengembang untuk membangun aplikasi yang lebih cerdas dan sadar bahasa.