Membangun model bahasa untuk dunia finansial bukan sekadar soal melatih data besar, tetapi juga soal menilai apakah model benar-benar paham konteks ekonomi. Di sinilah PIXIU hadir: proyek open source berlisensi MIT yang menggabungkan LLM keuangan, dataset instruksi, dan benchmark evaluasi dalam satu paket riset. Proyek ini ditujukan bagi peneliti, praktisi fintech, data scientist, dan developer yang ingin menguji atau mengembangkan LLM khusus domain keuangan secara transparan.
Apa yang dilakukan PIXIU dan kenapa menarik
PIXIU pada dasarnya adalah kerangka kerja terbuka untuk mengembangkan, melakukan fine-tuning, dan mengevaluasi large language model di domain finansial. Alih-alih merilis satu model saja, tim di balik proyek ini merilis tiga komponen yang saling melengkapi: FinBen sebagai benchmark evaluasi pemahaman dan prediksi keuangan, FIT sebagai dataset instruksi multi-tugas dan multi-modal untuk melatih model, dan FinMA sebagai LLM keuangan yang di-fine-tune menggunakan FIT. Semua model, data instruksi, dan dataset evaluasi diumumkan secara terbuka melalui Hugging Face, sehingga hasil riset bisa direplikasi pihak lain.
Yang membuatnya menarik adalah pendekatannya yang menyeluruh. Banyak benchmark keuangan sebelumnya berfokus pada pemrosesan bahasa alami saja, sementara PIXIU juga memasukkan tugas prediksi yang mendekati skenario dunia nyata, seperti pergerakan harga saham. Proyek ini juga melampaui bahasa Inggris: FinBen telah mendukung versi Mandarin dan Spanyol, dengan koleksi evaluasi terpisah untuk masing-masing bahasa di Hugging Face. Kredibilitas risetnya diperkuat oleh dua paper yang dipublikasikan, yaitu PIXIU yang diterima di NeurIPS 2023 Datasets and Benchmarks Track serta paper FinBen, keduanya tersedia di arXiv.
Fitur utama menurut README:
- Sumber daya terbuka: LLM keuangan, data instruction tuning, dan dataset benchmark dirilis secara terbuka untuk mendorong riset dan transparansi.
- Multi-tugas: data instruksi dan benchmark mencakup empat tugas NLP keuangan dan satu tugas prediksi keuangan.
- Multi-modal: data mencakup time series dari tugas prediksi pergerakan saham, serta beragam jenis teks seperti laporan, artikel berita, tweet, dan dokumen regulator.
- Keragaman tugas: benchmark menggabungkan tugas NLP klasik dengan tugas prediksi keuangan yang selaras dengan situasi dunia nyata sehingga lebih menantang.
- Komunitas dan leaderboard: hasil model bisa dibandingkan melalui Open FinLLM Leaderboard di Hugging Face, dan tersedia kanal Discord untuk diskusi.
- Tantangan riset aktif: tim menggelar tantangan FinLLM di IJCAI 2024 dengan starter kit yang tersedia di repositori.
Cara Install
README PIXIU tidak menyertakan perintah instalasi dalam bentuk baris terminal. Langkah memulainya adalah mengakses sumber daya resmi yang sudah disediakan:
- Buka repositori PIXIU di GitHub dan baca dokumentasi lengkap, mulai dari struktur repositori hingga daftar tugas evaluasi.
- Ambil dataset dan model melalui koleksi Hugging Face FinBen & PIXIU, tempat dataset evaluasi Inggris, model FinMA, dan leaderboard tersedia. Untuk versi Mandarin dan Spanyol, tersedia koleksi terpisah ICE-PIXIU dan FLARE-ES.
- Unduh sumber daya tambahan lewat tautan unduhan resmi ini.
- Pelajari paper PIXIU di arXiv 2306.05443 dan FinBen di arXiv 2402.12659 untuk memahami metodologi evaluasi sebelum menjalankan eksperimen.
Pencapaian riset
PIXIU bukan proyek eksperimental semata. Paper PIXIU diterima pada NeurIPS 2023 Datasets and Benchmarks Track, dan paper FinBen diterbitkan sebagai tambahan yang memperluas cakupan benchmark, termasuk kemampuan dwibahasa antara Mandarin dan Inggris serta Spanyol dan Inggris pada LLM keuangan. Dengan begitu, proyek ini berfungsi sebagai rujukan ketika kita perlu menilai apakah sebuah model bahasa benar-benar kompeten untuk tugas finansial, bukan hanya terlihat meyakinkan pada percakapan umum.