Alpha Arena Mengungkap Kelemahan Trading AI: Model Barat Kehilangan 80% Modal dalam Satu Minggu

Pasar adalah ujian utama bagi AI.

Penulis: Juan Galt

Penerjemah: AididiaoJP, Foresight News

Bisakah AI melakukan perdagangan cryptocurrency? Jay Azhang, seorang insinyur komputer dan praktisi keuangan dari New York, sedang menguji pertanyaan ini melalui Alpha Arena. Proyek ini mempertemukan model bahasa besar terkuat untuk saling bersaing, di mana setiap model memiliki modal sebesar 10.000 dolar AS, untuk melihat siapa yang dapat menghasilkan lebih banyak uang dalam perdagangan cryptocurrency. Model-model tersebut meliputi Grok 4, Claude Sonnet 4.5, Gemini 2.5 pro, ChatGPT 5, Deepseek v3.1, dan Qwen3 Max.

Sekarang Anda mungkin berpikir, "Wah, ini ide yang luar biasa!" Dan Anda akan terkejut, pada saat artikel ini ditulis, tiga dari lima AI berada dalam kondisi merugi, sementara Qwen3 dan Deepseek, dua model open source dari Tiongkok, justru memimpin.

Benar, AI paling kuat di dunia Barat, yang bersifat closed source dan dioperasikan oleh raksasa seperti Google dan OpenAI, telah kehilangan lebih dari 8.000 dolar AS dalam waktu lebih dari satu minggu, yaitu 80% dari modal perdagangan cryptocurrency mereka, sementara rekan-rekan open source dari Timur justru mencatatkan keuntungan.

Transaksi paling sukses sejauh ini? Qwen3 tetap untung dan terus menghasilkan profit hanya dengan posisi long bitcoin 20x yang sederhana. Grok 4, tidak mengherankan, selama sebagian besar waktu kompetisi terus melakukan long dogecoin dengan leverage 10x, sempat memimpin bersama Deepseek, namun kini mendekati kerugian 20%. Mungkin Elon Musk sebaiknya mengirim meme dogecoin agar Grok bisa keluar dari masalah.

Sementara itu, Gemini dari Google justru sangat bearish, melakukan short pada semua aset crypto yang dapat diperdagangkan, posisi yang sejalan dengan kebijakan cryptocurrency mereka selama 15 tahun terakhir.

Pada akhirnya, selama satu minggu berturut-turut, ia melakukan semua transaksi yang mungkin salah, dan untuk bisa seburuk itu juga membutuhkan keahlian, terutama ketika Qwen3 hanya melakukan long bitcoin. Jika ini adalah level terbaik yang bisa diberikan oleh AI closed source, mungkin OpenAI sebaiknya tetap closed source agar kita tidak mengalami kerugian.

Benchmark Baru untuk AI

Gagasan untuk mempertemukan model AI dalam arena perdagangan cryptocurrency memberikan beberapa wawasan yang sangat mendalam. Pertama, AI tidak dapat memperoleh jawaban atas tes pengetahuan perdagangan cryptocurrency selama pre-training, karena hal ini tidak dapat diprediksi, yang merupakan masalah pada benchmark lain. Dengan kata lain, banyak model AI telah diberikan beberapa jawaban tes selama pelatihan, sehingga mereka tampil baik saat diuji. Namun, beberapa penelitian menunjukkan bahwa sedikit perubahan pada tes-tes ini dapat menyebabkan perubahan besar pada hasil benchmark AI.

Kontroversi ini menimbulkan pertanyaan: apa ujian utama untuk kecerdasan? Menurut pencipta Grok 4, penggemar Iron Man Elon Musk, memprediksi masa depan adalah ukuran utama kecerdasan.

Dan kita harus mengakui, tidak ada masa depan yang lebih tidak pasti daripada harga jangka pendek cryptocurrency. Menurut Azhang, "Tujuan Alpha Arena kami adalah membuat benchmark lebih dekat dengan dunia nyata, dan pasar sangat sempurna untuk itu. Mereka dinamis, kompetitif, terbuka, dan selalu tidak dapat diprediksi. Mereka menantang AI dengan cara yang tidak dapat dilakukan oleh benchmark statis. Pasar adalah ujian utama bagi AI."

Pemahaman tentang pasar ini sangat berakar pada prinsip-prinsip libertarian yang melahirkan bitcoin. Ekonom seperti Murray Rothbard dan Milton Friedman telah menunjukkan lebih dari seratus tahun yang lalu bahwa pasar pada dasarnya tidak dapat diprediksi oleh pemerintah pusat, dan hanya individu yang harus menanggung kerugian yang dapat membuat keputusan ekonomi yang rasional.

Dengan kata lain, pasar adalah hal yang paling sulit untuk diprediksi, karena bergantung pada pandangan dan keputusan individu cerdas di seluruh dunia, sehingga menjadi ujian terbaik untuk kecerdasan.

Azhang menyebutkan dalam deskripsi proyeknya bahwa menginstruksikan AI untuk melakukan perdagangan tidak hanya demi keuntungan, tetapi juga mempertimbangkan pengembalian yang disesuaikan dengan risiko. Dimensi risiko ini sangat penting, karena satu transaksi buruk dapat menghapus semua keuntungan sebelumnya, seperti yang terlihat pada portofolio Grok 4 yang ambruk.

Ada juga masalah lain, yaitu apakah model-model ini belajar dari pengalaman mereka dalam memperdagangkan cryptocurrency, yang secara teknis tidak mudah dilakukan, karena biaya pre-training model AI sangat tinggi. Mereka dapat melakukan fine-tuning dengan riwayat perdagangan mereka sendiri atau orang lain, bahkan mungkin menyimpan perdagangan terbaru dalam memori jangka pendek atau jendela konteks, tetapi itu hanya membawa mereka sejauh ini. Pada akhirnya, model AI perdagangan yang benar-benar tepat mungkin harus benar-benar belajar dari pengalaman mereka sendiri, teknologi ini baru-baru ini diumumkan di dunia akademik, tetapi masih jauh dari menjadi produk. MIT menyebutnya sebagai model AI yang self-adaptive.

Bagaimana kita tahu ini bukan sekadar keberuntungan?

Analisis lain terhadap proyek ini dan hasilnya sejauh ini adalah bahwa hal ini mungkin tidak dapat dibedakan dari "random walk". Random walk mirip dengan melempar dadu untuk setiap keputusan. Bagaimana bentuknya di grafik? Sebenarnya ada simulator yang bisa Anda gunakan untuk menjawab pertanyaan ini; pada kenyataannya, hasilnya tidak akan jauh berbeda.

Masalah keberuntungan di pasar juga telah dijelaskan secara cukup rinci oleh intelektual seperti Nassim Taleb dalam bukunya "Antifragile". Dalam bukunya, ia berargumen bahwa dari sudut pandang statistik, seorang trader, misalnya Qwen3, yang beruntung selama satu minggu penuh, adalah hal yang sepenuhnya normal dan mungkin! Sehingga tampak seolah-olah ia memiliki kemampuan penalaran yang luar biasa. Pandangan Taleb tidak berhenti di situ, ia percaya bahwa di Wall Street ada cukup banyak trader sehingga salah satu dari mereka dapat dengan mudah beruntung selama 20 tahun berturut-turut, membangun reputasi seperti dewa, dan semua orang di sekitarnya menganggap trader tersebut adalah seorang jenius, sampai keberuntungannya habis.

Oleh karena itu, agar Alpha Arena menghasilkan data yang berharga, sebenarnya harus berjalan dalam waktu yang lama, dan pola serta hasilnya juga perlu direplikasi secara independen, sambil melibatkan risiko modal nyata, sebelum dapat dianggap berbeda dari random walk.

Pada akhirnya sejauh ini, melihat model open source seperti DeepSeek yang hemat biaya tampil lebih baik daripada rekan-rekan closed source-nya. Alpha Arena sejauh ini telah menjadi sumber hiburan yang baik, karena dalam seminggu terakhir telah menjadi viral di X.com. Tidak ada yang tahu ke mana masa depannya; kita harus melihat apakah taruhan yang diambil oleh penciptanya—memberikan 50.000 dolar AS kepada lima chatbot untuk berjudi di cryptocurrency—pada akhirnya akan membuahkan hasil.