Perdagangan kripto belum selesai, AI kini ikut bermain poker Texas Hold'em

Dibandingkan dengan bertarung melawan pasar, kali ini lawan AI adalah AI lainnya.

Penulis: Eric, Foresight News

Kompetisi trading AI NOF1 tinggal 4 hari lagi sebelum berakhir, saat ini DeepSeek dan Tongyi Qianwen masih memimpin jauh di depan, sementara 4 AI lainnya belum bisa mengalahkan hasil dari sekadar memegang bitcoin. Jika tidak ada kejutan, DeepSeek seharusnya akan menjadi juara, sekarang tinggal menunggu siapa yang bisa melampaui hasil memegang bitcoin dan siapa yang akan menjadi yang terakhir.

Meskipun trading kripto dengan AI menghadapi pasar yang terus berubah, ini tetap merupakan permainan PvE. Untuk benar-benar membandingkan "AI mana yang lebih pintar", bukan "AI mana yang lebih jago trading" dalam permainan PvP, seorang pemuda Rusia Max Pavlov mengajak 9 AI untuk bermain poker Texas Hold'em di satu meja.

Dari informasi yang tersedia di LinkedIn, Max Pavlov telah lama bekerja sebagai manajer produk, dan dalam pengenalan di situs AI poker-nya, ia juga menyatakan dirinya sebagai penggemar deep learning, AI, dan poker. Mengenai alasan melakukan uji coba ini, Max Pavlov mengatakan bahwa komunitas poker belum mencapai konsensus tentang keandalan penalaran model bahasa besar, dan kompetisi ini adalah demonstrasi kemampuan penalaran model bahasa besar dalam situasi nyata di meja poker.

Mungkin karena performa Grok dalam trading kripto tidak menonjol, Elon Musk kemarin membagikan tangkapan layar Grok yang memimpin di meja poker, seolah-olah ingin "mengembalikan harga diri".

Bagaimana performa para AI?

Turnamen poker kali ini mengundang 9 peserta, selain Gemini, ChatGPT, Claude Sonnet (diluncurkan oleh Anthropic yang pernah didanai FTX), Grok, DeepSeek, Kimi (AI dari Moonshot AI), Llama, juga ada Mistral Magistral yang fokus pada pasar dan bahasa Eropa yang dikembangkan oleh perusahaan Prancis Mistral AI, serta GLM dari Beijing Zhipu yang merupakan pelopor riset model bahasa besar di Tiongkok.

Sampai artikel ini ditulis, Gemini, ChatGPT, Claude Sonnet, Grok, dan DeepSeek berada di atas air (profit), sementara 4 peserta lainnya masih dalam posisi rugi, dan peserta Llama dari Meta yang paling parah, sudah kehilangan lebih dari setengah modalnya.

Turnamen ini dimulai tanggal 27 dan berakhir tanggal 31, sekarang tersisa kurang dari satu setengah hari. Dari grafik hasil, selama lebih dari satu hari pertama, Grok dari xAI selalu memimpin, setelah disalip oleh Gemini juga lama berada di posisi kedua. Dari 2540 putaran yang tercatat, Grok disalip oleh Claude Sonnet di sekitar putaran ke-2270, dan oleh ChatGPT di sekitar putaran ke-2500.

DeepSeek, Kimi, dan Mistral Magistral dari Eropa yang berada di sekitar garis impas tampil cukup stabil. Llama mulai terpuruk setelah masa percobaan, sekitar putaran ke-740, langsung terjun ke posisi terakhir, sedangkan GLM mulai tertinggal di sekitar putaran ke-1440.

Selain hasil, data statistik teknis menunjukkan "kepribadian" berbeda dari masing-masing AI.

Pada VPIP (Voluntarily Put $ In Pot, secara sukarela memasukkan chip ke pot), peserta Llama mencapai 61%, lebih dari setengah putaran memilih untuk bertaruh, sementara tiga peserta yang lebih stabil juga memiliki jumlah aksi paling sedikit, peserta dengan peringkat atas memiliki VPIP di kisaran 25% hingga 30%.

Pada PFR (Pre-Flop Raise, menaikkan taruhan sebelum flop), Llama juga menempati posisi pertama, diikuti oleh Gemini yang memiliki hasil tertinggi. Dari sini terlihat bahwa Llama dari Meta adalah peserta yang sangat agresif dan proaktif, sedangkan Gemini juga cukup agresif namun tingkat inisiatifnya sedang, mungkin karena berani bertaruh saat kartu bagus dan kebetulan bertemu Llama yang nekat, sehingga hasil keduanya sangat berbeda.

Jika digabungkan dengan data 3-Bet dan C-Bet, terlihat bahwa Grok sebenarnya adalah peserta yang cukup stabil namun tidak terlalu pasif, dan memiliki tekanan kuat sebelum flop, gaya ini membuatnya memimpin di awal, namun kemudian strategi agresif Gemini dan ChatGPT ditambah Llama yang nekat membuat mereka menyalip ke puncak.

Bagaimana para AI menganalisis?

Max Pavlov menetapkan beberapa aturan dasar untuk kompetisi ini, blind $10/$20, tanpa ante dan tidak boleh straddle, 9 peserta bermain di 4 meja sekaligus, jika chip kurang dari 100 big blind maka sistem otomatis menambah hingga 100 big blind.

Selain itu, semua AI peserta menggunakan satu set prompt yang sama, dengan batas maksimum token untuk membatasi panjang penalaran, dan jika respons tidak normal maka otomatis fold. Max Pavlov juga mendesain agar saat AI bertindak atau setelah satu putaran selesai, AI akan diminta menjelaskan proses pengambilan keputusannya.

Kita ambil satu putaran saat artikel ini ditulis sebagai contoh untuk melihat analisis para pemain AI.

Setelah Claude dan Gemini membayar small blind dan big blind, Llama merasa 8 sekop dan Q klub adalah kartu yang "relatif kuat", bisa mengejar straight atau flush sehingga ikut call 20.

DeepSeek menilai Q hati dan 2 hati di posisinya terlalu lemah untuk call, GLM menilai dengan flush di posisi tengah bisa raise untuk membangun pot melawan Llama yang loose, $80 juga cukup memberi tekanan sambil menjaga pot tetap terkendali. Kimi yang memegang kartu dengan angka sama namun warna berbeda dengan Llama, menilai kartunya terlalu lemah dan menghadapi tekanan 3-Bet berikutnya sehingga tidak layak call.

Sampai di sini, terlihat Llama tidak menganalisis data dan posisi, hanya langsung "asal" bertaruh, sedangkan tiga peserta berikutnya membuat keputusan berdasarkan posisi dan data sebelumnya.

Setelah GPT o3 berani raise 260 karena memegang A, Grok dan Magistral memilih fold, terutama Grok yang sudah menebak GPT mungkin memegang AK atau pair lebih tinggi, ditambah Llama yang main asal, akhirnya memilih fold.

Kemudian, Gemini, Llama, dan GLM juga memilih fold. GLM menilai GPT kemungkinan besar memegang pair besar atau A, sedangkan Llama tidak menganalisis data, hanya merasa kartunya cukup kuat tapi tidak cukup untuk call 260.

Keberanian Llama, kehati-hatian DeepSeek dan Kimi, serta keberanian GPT semua terlihat jelas di putaran ini, akhirnya tanpa flop GPT memenangkan pot. Saat artikel ini ditulis, keuntungan empat besar masih terus bertambah, bisa diprediksi jika tidak ada kejutan juara akan muncul dari empat besar, AI yang kurang baik di trading kripto, membuktikan kemampuannya di poker.

Meskipun banyak laboratorium menguji kemampuan AI dengan metode ilmiah, bagi pengguna, yang lebih penting adalah apakah AI bisa digunakan untuk kebutuhan mereka. DeepSeek yang kurang baik di poker adalah trader yang hebat, sedangkan Gemini yang sering rugi di trading justru berjaya di meja poker. Ketika AI hadir di berbagai skenario, kita bisa melihat bidang keahlian masing-masing AI melalui perilaku dan hasil yang bisa kita pahami.

Tentu saja, beberapa hari trading atau beberapa hari bermain poker tidak bisa menjadi kesimpulan mutlak atas kemampuan AI di bidang ini maupun evolusi masa depannya. Keputusan AI tidak mengandung unsur emosional, proses pengambilan keputusannya tergantung pada logika dasar algoritma, bahkan pengembang modelnya mungkin tidak tahu di bidang apa AI buatannya lebih unggul.

Melalui uji coba hiburan di luar laboratorium seperti ini, kita bisa lebih intuitif mengamati logika AI saat menghadapi hal dan permainan yang biasa kita lakukan, dan sebaliknya memperluas batas pemikiran manusia dan AI.