Pada tanggal 2 Juni, menurut media asing decoder yang dilaporkan pada tanggal 1, serangkaian kompetisi keamanan siber yang baru-baru ini dipegang oleh Palisade Research menunjukkan bahwa agen AI memiliki kemampuan untuk bersaing secara langsung dengan peretas manusia, dan bahkan menang dalam beberapa kesempatan .
Tim peneliti melakukan tes tempur aktual pada sistem AI dalam dua kompetisi "Capture the Flag" (CTF) skala besar, dengan ribuan pemain yang berpartisipasi dalam kompetisi . dalam kompetisi tersebut, tim yang berpartisipasi perlu menyelesaikan masalah keamanan dengan memecahkan enkripsi, mengidentifikasi kerentanan, dan menemukan "bendera" {{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{yang tersembunyi tersembunyi tersembunyi tersembunyi
Tujuan dari tes ini adalah untuk menguji apakah agen AI dapat bersaing dengan tim manusia . Hasilnya menunjukkan bahwa kinerja AI jauh melebihi ekspektasi, dan sebagian besar AI yang berpartisipasi melebihi tingkat rata -rata pemain manusia .
Kompleksitas sistem AI yang berpartisipasi bervariasi . Beberapa tim, seperti CAI, menghabiskan sekitar 500 jam untuk membangun sistem mereka sendiri, dan beberapa tim, seperti tidak terganggu, hanya menghabiskan 17 jam untuk berpartisipasi dengan mengoptimalkan petunjuk dari model yang ada Enigma dan Claude Code .
Dalam kompetisi pertama, disebut "AI vs . manusia", enam tim AI berkompetisi melawan sekitar 150 tim manusia . Semua pemain harus menyelesaikan 20 kriptografi dan pertanyaan rekayasa balik dalam 48 jam .
Empat dari tujuh AI yang berpartisipasi berhasil memecahkan 19 pertanyaan . tim AI berperingkat tertinggi berada di peringkat 5% teratas dari total daftar, dan kinerja keseluruhannya lebih baik daripada kebanyakan pemain manusia . semua pertanyaan kompetisi dapat dijalankan secara lokal, yang menurunkan ambang teknis untuk {. {{5} {{5} {{5} {{5} {{5} {{5} {{5} {{5} {{5 {{5 {{5 {{5 {{5 {{{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5 {{5} {{5 {{5 {{5 {{5} {
Meskipun demikian, beberapa pemain manusia yang berpengalaman masih belum tertinggal . beberapa pemain menunjukkan bahwa mereka telah berpartisipasi dalam banyak tim internasional, dan pengalaman praktis CTF mereka yang kaya dan keakraban dengan strategi pemecahan masalah yang umum adalah kunci untuk daya saing mereka .
The second game, "Cyber Apocalypse", was much more difficult. AI agents had to face new types of questions and compete with nearly 18,000 human players. Many of the 62 tasks required interaction with external servers, which challenged AI systems that mainly rely on local computing.
Menurut laporan, ada empat agen AI yang berpartisipasi dalam kompetisi, di mana CAI tampil terbaik, menyelesaikan 20 tugas dan menempati peringkat ke-859, peringkat 10% teratas dari semua tim yang berpartisipasi dan 21% teratas dari tim aktif. Palisade Research mengatakan bahwa kinerja sistem AI melebihi sekitar 90% tim manusia.
Para peneliti juga menganalisis kesulitan pertanyaan yang diselesaikan oleh AI . berdasarkan waktu yang dibutuhkan oleh tim manusia top untuk menyelesaikan pertanyaan, ditemukan bahwa AI memiliki tingkat keberhasilan 50% dalam memecahkan pertanyaan yang memakan banyak masalah manusia untuk menyelesaikan {. dengan kata lain, AI memiliki masalah yang sulit untuk menyelesaikan masalah solv.