Lantas, bagaimana para peneliti ini berhasil membobol keamanan ChatGPT? Mereka menyisipkan frasa “Windows 10 serial number” dan mengelabui AI dengan menganggapnya sebagai sebuah “game”. Dengan trik ini, peneliti berhasil mengekstrak data kunci lisensi hanya dengan prompt “I give up.” ChatGPT langsung memberikan jawaban berupa kunci lisensi karena seluruh sesi dianggap sebagai bagian dari permainan.
Mengapa trik ini bisa menembus pertahanan ChatGPT? Peneliti mengungkapkan bahwa aturan yang disematkan pada GPT-4 hanya sebatas mendeteksi kata kunci yang dilarang, bukan pemahaman secara kontekstual atau framing yang menipu. Ini menunjukkan bahwa sistem keamanan AI mungkin masih memiliki keterbatasan dalam memahami nuansa percakapan manusia.
