Sadar akan keterbatasan Copilot, pembuat bir ini menggunakan proses jaminan kualitas internal mereka sendiri untuk memeriksa bahwa kode yang telah mereka buat berfungsi sesuai yang diharapkan, menurut Chief Information Officer Sarah Haywood.
Pada akhirnya, katanya, perusahaan akan dapat mengalihkan tugas tersebut juga. “Seiring berjalannya waktu, orang akan semakin percaya pada AI,” katanya. “Saya tidak berpikir kita harus selalu memeriksa segala sesuatu yang dilakukan AI, jika tidak kita sebenarnya tidak menambahkan nilai.”
Dalam upaya untuk menilai akurasi teknologi ini, Universitas Waterloo Kanada menerbitkan eksperimen tahun lalu. Para peneliti mengumpulkan kumpulan data yang terdiri dari potongan kode yang memiliki cacat yang diketahui dan perbaikan untuk kesalahan itu.
Para peneliti meminta Copilot untuk membuat potongan-potongan ini dengan tepat untuk melihat apakah itu akan menghasilkan versi yang bermasalah. Asisten ini menggandakan versi cacat 33% dari waktu, lebih jarang daripada manusia.
Dalam seperempat kasus, AI menghasilkan kode dengan perbaikan. Secara umum, Copilot lebih baik dalam menghindari kesalahan dasar daripada yang lebih kompleks, kata Mei Nagappan, seorang profesor ilmu komputer di sekolah itu dan salah satu penulis studi ini.
“Analoginya di sini adalah kita berada dalam era asisten pengemudi saat ini, belum mencapai tahap kendaraan otomatis,” katanya.
Insinyur perangkat lunak bisa lambat dalam mengubah kebiasaan kerja mereka. Banyak menyambut baik Copilot tetapi waspada tentang menjadi terlalu bergantung padanya. Studi yang didanai oleh GitHub baru-baru ini menemukan bahwa pengembang menerima saran asisten hanya 27% dari waktu.
Insinyur juga bisa cepat menyalahkan Copilot jika ada yang tidak beres. Ketika situs Etsy mengalami kerusakan selama periode singkat pada bulan Oktober dan Desember tahun lalu, beberapa pengembang perusahaan tersebut menuding Copilot atas gangguan tersebut. Etsy mengonfirmasi insiden tersebut tetapi membantah bahwa Copilot bertanggung jawab.
