Pada akhirnya, katanya, perusahaan akan dapat mengalihkan tugas tersebut juga. “Seiring berjalannya waktu, orang akan semakin percaya pada AI,” katanya. “Saya tidak berpikir kita harus selalu memeriksa segala sesuatu yang dilakukan AI, jika tidak kita sebenarnya tidak menambahkan nilai.”
Dalam upaya untuk menilai akurasi teknologi ini, Universitas Waterloo Kanada menerbitkan eksperimen tahun lalu. Para peneliti mengumpulkan kumpulan data yang terdiri dari potongan kode yang memiliki cacat yang diketahui dan perbaikan untuk kesalahan itu.
Para peneliti meminta Copilot untuk membuat potongan-potongan ini dengan tepat untuk melihat apakah itu akan menghasilkan versi yang bermasalah. Asisten ini menggandakan versi cacat 33% dari waktu, lebih jarang daripada manusia.
Dalam seperempat kasus, AI menghasilkan kode dengan perbaikan. Secara umum, Copilot lebih baik dalam menghindari kesalahan dasar daripada yang lebih kompleks, kata Mei Nagappan, seorang profesor ilmu komputer di sekolah itu dan salah satu penulis studi ini.
“Analoginya di sini adalah kita berada dalam era asisten pengemudi saat ini, belum mencapai tahap kendaraan otomatis,” katanya.
Insinyur perangkat lunak bisa lambat dalam mengubah kebiasaan kerja mereka. Banyak menyambut baik Copilot tetapi waspada tentang menjadi terlalu bergantung padanya. Studi yang didanai oleh GitHub baru-baru ini menemukan bahwa pengembang menerima saran asisten hanya 27% dari waktu.
Insinyur juga bisa cepat menyalahkan Copilot jika ada yang tidak beres. Ketika situs Etsy mengalami kerusakan selama periode singkat pada bulan Oktober dan Desember tahun lalu, beberapa pengembang perusahaan tersebut menuding Copilot atas gangguan tersebut. Etsy mengonfirmasi insiden tersebut tetapi membantah bahwa Copilot bertanggung jawab.
“Meskipun kami tentu memahami bahwa insinyur mungkin membahas bagaimana Copilot bisa teoritis berperan dalam gangguan atau masalah, kami tidak memiliki bukti bahwa alat ini benar-benar menyebabkan dampak yang terlihat oleh pelanggan,” kata juru bicara.
Copilot diharapkan akan meningkat secara dramatis dalam beberapa tahun mendatang. GitHub sudah menggulirkan peningkatan, termasuk versi enterprise yang dapat menjawab pertanyaan berdasarkan kode pemrograman pelanggan sendiri, yang seharusnya membantu insinyur baru beradaptasi lebih cepat dan memungkinkan programmer veteran untuk bekerja lebih cepat.
