AI sama pandai mendiagnosis penyakit seperti manusia
Tinjauan sistematik pertama dan analisis meta seumpamanya mendapati bahawa kecerdasan buatan (AI) sama baiknya dalam mendiagnosis penyakit berdasarkan imej perubatan seperti profesional kesihatan. Walau bagaimanapun, lebih banyak kajian berkualiti tinggi diperlukan.
Artikel baru meneliti bukti yang ada dalam usaha untuk menentukan sama ada AI dapat mendiagnosis penyakit seefektif profesional kesihatan.
Untuk pengetahuan penulis - iaitu, sekumpulan penyelidik yang diketuai oleh Profesor Alastair Denniston dari University Hospitals Birmingham NHS Foundation Trust di United Kingdom - ini adalah tinjauan sistematik pertama yang membandingkan prestasi AI dengan profesional perubatan untuk semua penyakit.
Prof Denniston dan pasukan mencari beberapa pangkalan data perubatan untuk semua kajian yang diterbitkan antara 1 Januari 2012 dan 6 Jun 2019. Pasukan ini menerbitkan hasil analisis mereka dalam jurnal Kesihatan Digital Lancet.
AI setaraf dengan profesional penjagaan kesihatan
Para penyelidik mencari kajian yang membandingkan keberkesanan diagnostik algoritma pembelajaran mendalam dengan profesional kesihatan ketika mereka membuat diagnosis berdasarkan pengimejan perubatan.
Mereka memeriksa kualiti pelaporan dalam kajian tersebut, nilai klinikal mereka, dan reka bentuk kajian.
Selanjutnya, ketika menilai prestasi diagnostik AI berbanding dengan profesional kesihatan, para penyelidik melihat dua hasil: kekhususan dan kepekaan.
"Sensitiviti" mendefinisikan kebarangkalian alat diagnostik mendapat hasil positif pada orang yang mengidap penyakit ini. Kekhususan merujuk kepada ketepatan ujian diagnostik, yang melengkapkan ukuran kepekaan.
Proses pemilihan menghasilkan hanya 14 kajian yang kualitinya cukup tinggi untuk dimasukkan dalam analisis. Prof Denniston menjelaskan, "Kami mengkaji lebih dari 20,500 artikel, tetapi kurang dari 1% daripadanya cukup kuat dalam reka bentuk mereka dan melaporkan bahawa pengulas bebas mempunyai keyakinan tinggi terhadap tuntutan mereka."
"Apa lagi, hanya 25 kajian yang mengesahkan model AI secara luaran (menggunakan gambar perubatan dari populasi yang berbeza), dan hanya 14 kajian membandingkan prestasi AI dan profesional kesihatan menggunakan sampel ujian yang sama."
"Dalam beberapa kajian berkualiti tinggi, kami mendapati bahawa pembelajaran mendalam dapat mengesan penyakit mulai dari kanker hingga penyakit mata secara tepat seperti profesional kesihatan. Tetapi penting untuk diperhatikan bahawa AI tidak mengatasi diagnosis manusia secara substansial. "
Prof Alastair Denniston
Secara lebih khusus, analisis mendapati bahawa AI dapat mendiagnosis penyakit dengan betul pada 87% kes, sedangkan pengesanan oleh profesional penjagaan kesihatan menghasilkan kadar ketepatan 86%. Kekhususan untuk algoritma pembelajaran mendalam adalah 93%, berbanding dengan 91% manusia.
Bias boleh membesar-besarkan prestasi AI
Prof Denniston dan rakan-rakannya juga menarik perhatian kepada beberapa batasan yang mereka dapati dalam kajian yang mengkaji prestasi diagnostik AI.
Pertama, kebanyakan kajian meneliti ketepatan diagnostik profesional AI dan kesihatan dalam keadaan terpencil yang tidak meniru amalan klinikal biasa - sebagai contoh, memberi maklumat klinikal tambahan kepada doktor yang biasanya mereka perlukan untuk membuat diagnosis.
Kedua, kata para penyelidik, kebanyakan kajian membandingkan set data sahaja, sedangkan penyelidikan berkualiti tinggi dalam prestasi diagnostik memerlukan perbandingan seperti itu pada orang.
Selanjutnya, semua kajian mengalami pelaporan yang buruk, kata penulis, dengan analisis tidak memperhitungkan maklumat yang hilang dari set data tersebut. "Sebagian besar [kajian] tidak melaporkan apakah ada data yang hilang, berapa proporsi ini, dan bagaimana data yang hilang ditangani dalam analisis," tulis penulis.
Batasan tambahan merangkumi terminologi yang tidak konsisten, tidak menetapkan ambang dengan jelas untuk analisis kepekaan dan kekhususan, dan kurangnya pengesahan di luar sampel.
"Terdapat ketegangan yang wujud antara keinginan untuk menggunakan diagnostik baru yang berpotensi menyelamatkan nyawa dan keharusan untuk mengembangkan bukti berkualiti tinggi dengan cara yang dapat memberi manfaat kepada pesakit dan sistem kesihatan dalam praktik klinikal," komentar penulis pertama Dr. Xiaoxuan Liu dari Universiti Birmingham.
"Pelajaran utama dari pekerjaan kami adalah bahawa dalam AI - seperti bahagian kesihatan yang lain - reka bentuk kajian yang baik penting. Tanpa itu, anda boleh memperkenalkan bias dengan mudah yang memburukkan hasil anda. Bias ini boleh menyebabkan tuntutan prestasi yang berlebihan untuk alat AI yang tidak diterjemahkan ke dunia nyata. "
Xiaoxuan Liu
"Bukti bagaimana algoritma AI akan mengubah hasil pesakit perlu datang dari perbandingan dengan ujian diagnostik alternatif dalam ujian terkawal secara rawak," tambah pengarang bersama Dr. Livia Faes dari Moorfields Eye Hospital, London, UK.
"Sejauh ini, hampir tidak ada percubaan seperti itu di mana keputusan diagnostik yang dibuat oleh algoritma AI ditindaklanjuti untuk melihat apa yang kemudian terjadi pada hasil yang benar-benar penting bagi pesakit, seperti rawatan tepat waktu, waktu keluar dari hospital, atau bahkan kadar kelangsungan hidup."
