HMRI membangun kerangka kerja Human-In-The-Loop ML untuk penelitian medis menggunakan ML.NET

Hunter Medical Research Institute (HMRI) adalah organisasi yang bertujuan meningkatkan kesehatan dan kesejahteraan masyarakat. Hal itu dilakukan dengan menyatukan para ilmuwan, dokter, dan profesional kesehatan masyarakat untuk mempercepat penyediaan solusi kesehatan yang baru dan lebih baik.

Baru-baru ini, mereka berkolaborasi dengan tim multidisiplin yang terdiri dari Dr. Neva Bull dan Profesor Neil Spratt dari University of Newcastle, Dr. Simon Quilty dari Australian National University, dan Dr. Bridget Honan dari Northern Territory Health untuk membuat kerangka kerja pengembangan pembelajaran mesin bagi peneliti kesehatan. Kerangka kerja ini memudahkan peneliti kesehatan dalam menggunakan data klinis untuk keperluan penelitian dengan sedikit atau tanpa pengalaman pembelajaran mesin. Ini juga termasuk perulangan umpan balik yang menggabungkan keterampilan dan pengalaman mereka ke dalam proses pembelajaran mesin. Implementasi awal kerangka kerja ini berfokus pada penyelidikan kematian dan rawat inap yang diakibatkan oleh panas ekstrem.

Detail penelitian ini dapat ditemukan di makalah, "A method for rapid machine learning development for data mining with Doctor-In-The-Loop", Neva J Bull, Bridget Honan, Neil J. Spratt, Simon Quilty.

Masalah bisnis

Lembaga kesehatan memiliki data dalam jumlah besar. Data ini biasanya dalam format teks yang tidak terstruktur. Ketika sudah didigitalisasi pun, sering kali sulit menggali wawasan berarti dan dapat ditindaklanjuti dari data. Teknik seperti ekspresi reguler, kueri SQL, dan perangkat lunak pemrosesan bahasa alami yang 'siap pakai' di pasaran pun terbatas tingkat keberhasilannya.

Dalam kasus seperti itu, pembelajaran mesin dapat membantu menganalisis dan menggali informasi berharga dari data. Alat pembelajaran mesin sebelumnya telah digunakan untuk mengklasifikasikan catatan klinis ke dalam beberapa kategori untuk berbagai tujuan klinis dan penelitian. Namun, penggunaan alat pembelajaran mesin ini sering kali memerlukan pengembangan perangkat lunak atau keterampilan ilmu data. Keterampilan seperti itu sering kali di luar jangkauan profesional medis.

Dalam skenario model yang sudah terlatih pun, bila dibiarkan tanpa pengawasan, hasilnya akan kurang optimal ketika digunakan di dunia nyata. Karena tingginya risiko keputusan medis, para profesional medis harus dapat memercayai model mereka dan menggunakan keahliannya untuk memberikan umpan balik ketika modelnya salah.

Itulah sebabnya peneliti di HMRI menggunakan ML.NET untuk mengembangkan kerangka kerja pengembangan pembelajaran mesin Human-In-The-Loop (HITL) untuk memudahkan para profesional medis dalam memberi label pada data, melatih model, dan menggunakan model-model ini untuk membuat kesimpulan tanpa harus memiliki pengalaman pemrograman atau pembelajaran mesin. Lebih penting lagi, mereka telah membangun mekanisme umpan balik sehingga para ahli medis dapat menggabungkan keterampilan dan keahlian mereka ke dalam proses pembelajaran mesin. Hasilnya, tingkat supervisi yang tinggi ini memberikan hasil yang lebih baik dalam kasus penggunaan di dunia nyata dengan titik data yang lebih sedikit.

Mengapa ML.NET?

Salah satu alasan utama HMRI memilih ML.NET adalah kemampuannya untuk tetap berada dalam ekosistem .NET. Karena memiliki tumpukan teknologi yang mengandalkan .NET, integrasi dengan solusi non-.NET pun akan menimbulkan tantangan teknis dan sumber daya. Dengan menggunakan ML.NET, HMRI dapat memanfaatkan keterampilan dan pengetahuan yang ada untuk membangun solusi pembelajaran mesin mereka.

Dampak ML.NET

HMRI menggunakan Penyusun Model untuk mulai menggunakan ML.NET. Penyusun Model menyediakan cara untuk memvalidasi dengan cepat apakah masalah mereka dapat diatasi menggunakan pembelajaran mesin. Setelah memvalidasi efektivitas penggunaan pembelajaran mesin untuk masalahnya, mereka memanfaatkan API Pembelajaran Mesin Otomatis (AutoML) ML.NET. ML.NET AutoML API secara otomatis memilih algoritma serta optimalisasi alur dan hiperparameter di dalam kerangka kerja pengembangan pembelajaran mesin HITL kustom mereka.

Dengan menggunakan ML.NET, HMRI tidak perlu lagi mengalihdayakan upaya pengembangan serta dapat menggunakan keterampilan dan sumber daya yang ada untuk membangun semuanya secara internal.

Selain itu, dengan memanfaatkan ML.NET sebagai bagian dari solusi, mereka dapat menyediakan antarmuka bagi para ahli medis untuk melatih dan menggunakan model pembelajaran mesin yang tidak memerlukan pengalaman pemrograman atau pembelajaran mesin

Arsitektur solusi

Antarmuka yang diakses pengguna adalah aplikasi web yang mendukung beberapa tugas dalam fase pelatihan dan penggunaan model.

Data

Untuk implementasi awal, data yang digunakan untuk melatih model berasal dari rekam medis historis. Satu himpunan data yang digunakan adalah database kematian 40 tahun yang berisi sekitar 30.000 catatan dan himpunan data pengambilan aeromedis lainnya yang berisi sekitar 13.000 catatan.

Data disimpan di database SQL Server. Sebelum pelatihan, pakar medis menggunakan aplikasi web untuk memberi label himpunan pengujian dengan kategori yang telah ditentukan sebelumnya untuk menghitung metrik akurasi selama perulangan pelatihan. Kemudian, sekumpulan kecil data yang dipilih secara acak digunakan untuk putaran pertama pelatihan.

Alur kerja pelatihan, evaluasi, dan penggunaan

Pelatihan model ini dipicu oleh para ahli medis dari aplikasi web. Kode ML.NET sisi-server menangani pelatihan dan pelatihan ulang model. Model kemudian memprediksi semua data lainnya. Skor prediksi dan keyakinan disimpan di database SQL Server. Prosedur tersimpan SQL Server digunakan untuk menghitung dan menyimpan metrik akurasi untuk himpunan pengujian. Metrik ini kemudian ditampilkan kembali kepada ahli medis melalui aplikasi web. Seluruh proses ini selesai dalam hitungan detik.

* Bukan data pasien aktual

Para ahli medis jadi tahu bahwa mereka dapat menggunakan metrik penarikan dan kekhususan secara intuitif untuk memandu pemilihan kasus tambahan guna diberi label, sehingga menghasilkan peningkatan kinerja model yang maksimal dan cepat. Peningkatan kinerja lebih lanjut diwujudkan dengan menargetkan pelabelan secara selektif berdasarkan pengurutan skor keyakinan. Dengan begitu, para ahli medis terlibat dalam pembelajaran aktif dengan tidak hanya mengonfirmasi prediksi yang skornya rendah, tetapi juga memperbaiki prediksi keliru yang skornya tinggi.

```

Pada tahap ini, para ahli medis dapat memulai pekerjaan untuk melatih ulang model menggunakan label data yang telah dikoreksi. Siklus “label, latih, evaluasi” ini terus berlanjut hingga para ahli medis puas dengan kinerja modelnya. Stempel waktu acara pelatihan, metrik evaluasi, dan informasi lainnya dicatat dalam database SQL Server untuk pemeriksaan dan auditabilitas nanti.

Setelah perulangan label-latih-evaluasi selesai, serangkaian validasi prediksi dipilih dari database SQL Server menggunakan generator bilangan acak bawaan SQL Server. Poin data ini diberi label oleh panel ahli medis yang tidak mengetahui prediksi model.

Akurasi yang dihasilkan model ini berada di pertengahan hingga tinggi 90-an. Hasil ini membuat para peneliti merasa yakin dalam menggunakan kategorisasi yang dihasilkan model ini dalam penelitian medis yang sedang mereka jalankan. Dengan kecepatan ML.NET yang dikombinasikan dengan alur kerja HITL, model tersebut dapat diulang untuk tugas kategorisasi lain dan/atau himpunan data lain dengan cara yang sangat efisien dan hemat biaya tanpa mengorbankan akurasi.

Rencana Ke Depan

Alur kerja Doctor-In-The-Loop yang dikembangkan oleh para peneliti HMRI akan terbukti sangat berguna untuk penelitian di masa mendatang yang mengandalkan kategorisasi teks bebas medis yang cepat dan akurat.