Brenmor menggunakan ML.NET untuk meningkatkan pengalaman pasien & kualitas perawatan

Brenmor Technologies bermitra dengan kelompok medis dan penyedia paket kesehatan untuk menciptakan solusi kepuasan pasien yang meningkatkan perawatan pasien. Mereka bekerja sama dengan klien mereka untuk menyesuaikan survei pengalaman pasien yang merupakan cara yang dapat diandalkan secara statistik dan hemat biaya bagi mereka untuk mengidentifikasi area kekuatan dan kelemahan, kemudian menetapkan inisiatif peningkatan. Survei ini sering berisi setidaknya satu tanggapan teks bentuk bebas; selama analisis, tanggapan ini diperiksa dan disalurkan ke dalam serangkaian kategori yang ditentukan sehingga klien dapat meningkatkan pengalaman kunjungan dan kualitas perawatan dengan bertindak langsung pada umpan balik pasien.

Masalah bisnis

Solusi Brenmor memberikan wawasan dan analitik mendalam yang sangat bergantung pada data survei dari pasien. Kemampuan untuk menganalisis respons teks pasien bentuk bebas ke dalam beberapa kategori dan menjadi sentimen positif atau negatif sangat penting bagi kelompok medis, rencana kesehatan, dan penyedia layanan kesehatan (yaitu, dokter) karena audiens ini diperlukan untuk memahami dan membuat rencana yang dapat ditindaklanjuti berdasarkan umpan balik pasien tertimbang.

Dengan mengategorikan respons pasien, organisasi klien yang berbeda menerima respons terkait untuk meninjau dan menentukan inisiatif kualitas. Misalnya, komentar yang dikategorikan sebagai Penyedia atau Staf diberikan kepada para profesional yang menangani pengalaman pasien pribadi, sementara kategori seperti Janji Temu dan Telepon diarahkan ke personel front office.

Saat ini, para profesional medis membutuhkan umpan balik yang hampir real time tentang kualitas layanan yang diberikan oleh kelompok medis, kantor, dan penyedia, namun kategorisasi manual lambat dan rentan terhadap ketidakkonsistenan. Oleh karena itu, Brenmor memutuskan untuk mengganti proses kategorisasi manual bulanan mereka dengan solusi pembelajaran mesin klasifikasi multikelas untuk dengan cepat dan akurat mengklasifikasikan respons teks pasien yang kompleks dan dari berbagai format.

Mengapa ML.NET?

Pemilihan ML.NET adalah solusi menarik mengingat investasi Brenmor yang sudah ada dengan solusi .NET. Selain itu, sekumpulan sampel kode ML.NET yang kuat yang disediakan oleh Microsoft memberikan Brenmor jalur yang jelas menuju implementasi yang berhasil. Kemampuan untuk menghasilkan model pembelajaran mesin dengan AutoML dengan cepat dan mudah, lalu memanfaatkan model tersebut di dalam solusi yang sudah ada memungkinkan Brenmor untuk menyediakan solusi ke pasar dalam hitungan minggu.

Sejak kami mulai dengan ML.NET, Microsoft telah mengembangkan produk ML.NET dengan cepat. Hal ini telah mengakibatkan peningkatan yang signifikan dalam kecepatan dan akurasi kategorisasi respons teks pasien yang kompleks dan bentuk bebas. Klien kami sangat senang."

Dampak ML.NET dan AutoML

Kemampuan untuk menskalakan klasifikasi respons teks pasien bentuk bebas telah menjadi manfaat besar untuk Brenmor. Sebelumnya, kategorisasi dilakukan sekali dalam sebulan dan membutuhkan waktu sekitar 16 jam manusia. Dengan ML.NET, klasifikasi ini dilakukan secara real time dan memberikan umpan balik langsung kepada klien analitik Brenmor, yang kini dapat menghabiskan lebih sedikit waktu untuk menganalisis dan lebih banyak waktu menerapkan solusi untuk masalah yang diidentifikasi oleh model ML.NET.

Manfaat besar lainnya yang dilihat Brenmor dengan menggunakan ML.NET adalah peningkatan akurasi. Respons teks pasien sering kali berisi beberapa topik. Sebelum ML.NET, akurasi ditentukan secara manual oleh individu yang berbeda; hal ini rentan terhadap kesalahan, dan klasifikasi multikelas dengan tingkat keyakinan tidak dimungkinkan. Dukungan klasifikasi multikelas ML.NET telah memungkinkan Brenmor untuk meningkatkan akurasi klasifikasi dari 50% menjadi sekitar 76% dan memberikan tingkat keyakinan kepada klien perusahaan untuk mendeteksi beberapa kategori.

Selain itu, dengan menggunakan AutoML dengan ML.NET, pemahaman tentang nuansa algoritma pembelajaran mesin tingkat rendah dan rangkaian algoritma hiperparameter yang ekstensif tidak diperlukan. Pengembang di Brenmor tidak perlu lagi menghabiskan waktu berjam-jam untuk menguji algoritma yang berbeda dan men-tweak hyperparameter yang mencari model terbaik. Penghematan waktu ini sangat bermanfaat bagi Brenmor karena memungkinkan peningkatan fokus pada penyempurnaan data pelatihan awal.

Karena kecerdasan yang disediakan AutoML, Microsoft pada dasarnya telah menyediakan Ilmuwan Data yang dibungkus rapi untuk pengguna ML.NET. Ini adalah nilai yang sangat besar untuk komunitas .NET!"

Arsitektur solusi

Membuat aplikasi dengan ML.NET

Tumpukan teknis untuk aplikasi kategorisasi survei Brenmor terdiri dari ML.NET, ASP.NET Core, Inti Kerangka Kerja Entitas, dan SQL Server.

Banyak waktu di muka dialokasikan untuk membuat kumpulan data pelatihan yang bersih dan tepat, sebagian besar didasarkan pada respons survei mentah. Sekarang setelah aplikasi dijalankan di lingkungan produksi, ketika ada hasil prediksi keyakinan rendah, komentar ini ditinjau dan menjadi data pelatihan tambahan. Alur kerja ini adalah proses "bilas dan ulangi" yang menambahkan kecerdasan dan akurasi tambahan ke dalam model pembelajaran mesin. Model pembelajaran mesin yang diperbarui diberi versi dalam kontrol kode sumber dan secara otomatis disebarkan sebagai bagian dari penyebaran yang dijadwalkan secara rutin di Azure DevOps.

Pemrosesan data

Data pelatihan awal, yang terdiri dari sekitar 3.000 baris komentar bentuk bebas, berasal dari respons survei pasien mentah. Semua data yang digunakan oleh Brenmor adalah HIPPA pertama yang dibersihkan, lalu dipisahkan menjadi data pelatihan yang lengkap untuk memberikan komentar dengan bobot yang lebih akurat dengan beberapa kategori. Setelah kumpulan data pelatihan yang akurat dan awal sudah ada dan akurasi klasifikasi dibuat, proses manual berkurang secara signifikan.

Transformasi data dan algoritma pembelajaran mesin

Brenmor menggunakan AutoML dengan ML.NET untuk secara otomatis menghasilkan transformasi data dan algoritme pembelajaran mesin yang menghasilkan model dengan kualitas tertinggi. Transformasi data yang digunakan mencakup Map Value to Key dan Featurize Text, dan algoritme yang digunakan mencakup algoritme Satu Versus Semua untuk klasifikasi multikelas (pengkategorian komentar) dan algoritme Biner Regresi Logistic L-BFGS untuk klasifikasi biner (komentar positif vs. negatif).

AutoML dengan ML.NET juga menghasilkan kumpulan opsi algoritme di bawah ini untuk lebih menyempurnakan model demi akurasi model yang optimal:

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

Saat ini, kepuasan pasien adalah kebutuhan yang semakin besar untuk kelompok medis dan rencana kesehatan, dan pendengaran langsung dari pasien sangat penting. Menerima input survei dan menganalisis serta memberikan klasifikasi respons teks bentuk bebas bersifat kompleks dan memerlukan akurasi tingkat tinggi. Dengan memanfaatkan ML.NET dan AutoML, Brenmor telah dapat memberikan wawasan dan analitik tambahan yang terkait dengan pengalaman pasien kepada klien dengan cepat dan akurat.