Brenmor utilizza ML.NET per migliorare l'esperienza dei pazienti e la qualità della cura

Brenmor Technologies collabora con gruppi medici e provider di piani sanitari per creare soluzioni per la soddisfazione dei pazienti che migliorano l'assistenza ai pazienti. Il gruppo collabora con i propri clienti per personalizzare le indagini sulle esperienze dei pazienti; queste indagini rappresentano un modo statisticamente affidabile e conveniente per identificare aree di punti di forza e di punti deboli, quindi impostare iniziative di miglioramento. Questi sondaggi contengono spesso almeno una risposta di testo in formato libero; durante l'analisi, queste risposte vengono esaminate e inserite in un set definito di categorie in modo che i clienti possano migliorare l'esperienza di visita e la qualità dell'assistenza, agendo direttamente sul feedback dei pazienti.

Problema aziendale

La soluzione di Brenmor offre informazioni dettagliate e analisi che si basano principalmente sui dati dei sondaggi dei pazienti. La possibilità di analizzare le risposte di testo in formato libero dei pazienti in più categorie e in un sentiment positivo o negativo è fondamentale per i gruppi medici, i piani sanitari e i fornitori (ovvero i medici), poiché questi gruppi di destinatari sono tenuti a comprendere e creare piani d’azione basati sul feedback ponderato dei pazienti.

Categorizzando le risposte del paziente, diverse organizzazioni client ricevono risposte correlate per rivedere e definire le iniziative di qualità. Ad esempio, i commenti che vengono suddivisi in categorie come provider o personale vengono assegnati ai professionisti che gestiscono l'esperienza paziente uno-a-uno, mentre le categorie, ad esempio appuntamenti e telefono, vengono instradate al personale del Front Office.

Oggi, i professionisti del settore medico richiedono un feedback quasi in tempo reale sulla qualità del servizio fornito da centri medici, uffici e fornitori, ma la categorizzazione manuale è lenta e soggetta a incoerenze. Brenmor ha quindi deciso di sostituire il processo di categorizzazione manuale mensile con una soluzione di apprendimento automatico per la classificazione multiclasse, che consente di classificare in modo rapido e accurato le risposte testuali complesse e in formato libero dei pazienti.

Perché ML.NET?

La scelta di ML.NET rappresentava una soluzione interessante, dato l'investimento esistente di Brenmor in soluzioni .NET. Inoltre, un set robusto di esempi di codice ML.NET forniti da Microsoft offriva a Brenmor un percorso chiaro per un'implementazione operativa. La possibilità di generare rapidamente e facilmente un modello di Machine Learning con AutoML e quindi di sfruttare tale modello nelle soluzioni esistenti ha consentito a Brenmor di fornire una soluzione pronta per il mercato nel giro di poche settimane.

Da quando abbiamo iniziato con ML.NET, Microsoft ha sviluppato rapidamente il prodotto ML.NET. Il risultato è stato un aumento significativo della velocità e dell'accuratezza della categorizzazione di risposte di testo complesse in formato libero dei pazienti. I client sono entusiasti."

Impatto di ML.NET e AutoML

La possibilità di ridimensionare la classificazione delle risposte di testo dei pazienti in formato libero è stata un enorme vantaggio per Brenmor. In precedenza, la categorizzazione veniva eseguita una volta al mese e richiedevano circa 16 ore di lavoro da parte del personale. Con ML.NET, questa classificazione viene eseguita in tempo reale e fornisce feedback immediato ai client di analisi di Brenmor, che ora possono dedicare meno tempo all'analisi e più tempo all'implementazione di soluzioni ai problemi identificati dal modello di ML.NET.

Un altro grande vantaggio che Brenmor ha riscontrato con l'uso di ML.NET è il miglioramento dell'accuratezza. Le risposte testuali del paziente spesso contengono più argomenti. Prima di ML.NET, l'accuratezza veniva determinata manualmente da diverse persone; ciò comportava il rischio di commettere errori e la classificazione multiclasse con livelli di confidenza non era possibile. Il supporto alla classificazione multiclasse di ML.NET ha consentito a Brenmor di migliorare l'accuratezza della classificazione dal 50% a circa il 76% e di fornire ai clienti dell'azienda livelli di confidenza per il rilevamento di più categorie.

L'uso di AutoML con ML.NET non richiedeva inoltre una comprensione delle sfumature dettagliate degli algoritmi di apprendimento automatico e dell'ampio set di iperparametri degli algoritmi. Gli sviluppatori in Brenmor non dovevano più dedicare molte ore al test di algoritmi diversi e al perfezionamento degli iperparametri per ottenere il modello migliore. Questo risparmio di tempo è stato estremamente vantaggioso per Brenmor, perché ha consentito di incrementare la concentrazione sul miglioramento dei dati di training iniziali.

Grazie all'intelligenza fornita da AutoML, Microsoft ha fornito essenzialmente uno Scienziato dei dati impacchettato agli utenti di ML.NET. Questo è un valore enorme per la community .NET!"

Architettura della soluzione

Creazione di un'applicazione con ML.NET

Lo stack tecnico per l'applicazione di categorizzazione dei sondaggi di Brenmor è costituito da ML.NET, ASP.NET Core, Entity Framework Core e SQL Server.

È stata allocata una grande quantità di tempo iniziale per la creazione di un set pulito e conciso di dati di training, principalmente basati su risposte non elaborate al sondaggio. Ora che l'applicazione viene eseguita in un ambiente di produzione, quando sono presenti risultati di stima con bassa confidenza, questi commenti vengono esaminati e diventano dati di training aggiuntivi. Questo flusso di lavoro è un processo di "ripetizione e ripetizione" che inserisce intelligenza e accuratezza aggiuntive nel modello di Machine Learning. I modelli di Machine Learning aggiornati vengono sottoposti a controllo delle versioni nel controllo del codice sorgente e vengono distribuiti automaticamente come parte di distribuzioni pianificate in modo regolare in Azure DevOps.

Elaborazione dati

I dati di training iniziali, costituiti da circa 3.000 righe di commenti in formato libero, provengono da risposte di sondaggio dei pazienti non elaborate. Tutti i dati usati da Brenmor sono stati prima di tutto puliti in base a HIPPA e quindi separati in dati di training concisi per determinare più accuratamente il peso dei commenti con più categorie. Quando è stato reso disponibile un set di dati di training iniziale accurato ed è stata definita l'accuratezza della classificazione, il processo manuale si è ridotto significativamente.

Trasformazioni dei dati e algoritmi di Machine Learning

Brenmor ha usato AutoML con ML.NET per generare automaticamente le trasformazioni dei dati e gli algoritmi di Machine Learning che hanno prodotto il modello di qualità più elevata. Le trasformazioni dei dati usate includono Mapping di valori a chiavi e Definizione di testo, gli algoritmi usati includono l'algoritmo One Versus All per la classificazione di più classi (categorizzazione dei commenti) e l'algoritmo L-BFGS di regressione logistica binaria per la classificazione binaria (commenti positivi e negativi).

AutoML con ML.NET ha generato anche il set di opzioni dell'algoritmo seguente per ottimizzare ulteriormente il modello per un'accuratezza ottimale del modello:

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

La soddisfazione è attualmente un'esigenza crescente per i gruppi medici e i piani sanitari e le opinioni dirette dei pazienti sono essenziali. L'accettazione degli input dei sondaggi e l'analisi e la classificazione di risposte in testo con formato libero sono processi complessi e richiedono un livello elevato di accuratezza. Grazie alle capacità di ML.NET e AutoML, Brenmor ha potuto fornire ai clienti in modo rapido e accurato informazioni dettagliate e analisi aggiuntive correlate all'esperienza dei pazienti.