Brenmor usa o ML.NET para melhorar a experiência do paciente e qualidade do tratamento

A Brenmor Technologies faz parcerias com grupos de médicos e provedores de planos de saúde para criar soluções de satisfação do paciente que aprimorem o atendimento aos pacientes. A empresa trabalha em estreita colaboração com seus clientes para personalizar as pesquisas de experiência do paciente, que são uma maneira estatisticamente confiável e econômica de identificar pontos fortes e pontos fracos e, em seguida, definir iniciativas de melhoria. Essas pesquisas geralmente contêm pelo menos uma resposta de texto em formato livre; durante a análise, essas respostas são examinadas e afuniladas em um conjunto definido de categorias para que os clientes possam aprimorar a experiência da consulta e a qualidade do atendimento, atuando diretamente com base nos comentários dos pacientes.

Problema de negócios

A solução da Brenmor fornece insights e análises profundas que dependem muito dos dados de pesquisa dos pacientes. A capacidade de analisar respostas de texto de forma livre dos pacientes em várias categorias e em uma mensagem positiva ou negativa é crucial para grupos médicos, planos de saúde e provedores (ou seja, médicos), uma vez que esses públicos são obrigados a reconhecer e criar planos acionáveis com base nos comentários ponderados dos pacientes.

Ao categorizar as respostas de pacientes, diferentes organizações clientes recebem respostas relacionadas para avaliar e definir iniciativas de qualidade. Por exemplo, os comentários categorizados como Provedor ou Funcionário são fornecidos aos profissionais que lidam com a experiência de interação individual com o paciente, enquanto categorias como Consultas e Telefone são direcionadas para a equipe de atendimento ao público do consultório.

Atualmente, os profissionais médicos exigem um feedback quase em tempo real sobre a qualidade do serviço fornecido por consultórios e grupos de médicos e provedores de atendimento, mas a categorização manual é lenta e propensa a inconsistências. Por causa disso, a Brenmor decidiu substituir seu processo de categorização manual mensal por uma solução de aprendizado de máquina de classificação multiclasse para classificar com rapidez e precisão as respostas de texto complexas de pacientes em formato livre.

Por que ML.NET?

A seleção de ML.NET foi uma solução atraente, uma vez que a Brenmor de investimento existente tem com soluções .NET. Além disso, um conjunto robusto de exemplos de código ML.NET fornecidos pela Microsoft atribuiu a Brenmor um caminho claro para uma implementação de trabalho. A capacidade de gerar de forma rápida e fácil um modelo de Machine Learning com o AutoML e, em seguida, aproveitar esse modelo em suas soluções existentes que permitiam Brenmor para fornecer uma solução para o mercado em questão de semanas.

Desde que começamos com o ML.NET, a Microsoft evoluiu rapidamente o produto ML.NET. Isso resultou em um aumento significativo na velocidade e na precisão da categorização de respostas de texto de pacientes complexas e de forma livre. Nossos clientes estão entusiasmados."

Impacto de ML.NET e AutoML

A capacidade de dimensionar a classificação de respostas de texto de pacientes de forma livre tem sido um enorme benefício para Brenmor. Anteriormente, a categorização era feita uma vez por mês e levou aproximadamente 16 horas humanas. Com o ML.NET, essa classificação é feita em tempo real e fornece comentários imediatos aos clientes de análise de Brenmor, que agora podem passar menos tempo analisando e mais tempo implementando soluções para os problemas identificados pelo modelo de ML.NET.

Outro grande benefício que a Brenmor tem visto com o uso do ML.NET é uma maior precisão. As respostas de texto dos pacientes muitas vezes contêm vários tópicos. Antes do ML.NET, a precisão era determinada manualmente por diferentes indivíduos; Isto era propenso a erros, e não era possível uma classificação multiclasse com níveis de confiança. O suporte de classificação multiclasse do ML. NET permitiu à Brenmor aumentar a precisão de classificação de 50% para aproximadamente 76% e proporciona aos clientes da empresa níveis de confiança para a detecção de várias categorias.

Além disso, ao usar AutoML com ML.NET, não é necessário entender as nuances de baixo nível dos algoritmos de aprendizado de máquina e o conjunto extensivo de hiperparâmetros de algoritmos. Os desenvolvedores em Brenmor não tinham mais que gastar horas testando algoritmos diferentes e ajustando os hiperparâmetros em busca do melhor modelo. Essa economia de tempo foi de grande benefício para o Brenmor, pois permitiu um aumento no foco no aprimoramento dos dados de treinamento iniciais.

Devido à inteligência que o AutoML fornece, a Microsoft forneceu essencialmente um Cientista de Dados compactado para usuários do ML.NET. Isso é de imenso valor para a comunidade .NET!"

Arquitetura da solução

Criando um aplicativo com ML.NET

A pilha técnica para o aplicativo de categorização de pesquisa de Brenmor é composta por ML.NET, ASP.NET Core, Entity Framework Core e SQL Server.

Uma grande quantidade de tempo inicial foi alocada para criar um conjunto limpo e sucinto de dados de treinamento, principalmente com base nas respostas brutas da pesquisa. Agora que o aplicativo é executado em um ambiente de produção, quando há resultados de previsão de baixa confiança, esses comentários são revisados e se tornam dados de treinamento adicionais. Esse fluxo de trabalho é um processo de "comportamento e repetição" que injeta inteligência e precisão adicionais no modelo de machine learning. Os modelos de machine learning atualizados têm controle de versão no controle do código-fonte e são implantados automaticamente como parte de implantações agendadas regularmente no Azure DevOps.

Processamento de dados

Os dados de treinamento iniciais, que consistiram em cerca de 3.000 linhas de comentários de formato livre, vieram de respostas brutas da pesquisa de pacientes. Todos os dados usados pela Brenmor primeiro foram limpos de acordo com o HIPPA e, em seguida, separados em dados de treinamento sucintos para comentários de peso mais preciso com várias categorias. Após a existência de um conjunto de dados de treinamento inicial e preciso, o processo manual diminuiu significativamente.

Transformações de dados e algoritmos de aprendizado de máquina

A Brenmor usou o AutoML com ML.NET para gerar automaticamente as transformações de dados e os algoritmos de aprendizado de máquina que resultaram em um modelo da mais alta qualidade. As transformações de dados usadas incluíram MapValueToKey e FeaturizeText, e os algoritmos usados incluíram o algoritmo OneVersusAll para a classificação multiclasse (categorização de comentários) e o algoritmo Binário de Regressão Logística do L-BFGS para a classificação binária (comentários positivos x negativos).

O AutoML com ML.NET também gerou o conjunto de opções de algoritmo abaixo para ajustar ainda mais o modelo para obter a precisão ideal do modelo:

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

Hoje, a satisfação do paciente é uma necessidade crescente de grupos médicos e planos de integridade, e ouvir diretamente dos pacientes é essencial. Aceitar entradas de pesquisa e analisar e fornecer a classificação de respostas de texto de formato livre é complexo e requer um alto grau de precisão. Aproveitando o ML.NET e o AutoML, o Brenmor foi capaz de fornecer com rapidez e precisão seus clientes com informações adicionais e análises relacionadas à experiência do paciente.