Brenmor usa ML.NET para mejorar la experiencia del paciente y la calidad de la atención sanitaria

Brenmor Technologies se asocia con grupos médicos y proveedores de planes de salud para crear soluciones para la satisfacción de los pacientes que permitan mejorar su atención. Trabajan estrechamente con sus clientes para personalizar las encuestas sobre la experiencia de los pacientes, que son una forma estadísticamente fiable y rentable de identificar las áreas con puntos fuertes y débiles, para luego establecer iniciativas de mejora. Estas encuestas suelen contener al menos una respuesta de tipo texto libre; durante el análisis, estas respuestas se examinan y se canalizan en un conjunto definido de categorías para que los clientes puedan mejorar la experiencia de la visita y la calidad de la atención actuando directamente sobre los comentarios de los pacientes.

Problema empresarial

La solución de Brenmor proporciona información detallada y análisis que dependen en gran medida de los datos de encuestas de los pacientes. La capacidad de analizar respuestas de texto de pacientes de forma libre en varias categorías y en opiniones positivas o negativas es fundamental para los grupos médicos, los planes médicos y los proveedores (es decir, los médicos), ya que estas audiencias deben comprender y crear planes accionables basados en los comentarios ponderados de los pacientes.

Al clasificar las respuestas de los pacientes, las distintas organizaciones cliente reciben respuestas relacionadas para revisar y definir iniciativas de calidad. Por ejemplo, los comentarios clasificados como proveedor o personal se entregan a los profesionales que manejan la experiencia de un paciente uno a uno, mientras que las categorías como las citas y el teléfono se dirigen al personal de la oficina.

Hoy en día, los profesionales de la medicina necesitan información casi en tiempo real sobre la calidad del servicio prestado por los grupos médicos, las consultas y los proveedores, pero la categorización manual es lenta y propensa a las incoherencias. Por ello, Brenmor decidió sustituir su proceso mensual de categorización manual por una solución de aprendizaje automático de clasificación multiclase para clasificar con rapidez y precisión las complejas respuestas textuales de los pacientes.

¿Por qué ML.NET?

La selección de ML.NET era una solución atractiva dada la inversión existente que Brenmor tiene con las soluciones de .NET. Además, un sólido conjunto de ejemplos de código de ML.NET proporcionados por Microsoft proporcionó a Brenmor una ruta clara para una implementación en funcionamiento. La capacidad de generar de forma rápida y sencilla un modelo de Machine Learning con AutoML y, después, aprovechar ese modelo dentro de sus soluciones existentes permitió a Brenmor proporcionar una solución de comercialización en cuestión de semanas.

"Desde que comenzamos con ML.NET, Microsoft ha hecho evolucionar rápidamente el producto ML.NET. Esto ha resultado en un aumento significativo en la velocidad y precisión de la categorización de respuestas de texto de pacientes complejas y de formato libre. Nuestros clientes están encantados.\ "

Impacto de ML.NET y AutoML

La capacidad de escalar la clasificación de las respuestas de texto de pacientes de forma libre ha sido una enorme ventaja para Brenmor. Anteriormente, la categorización se realizaba una vez al mes y tardaba aproximadamente 16 horas humanas. Con ML.NET, esta clasificación se realiza en tiempo real y proporciona comentarios inmediatos a los clientes de análisis de Brenmor, que ahora pueden dedicar menos tiempo a analizar y más tiempo a implementar soluciones a los problemas identificados por el modelo de ML.NET.

Otra gran ventaja que Brenmor ha visto con el uso de ML.NET es la precisión mejorada. Las respuestas de texto de los pacientes suelen contener varios temas. Antes de ML.NET, la precisión se determinaba manualmente por diferentes individuos; esto era propenso a errores y no era posible la clasificación multiclase con niveles de confianza. La compatibilidad con la clasificación multiclase de ML.NET ha permitido a Brenmor aumentar la precisión de la clasificación del 50% al 76% aproximadamente y proporciona a los clientes de la empresa niveles de confianza para la detección de varias categorías.

Además, al usar AutoML con ML.NET, no era necesario comprender los matices de bajo nivel de los algoritmos de aprendizaje automático y el amplio conjunto de hiperparámetros de algoritmos. Los desarrolladores de Brenmor ya no tenían que pasar horas probando algoritmos diferentes y ajustando los hiperparámetros en busca del mejor modelo. Este ahorro de tiempo supuso una gran ventaja para Brenmor, ya que permitió un mayor enfoque en la mejora de los datos de entrenamiento iniciales.

"Debido a la inteligencia que proporciona AutoML, Microsoft ha proporcionado básicamente un científico de datos encapsulado a los usuarios de ML.NET. Este es un valor agregado enorme para la comunidad de .NET."

Arquitectura de la solución

Creación de una aplicación con ML.NET

La pila técnica para la aplicación de categorización de encuestas de Brenmor consta de ML.NET, ASP.NET Core, Entity Framework Core y SQL Server.

Se asignó una gran cantidad de tiempo inicial para crear un conjunto limpio y conciso de datos de entrenamiento, principalmente basados en respuestas a encuestas sin procesar. Ahora que la aplicación se ejecuta en un entorno de producción, cuando hay resultados de predicción de confianza baja, estos comentarios se revisan y se convierten en datos de entrenamiento adicionales. Este flujo de trabajo es un "aclarar y repetir" que inserta inteligencia y precisión adicionales en el modelo de Machine Learning. Los modelos de Machine Learning actualizados tienen versiones en el control de código fuente y se implementan automáticamente como parte de las implementaciones programadas periódicamente en Azure DevOps.

Procesamiento de datos

Los datos iniciales de capacitación, que consistieron en alrededor de 3 000 filas de comentarios de formato libre, provinieron de respuestas de encuestas de pacientes sin procesar. Todos los datos utilizados por Brenmor primero fueron limpiados por HIPPA y luego separados en datos de entrenamiento sucintos para ponderar con mayor precisión los comentarios con múltiples categorías. Una vez que existió un conjunto inicial y preciso de datos de entrenamiento y se estableció la precisión de la clasificación, el proceso manual disminuyó significativamente.

Transformaciones de datos y algoritmos de aprendizaje automático

Brenmor usó AutoML con ML.NET para generar automáticamente las transformaciones de datos y los algoritmos de aprendizaje automático que dieron como resultado el modelo de mayor calidad. Las transformaciones de datos que se usan incluyen asignar un valor a la clave y Caracterizar texto, los algoritmos que se usan incluyen el algoritmoUno frente a todosalgoritmo para la clasificación multiclase (categorización de comentarios)y el algoritmo L-BFGS de regresión logística binaria para la clasificación binaria (comentarios positivos frente a negativos).

AutoML con ML.NET también generó el conjunto de opciones de algoritmo a continuación para ajustar aún más el modelo para obtener una precisión óptima del modelo:

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

En la actualidad, la satisfacción del paciente es una necesidad creciente para los grupos médicos y los planes de salud, y escuchar directamente a los pacientes es fundamental. Aceptar las entradas de encuesta y analizar y proporcionar la clasificación de las respuestas de texto de forma libre es complejo y requiere un alto grado de precisión. Al aprovechar ML.NET y AutoML, Brenmor ha podido proporcionar a sus clientes, de forma rápida y precisa, información y análisis adicionales relacionados con la experiencia del paciente.