Brenmor utilise ML.NET pour améliorer l’expérience des patients et la qualité des soins

Brenmor Technologies collabore avec des groupes médicaux et des fournisseurs de plan de santé pour créer des solutions de satisfaction des patients qui améliorent les soins aux patients. Ils travaillent en étroite collaboration avec leurs clients pour personnaliser les enquêtes sur l’expérience des patients qui sont un moyen statistiquement fiable et rentable pour identifier les points forts et les faiblesses, puis définissent des initiatives d’amélioration. Ces enquêtes contiennent souvent au moins une réponse de texte de forme libre ; pendant l’analyse, ces réponses sont examinées et entonnées dans un ensemble défini de catégories afin que les clients puissent améliorer l’expérience de visite et la qualité des soins en agissant directement sur les commentaires des patients.

Problème d’entreprise

La solution de Brenmor fournit des informations et des analyses approfondies qui s'appuient fortement sur les données d'enquête des patients. La capacité d'analyser les réponses textuelles libres des patients en plusieurs catégories et en sentiments positifs ou négatifs est cruciale pour les groupes médicaux, les plans de santé et les prestataires (c'est-à-dire les médecins), car ces publics doivent comprendre et créer des plans d'action basés sur des données pondérées. commentaires des patients.

En classant les réponses des patients, différentes organisations clientes reçoivent des réponses associées pour examiner et définir les initiatives de qualité. Par exemple, les commentaires classés en tant que fournisseur ou personnel sont donnés aux professionnels qui gèrent l’utilisation des patients uniques, tandis que les catégories, telles que les rendez-vous et le téléphone, sont dirigées vers le personnel de bureau.

Aujourd'hui, les professionnels de la santé ont besoin d'un retour d'information en temps quasi réel sur la qualité des services fournis par les groupes médicaux, les cabinets et les prestataires, mais la catégorisation manuelle est à la fois lente et sujette à des incohérences. Ainsi, Brenmor a décidé de remplacer son processus mensuel de catégorisation manuelle par une solution d'apprentissage automatique de classification multiclasse pour classer rapidement et avec précision les réponses textuelles complexes, de forme libre et des patients.

Pourquoi ML.NET ?

Le choix de ML.NET était une solution attrayante compte tenu de l'investissement existant de Brenmor dans les solutions .NET. De plus, un ensemble robuste d'exemples de code ML.NET fourni par Microsoft a donné à Brenmor une voie claire vers une implémentation fonctionnelle. La possibilité de générer rapidement et facilement un modèle d'apprentissage automatique avec AutoML, puis d'exploiter ce modèle dans ses solutions existantes a permis à Brenmor de fournir une solution sur le marché en quelques semaines.

Depuis que nous avons commencé avec ML.NET, Microsoft a rapidement fait évoluer le produit ML.NET. Cela a entraîné une augmentation significative de la vitesse et de la précision de la catégorisation des réponses complexes au format texte et libre des patients. Nos clients sont ravis.\ »

Impact de ML.NET et AutoML

La possibilité de mettre à l’échelle la classification des réponses de texte de patient de forme libre a été un énorme avantage pour Brenmor. Auparavant, la catégorisation était effectuée une fois par mois et prenait environ 16 heures humaines. Avec ML.NET, cette classification est effectuée en temps réel et fournit des commentaires immédiats aux clients analytiques de Brenmor, qui peuvent désormais consacrer moins de temps à l’analyse et à l’implémentation de solutions aux problèmes identifiés par le modèle ML.NET.

Un autre avantage énorme que Brenmor a constaté avec l'utilisation de ML.NET est l'amélioration de la précision. Les réponses textuelles des patients contiennent souvent plusieurs sujets. Avant ML.NET, la précision était déterminée manuellement par différentes personnes ; cela était sujet aux erreurs et la classification multiclasse avec des niveaux de confiance n'était pas possible. La prise en charge de la classification multiclasse de ML.NET a permis à Brenmor d'augmenter la précision de la classification de 50 % à environ 76 % et offre aux clients de l'entreprise des niveaux de confiance pour la détection de plusieurs catégories.

En outre, en utilisant AutoML avec ML.NET, il n’était pas nécessaire de comprendre les nuances de bas niveau des algorithmes d’apprentissage automatique et l’ensemble complet d’hyperparamètres d’algorithmes. Les développeurs de Brenmor n’ont plus eu à passer des heures à tester différents algorithmes et à ajuster les hyperparamètres à la recherche du meilleur modèle. Ce gain de temps a été d’un énorme avantage pour Brenmor, car il a permis de se concentrer davantage sur l’amélioration des données d’entraînement initiales.

Grâce à l’intelligence que fournit AutoML, Microsoft offre en fait un scientifique des données en modèle réduit aux utilisateurs de ML.NET. Il s’agit d’une immense valeur ajoutée pour la communauté .NET !\ »

Architecture de la solution

Création d’une application avec ML.NET

La pile technique de l'application de catégorisation des enquêtes de Brenmor comprend ML.NET, ASP.NET Core, Entity Framework Core et SQL Server.

Une grande partie du temps initial a été allouée à la création d’un ensemble propre et succinct de données d’entraînement, principalement basées sur des réponses d’enquête brutes. Maintenant que l’application s’exécute dans un environnement de production, lorsqu’il les résultats de prédiction sont peu fiables, ces commentaires sont examinés et deviennent des données d’entraînement supplémentaires. Ce flux de travail est un processus "rinse and repeat" qui injecte une intelligence et une précision supplémentaires dans le modèle Machine Learning. Les modèles Machine Learning mis à jour sont versionnés dans le contrôle de code source et sont automatiquement déployés dans le cadre de déploiements planifiés régulièrement dans Azure DevOps.

Traitement des données

Les données d’apprentissage initiales, qui étaient constituées d’environ 3 000 lignes de commentaires au format libre, proviennent de réponses aux enquêtes de patients brutes. Toutes les données utilisées par Brenmor ont été d’abord nettoyées, puis délimitées en données de formation succinctes pour obtenir des commentaires plus précis avec plusieurs catégories. Une fois qu’un ensemble de données d’apprentissage initial et précis existait et que la classification a été établie, le processus manuel a été sensiblement réduit.

Transformations de données et algorithmes d'apprentissage automatique

Brenmor a utilisé AutoML avec ML.NET pour générer automatiquement les transformations de données et les algorithmes d’apprentissage automatique qui ont généré le modèle de meilleure qualité. Les transformations de données utilisées incluent Map Value to Key et Featurize Text, et les algorithmes utilisés incluent l’algorithme One Versus All pour la classification multiclasse (catégorisation des commentaires) et le Logistic Algorithme binaire de régression logistique L-BFGS pour la classification binaire (commentaires positifs et négatifs).

AutoML avec ML.NET a également généré l'ensemble d'options d'algorithme ci-dessous pour affiner davantage le modèle afin d'optimiser sa précision :

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

Aujourd’hui, la satisfaction des patients est un besoin croissant de groupes médicaux et de plans de santé, et l’écoute directe des patients est essentielle. L’acceptation des entrées d’enquête et l’analyse et la classification des réponses de texte libre sont complexes et nécessitent un degré élevé de précision. En tirant parti de ML.NET et d’AutoML, Brenmor a pu fournir rapidement et précisément à ses clients des insights et des analyses supplémentaires liés à l’expérience des patients.