Brenmor 使用 ML.NET \改进患者体验和护理质量

Brenmor Technologies 与医疗团体和健康计划提供商合作，创建病患满意度解决方案，以改善病患护理。他们与客户密切合作，定制病患体验调查，这是可帮助他们确定优势和劣势领域，然后制定改进计划的统计可靠且经济高效的方法。这些调查通常包含至少一个自由格式文本回复；在分析过程中，对这些回答进行检查，并将其归入一组定义的类别，以便客户可以直接根据病患反馈采取行动来改善就诊体验和护理质量。

业务问题

Brenmor 的解决方案提供深度见解和分析，这些见解和分析非常依赖患者的调查数据。 将自由格式患者文本响应分析为多个类别并形成正面或负面情绪的能力对医疗组、健康计划和提供商(即医生)至关重要，因为这些受众需要根据加权患者反馈来了解和创建可操作的计划。

通过对病患答复进行分类，可使不同客户组织收到其有关答复，以审查和定义品质计划。例如，分类为“提供者”或“工作人员”的评论将提供给处理一对一病患体验的专员，而诸如预约和电话之类的评论则发送给前台人员。

如今，医疗专家需要对医疗界的小组、办公室以及提供商提供的服务质量进行近乎实时的反馈，但手动分类不仅缓慢而且容易出现不一致。因此，Brenmor 决定使用多类分类机器学习解决方案取代其每月手动分类流程，从而快速、准确地对复杂、格式自由、耐心的文本响应进行分类。

为什么选择 ML.NET?

鉴于 Brenmor 对 .NET 解决方案的现有投资，选择 ML.NET 是一个极具吸引力的解决方案。此外，Microsoft 提供的一组可靠的 ML.NET 代码示例为 Brenmor 提供了一个明确的工作实现路径。通过使用 AutoML 快速轻松地生成机器学习模型，然后在其现有解决方案中利用该模型，Brenmor 可以在几周内提供上市解决方案。

自开始使用 ML.NET 以来，Microsoft 迅速发展了 ML.NET 产品。这大大提高了对复杂、自由格式的病患文本答复进行分类的速度和准确性。我们的客户非常高兴。”

ML.NET 和 AutoML 的影响

扩展自由格式患者文本响应分类的能力让 Brenmor 受益匪浅。以前每个月进行一次分类，大约需要 16 个人工小时。而使用 ML.NET 后，此类分类可实时完成，并向 Brenmor 的分析客户提供即时反馈，他们现在可以花费更少时间分析 ML.NET 模型识别的问题，而将更多时间用于实施解决方案。

Brenmor 在使用 ML.NET 时看到的另一个巨大好处是提高了准确性。患者短信响应通常包含多个主题。在 ML.NET 之前，准确性由不同的个人手动确定；这很容易出错，并且无法进行具有置信度级别的多类分类。ML.NET 的多类分类支持允许 Brenmor 将分类准确性从 50% 增加到大约 76%，并为公司客户提供检测多个类别的置信度。

此外，通过与 ML.NET 一起使用 AutoML，你无需了解机器学习算法和众多算法超参数的低级别细微差别。Brenmor 的开发人员不再需要花费数小时，来测试不同算法和调整超参数，只为寻找到最佳模型。节省下来的大量时间让 Brenmor 受益匪浅，让 Brenmor 有更多时间专注于改进初始训练数据。

得益于 AutoML 提供的智能，Microsoft 实质上为 ML.NET 用户提供了一位收缩包装版的数据科学家。这对 .NET 社区有重大意义！”

解决方案体系结构

使用 ML.NET 创建应用程序

Brenmor 的调查分类应用程序的技术堆栈由 ML.NET、ASP.NET Core、Entity Framework Core、SQL Server 组成。

系统分配了大量的前期时间，以创建一组清晰且简洁的训练数据，此操作主要基于原始调查响应。现在，应用程序在生产环境中执行，当存在低置信度预测结果时，将审阅这些注释，然后这些注释将成为其他训练数据。此工作流是一个将其他智能和准确性注入机器学习模型的“清洗和重复”过程。更新的机器学习模型在源代码管理中进行版本控制，并自动部署为 Azure DevOps 中定期计划部署的一部分。

数据处理

初始培训数据包括大约 3000 行自由格式注释，来自原始患者调查问卷回答。Brenmor 使用的所有数据首先会经过 HIPPA 清理，然后分成简洁的训练数据，以使用多个类别更准确地给予注释权重。一旦存在一组初始且精确的训练数据，并建立了分类准确性，便能够显著减少手动流程。

数据转换和机器学习算法

Brenmor 使用 AutoML 和 ML.NET 自动生成数据转换和机器学习算法，从而生成最优质的模型。使用的数据转换包括Map Value to Key and Featurize Text，使用的算法包括用于多类分类 (注释分类) 的 One Versus All 算法，以及二进制分类的 L-BFGS Logistic Regression Binary 算法 (正面评论与负面评论)。

具有 ML.NET 的 AutoML 还生成了以下一组算法选项，以进一步微调模型以获得最佳模型精度:

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

如今，患者满意度对医疗组和健康计划的需求不断增加，并且直接听取患者的想法是至关重要的。接受调查输入并分析和提供自由格式文本响应的分类是这一过程很复杂，需要很高的准确性。通过利用 ML.NET 和 AutoML，Brenmor 能够快速准确地为客户提供与患者体验相关的其他见解和分析。