HMRI 使用 ML.NET 构建了面向医学研究的人在回路 ML 框架

Hunter Medical Research Institute (HMRI)。是一个旨在改善社区健康和福祉的组织。为了实现这一目标，它将科学家、临床医生和公共卫生专业人员汇集在一起，以快速跟踪新的和更好的卫生解决方案提供情况。

最近，他们与一支多学科团队开展协作，为医疗保健研究人员构建机器学习开发框架。该团队成员包括来自纽卡斯尔大学的 Neva Bull 医生和 Neil Spratt 教授、澳大利亚国立大学的 Simon Quilty 博士，以及来自北领地卫生部的 Bridget Honan 医生。借助此框架，医疗保健研究人员可以轻松地将临床数据用于研究目的，而几乎无需机器学习体验。此外，它还包括一个反馈循环，可将其技能和经验整合到机器学习过程中。此框架的初始实现侧重于调查极端高温导致的死亡率和住院率。

要了解该研究的详细信息，请参阅论文 "A method for rapid machine learning development for data mining with Doctor-In-The-Loop", Neva J Bull, Bridget Honan, Neil J. Spratt, Simon Quilty。

业务问题

医疗保健机构拥有大量数据。此数据通常采用非结构化文本格式。即使对其进行数字化，也往往难以从数据中提取有意义且可操作的见解。正则表达式、SQL 查询和“现成”自然语言处理软件等技术仅取得有限的成功。

在此类情况下，机器学习可以帮助分析和提取数据中有价值的信息。机器学习工具以前用于对临床笔记进行分类，以用于各种临床和研究目的。但使用这些机器学习工具通常需要软件开发或数据科学技能，而这往往超出了医疗专业人员的范围。

即使在对模型进行训练的方案中，如果模型处于非监督状态，也会在用于现实世界中取得次优结果。由于医疗决策承受高度的风险，医疗专业人员必须信任他们的模型，并且在模型出现错误时使用其专业知识提供反馈。

这就是 HMRI 的研究人员使用 ML.NET 开发人在回路(HITL)机器学习开发框架的原因，使医疗专业人员能够更轻松地标记数据、训练模型并使用这些模型进行推理，而无需编程或机器学习经验。更重要的是，它们构建了反馈机制，这样医学专家就可以将他们的技能和专业知识整合到机器学习过程中。因此，这种高水平的监督在数据点较少的实际用例中可取得更好的成果。

为什么选择 ML.NET?

HMRI 选择 ML.NET 的主要原因之一是能够保持在 .NET 生态系统中。拥有依赖于 .NET 的技术堆栈意味着与 non-.NET 解决方案集成会带来技术和资源挑战。通过使用 ML.NET，HMRI 能够利用现有的技能和知识来构建其机器学习解决方案。

ML.NET 的影响

HMRI 使用 Model Builder 来开始使用 ML.NET。Model Builder 提供了一种快速验证是否可以使用机器学习解决其问题的方法。在验证使用机器学习解决问题的有效性后，他们利用了 ML.NET 自动化机器学习(AutoML) API。ML.NET AutoML API 可在其自定义 HITL 机器学习开发框架中自动选择算法以及管道和超参数优化。

通过使用 ML.NET，HMRI 消除了将开发工作外包的需求，并且能够使用现有技能和资源在内部构建所有内容。

此外，通过将 ML.NET 作为解决方案的一部分加以利用，他们能够为医疗专家提供一个界面，可以训练和使用不需要编程或机器学习体验的机器学习模型

解决方案体系结构

用户与之交互的界面是一个 Web 应用程序，支持在模型训练和使用阶段中执行任务。

数据

对于初始实现，用于训练模型的数据来自历史医疗记录。所使用的一个数据集是包含大约 30,000 条记录的 40 年死亡率数据库，另一个数据集则是包含约 13,000 条记录的航空医学检索数据集。

数据存储在 SQL Server 数据库中。在训练之前，医疗专家使用 Web 应用程序将测试集标记为预定义的类别，以在训练循环期间计算准确度指标。然后，将使用一小组随机选择的数据进行第一轮训练。

培训、评估和消耗工作流

该模型的训练由医疗专家从 Web 应用程序触发。服务器端 ML.NET 代码将处理模型训练和重新训练。然后，模型将预测所有剩余数据。预测和置信度分数存储在 SQL Server 数据库中。SQL Server 存储过程将用于针对测试集计算和存储准确度指标。然后，这些指标将通过 Web 应用程序返回以向医疗专家显示。整个过程在几秒钟内即可完成。

* 不是实际患者数据

医学专家发现，他们能够直观地使用召回率和特异性指标来指导如何选择要标记的其他病例，从而最大程度地快速改进模型性能。通过基于置信度分数排序选择性确定标记，可实现进一步的性能提升。在此过程中，医学专家不仅可以通过借助低分确认预测，还可通过借助高分更改错误预测来进行主动学习。

```

此时，医疗专家可以启动使用更正的数据标签重新训练模型的作业。在医疗专家对其模型性能感到满意之前，此标签、培训、评估循环将一直持续下去。训练事件时间戳、评估指标和其他信息将记录到 SQL Server 数据库，以便以后进行检查和审核。

在标记、训练、评估循环完成后，使用 SQL Server 的内置随机数生成器从 SQL Server 数据库中选择了一组验证预测。这些数据点已由一组对模型预测并不知情的医学专家进行标记。

模型的结果准确度在 90 年代时为中到高。此结果使研究人员能够放心地在其正在进行的医学研究中使用该模型生成的分类。结合了 HITL 工作流的 ML.NET 的速度意味着可以经济高效地将其重复用于不同的分类任务和/或不同的数据集，而不会对准确度造成影响。

未来的计划

对依赖于快速和准确分类医疗自由文本的未来研究而言，由 HMRI 研究人员开发的“医生在回路”工作流将表现出重要价值。