Brenmor 使用 ML.NET 來改善病患體驗與照護品質

Brenmor Technologies 與醫學群組及健康方案提供者合作，建立可改善患者護理的患者滿意度解決方案。它們會與用戶端密切協作，以自訂患者體驗調查，以可信賴的統計資料和經濟實惠的方式，找出優勢與弱點的領域，然後設定改進方案。這些調查通常包含至少一個自由格式的文字回應；在分析期間，會對這些回應進行檢查，並漏斗到一組已定義的類別，讓用戶端可直接使用患者意見反應來改善就診體驗與護理品質。

商務問題

Brenmor 的解決方案提供深層的見解與分析，其主要依賴患者的調查資料。將自由形式的患者文字回應分析成多個分類，以及分析成正值或負值情感的能力，對醫學群組、健康情況方案及提供者 (也就是醫生) 非常重要，因為這些受眾必須了解並根據加權患者意見反應建立可行動的方案。

將患者回應分類時，不同的用戶端組織會收到相關的回應，以審查及定義品質方案。例如，分類為提供者或員工的批註會提供給處理一對一患者體驗的專業人員，而諸如約會與電話等類別的批註則會傳送給前端辦公室的人員。

目前，醫藥專業人員要求對醫療集團、診所及醫療人員所提供的服務品質需有近乎即時的意見反應，但手動分類既緩慢又容易產生前後不一致的情況。因此，Brenmor 決定使用 multiclass 分類機器學習解決方案取代其每月的手動分類流程，以快速準確地將複雜、各種格式的病患回覆文字進行分類。

為什麼要使用 ML.NET?

對 Brenmor 就 .NET 解決方案的現有投資來說，ML.NET 的精選項目是具吸引力的解決方案。此外，Microsoft 提供的一組穩健的 ML.NET 程式碼範例，為 Brenmor 提供一個可行實作的清楚路徑。使用 AutoML 快速且輕鬆地產生機器學習模型，然後在其現有解決方案中運用該模型的能力，讓 Brenmor 在幾週內便能提供上市解決方案。

自從我們開始使用 ML.NET 以來，Microsoft 已迅速演進 ML.NET 產品。這已造成分類複雜性、自由格式、病患文字回應的速度與正確性提升。我們的用戶端都非常開心。」

ML.NET 與 AutoML 的影響

可縮放自由格式病患文字回應分類的功能已成為 Brenmor 的驚人優勢。分類過去每月執行一次且須耗時大約 16 小時的人工時間。使用 ML.NET 即可即時完成此分類，並為 Brenmor 的分析用戶端提供立即的意見反應，他們現在可以花費較少的時間進行分析，而以更多時間對 ML.NET 模型所識別的問題實作解決方案。

Brenmor 使用 ML.NET 時所看到的另一個巨大優點是提高精確度。患者文字回應通常包含多個主題。在 ML.NET 之前，這會由不同的人手動決定；這很容易發生錯誤，且無法以信賴等級進行多重類別分類。ML.NET 的多重類別分類支援可讓 Brenmor 將分類精確度從 50% 增加到大約 76%，並為公司的用戶端提供信任層級來偵測多個類別。

此外，使用 AutoML 搭配 ML.NET，不需要了解機器學習演算法的低層級細微差別和廣泛的演算法超參數組。Brenmor 的開發人員不再需要花費數小時來測試不同的演算法，並調整超參數以尋求最佳模型。所節省的時間對 Brenmor 非常有幫助，因為它允許更專注於改善初始定型資料。

由於 AutoML 提供的情報，Microsoft 基本上已為 ML.NET 的使用者提供熱縮膜式資料科學家。這是 .NET 社群的巨大價值!」

解決方案架構

正在使用 ML.NET 建立應用程式

適用於 Brenmor 的問卷分類應用程式的技術堆疊由 ML.NET、ASP.NET Core、Entity Framework Core 及 SQL Server 組成。

許多前置時間是配置給建立一組乾淨且簡潔的定型資料，大部分是根據原始問卷回應。現在應用程式在生產環境中執行，當有低信賴度預測結果時，會檢閱這些註解，並成為其他定型資料。此工作流程是「重複整個流程」，其會將額外的智慧和正確性插入機器學習模型。更新的機器學習模型會在原始程式碼控制項中版本化，並隨著 Azure DevOps 中定期排程部署的一部分自動部署。

資料處理

初始訓練資料，包括來自原始患者問卷回應的 3,000 個資料列的自由形式批註。Brenmor 所使用的所有資料都先 HIPPA 清理，然後再分到簡潔的定型資料，以獲得多個類別的更精確權重批註。一旦有一組初始且精確的訓練資料，而且已建立分類準確性，手動處理就會顯著減少。

資料轉換和機器學習演算法

Brenmor 使用 AutoML 搭配 ML.NET，以自動產生資料轉換和機器學習演算法，生成最高品質的模型。使用的資料轉換包括 將值對應到索引鍵以及為文字資料建立特徵，而使用的演算法包括用於多類別分類 (批註分類) 的一對全部演算法，以及用於二元分類的 L-BFGS 羅吉斯迴歸二進位演算法 (正批註對負批註)。

具有 ML.NET 的 AutoML 也產生下列一組演算法選項，進一步微調模型以獲得最佳模型正確性:

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

如今，醫療組織和健康方案對患者滿意度的需求與日俱增，而且直接聽取病人的意見非常重要。接收問卷輸入內容，然後分析並分類自由格式的文字回應是很複雜的過程，而且需要高度的正確性。透過利用 ML.NET 及 AutoML，Brenmor 能夠快速且正確地為客戶提供與病患體驗相關的其他深入解析和分析。