Brenmor は ML.NET を使用して患者のエクスペリエンスと治療の質を向上させます

Brenmor Technologies は、医療グループや医療計画プロバイダーと提携して、患者の治療を改善する患者満足度ソリューションを作成します。クライアントと緊密に連携して、統計的に信頼性が高くコスト効率の高い患者体験調査をカスタマイズし、長所と短所の領域を特定し、改善イニシアチブを設定します。これらのアンケートには、多くの場合、少なくとも 1 つの自由形式のテキストによる回答が含まれています。分析中に、これらの回答を調査し、定義されたカテゴリ一式にまとめられ、クライアントが患者のフィードバックに直接対処することで、外来医療のエクスペリエンスや治療の品質を改善することができます。

ビジネスの問題

Brenmor のソリューションは、患者からのアンケート データに大きく依存した深い分析情報分析を提供します。自由形式の患者のテキスト回答を複数のカテゴリに分類し、ポジティブな感情とネガティブな感情に分けて分析する機能は、医療グループ、ヘルス プラン、プロバイダー (医師) にとって非常に重要です。なぜなら、これらの対象ユーザーは、重み付けされた患者のフィードバックに基づいて理解し、実行可能なプランを作成する必要があるからです。

患者からの回答を分類することで、さまざまなクライアント組織は、品質イニシアチブのレビューおよび定義に関連する回答を受け取ります。たとえば、[プロバイダー] または [スタッフ] として分類されたコメントは、1 対 1 の患者エクスペリエンスを処理するプロフェッショナルに与えられ、[予約] や [電話] などのカテゴリはフロント オフィスの担当者にルーティングされます。

現在、医療の専門家は、医療グループ、オフィス、プロバイダーが提供するサービスの品質に関してほぼリアルタイムのフィードバックを必要としていますが、手作業による分類は時間がかかり、不整合が起こりがちです。そこで、Brenmor は、毎月行っていた手作業による分類プロセスを、多項分類の機械学習ソリューションに置き換え、複雑で自由記載形式だった患者のテキスト回答を迅速かつ正確に分類することを決定しました。

ML.NET を選ぶ理由

ML.NET の選択は、Brenmor が .NET ソリューションに既存の投資を行う魅力的なソリューションでした。さらに、Microsoft が提供する堅牢な ML.NET コード サンプルは、Brenmor に実用的な実装への明確な経路を示すものでした。AutoML を使用して素早く簡単に機械学習モデルを生成し、そのモデルを既存のソリューションで活用することができるため、Brenmor は数週間で市場向けのソリューションを提供することができました。

"ML.NET を使い始めて以来、Microsoft は ML.NET 製品を急速に進化させてきました。これにより、患者からの複雑で自由形式のテキストによる回答を分類する速度と精度が向上しました。うちのクライアントは感動しています。"

ML.NET と AutoML の影響

自由形式の患者のテキスト回答の分類をスケーリングできるようになったことは、Brenmor にとって非常に大きなメリットです。以前は、分類作業は月に一度行われ、約 16 時間を費やしていました。ML.NETを使用すると、この分類はリアルタイムで実行され、Brenmor の分析クライアントにすぐにフィードバックされます。クライアントは、分析に費やす時間を削減し、ML.NET モデルによって特定された問題に対するソリューションの実行に時間を割くことができるようになりました。

Brenmor が ML.NET を使用して得たもう 1 つの大きなメリットは、精度の向上です。患者のテキスト回答には複数のトピックが含まれる場合が多くあります。ML.NET を導入する前は、精度の判定をさまざまな人が手作業で行っていましたが、これはエラーが発生しやすく、信頼度の高い多項分類はできませんでした。ML.NET の多項分類サポートにより、Brenmor は分類精度を 50% から約 76% まで向上させ、複数のカテゴリを検出するための信頼度を顧客に提供しています。

さらに、AutoML と ML.NET を併用することで、機械学習アルゴリズムの低レベルなニュアンスや、アルゴリズムのハイパー パラメーターの膨大なセットを理解する必要がなくなりました。Brenmor の開発者は、最適なモデルを検索するために、さまざまなアルゴリズムのテストやハイパー パラメーターの調整に何時間も費やす必要がなくなりました。この時間短縮は、初期の学習データの改善へのフォーカス時間を増やすことができる面で、Brenmor にとって莫大なメリットになりました。

"AutoML が提供するインテリジェンスのため、Microsoft は基本的に ML.NET のユーザーにシュリンクラップされたデータ サイエンティストを提供しています。 これは、.NET コミュニティにとって計り知れない価値となります。"

ソリューション アーキテクチャ

ML.NET を使用してアプリケーションを作成する

Brenmor の調査分類アプリケーションのテクニカル スタックは、ML.NET、ASP.NET Core、Entity Framework Core、SQL Server で構成されています。

膨大な時間をかけて、明快で簡潔な学習データを作成したところ、そのほとんどは生のアンケート回答に基づくものでした。現在、運用環境でアプリケーションを実行すると、信頼性の低い予測結果が出た場合、これらのコメントがレビューされ、追加の学習データになります。このワークフローは、機械学習モデルに新たなインテリジェンスと精度を注入する、いわば "すすぎと繰り返し" のプロセスです。更新された機械学習モデルは、ソース コード コントロールでバージョン管理され、Azure DevOps で定期的にスケジュールされた展開の一部として自動的に展開されます。

データ処理

初期の学習データは、約 3,000 行の自由形式のコメントで構成されており、患者アンケートへの生の回答から得られたものでした。Brenmor で使用したすべてのデータは、まず HIPPA クレンジングされ、その後、複数のカテゴリのあるコメントをより正確に重み付けするために、簡潔な学習データに分離されました。最初に正確な学習データが存在し、分類精度が確立されることで、手作業によるプロセスは大幅に減少しました。

データ変換と機械学習アルゴリズム

Brenmor は、ML.NET と共に AutoML を使用して、データ変換と機械学習アルゴリズムを自動的に生成し、その結果、最高の品質のモデルを生成しました。使用されるデータ変換には、値をキーにマップとテキストの特徴づけが含まれます。使用されるアルゴリズムには、1 対すべて のマルチクラス分類 (コメントの分類) と L-BFGS ロジスティック回帰バイナリ アルゴリズムの二項分類 (肯定的なコメントと否定的なコメント)。

また、ML.NET を使った AutoML は、次のアルゴリズム オプションのセットを生成して、最適なモデル精度を得るためにモデルをさらに微調整します。

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

現在、医療グループやヘルス プランでは、患者満足度を向上させる必要性が高まっており、患者の声を直接聞くことが重要になっています。アンケートの入力を受け付け、自由形式のテキスト回答を分析して分類を提供する作業は複雑であり、高い精度が要求されます。Brenmor は、ML.NET と AutoML を活用することにより、患者のエクスペリエンスに関連する追加の分析情報や分析を、迅速かつ正確に顧客に提供することができるようになりました。