Brenmor는 ML.NET을 사용하여 환자 환경 및 치료의 질을 개선합니다.

Brenmor Technologies는 의료 그룹 및 건강 플랜 제공자와 협력하여 환자 치료를 개선하는 환자 만족도 솔루션을 만듭니다. 그들은 고객과 긴밀히 협력하여 통계적으로 신뢰할 수 있고 비용 효율적인 방법인 환자 경험 설문 조사를 사용자 지정하여 강점과 약점 영역을 식별한 다음 개선 이니셔티브를 설정합니다. 이러한 설문 조사에는 종종 하나 이상의 자유 형식 텍스트 응답이 포함됩니다. 분석하는 동안 이러한 응답을 검사하고 정의된 범주 집합으로 분류하여 클라이언트가 환자 피드백에 직접 행동하여 방문 경험과 치료 품질을 개선할 수 있도록 합니다.

비즈니스 문제

Brenmor의 솔루션은 환자의 설문 조사 데이터에 크게 의존하는 심층적인 인사이트와 분석을 제공합니다. 무료 형태의 환자 텍스트 응답을 여러 범주로 분석하고 긍정적 또는 부정적인 감정으로 분석하는 기능은 의료 그룹, 건강 플랜 및 제공자(즉, 의사)에게 매우 중요합니다. 이러한 대상 그룹은 가중치가 적용된 환자 피드백을 기반으로 실행 가능한 계획을 이해하고 만들어야 하기 때문입니다.

환자 응답을 분류함으로써 다양한 클라이언트 조직이 관련 응답을 받아 품질 이니셔티브를 검토하고 정의합니다. 예를 들어 제공자 또는 직원으로 분류된 의견은 일대일 환자 환경을 처리하는 전문가에게 제공되는 반면 약속 및 전화와 같은 범주는 프런트 오피스 직원에게 전달됩니다.

오늘날 의료 전문가는 의료 그룹, 사무실 및 제공자가 제공하는 서비스 품질에 대한 실시간에 가까운 피드백을 요구하지만 수동 분류는 느리고 불일치하기 쉽습니다. 따라서 Brenmor는 복잡한 자유 형식의 환자 텍스트 응답을 빠르고 정확하게 분류하기 위해 월별 수동 분류 프로세스를 다중 클래스 분류 기계 학습 솔루션으로 교체하기로 결정했습니다.

왜 ML.NET를 사용해야 하나요?

ML.NET을 선택한 것은 Brenmor가 .NET 솔루션에 대한 기존 투자를 고려할 때 매력적인 솔루션이었습니다. 또한 Microsoft에서 제공하는 강력한 ML.NET 코드 샘플 세트는 Brenmor에게 작업 구현에 대한 명확한 경로를 제공했습니다. AutoML을 사용하여 기계 학습 모델을 빠르고 쉽게 생성한 다음 기존 솔루션 내에서 해당 모델을 활용하는 기능을 통해 Brenmor는 몇 주 만에 시장 출시 솔루션을 제공할 수 있었습니다.

ML.NET을 시작한 이후로 Microsoft는 ML.NET 제품을 빠르게 발전시켰습니다. 이로 인해 복잡하고 자유로운 형식의 환자 텍스트 응답을 분류하는 속도와 정확도가 크게 향상되었습니다. 클라이언트가 매우 기뻐합니다."

ML.NET 및 AutoML의 영향

자유 형식 환자 텍스트 응답의 분류를 확장하는 기능은 Brenmor에게 엄청난 이점이었습니다. 이전에는 분류가 한 달에 한 번 이루어졌으며 약 16시간이 걸렸습니다. ML.NET을 사용하면 이 분류가 실시간으로 수행되고 Brenmor의 분석 클라이언트에 즉각적인 피드백을 제공하므로 이제 분석 시간을 줄이고 ML.NET 모델로 식별된 문제에 대한 솔루션을 구현하는 데 더 많은 시간을 할애할 수 있습니다.

Brenmor가 ML.NET을 사용할 때 확인한 또 다른 큰 이점은 정확도가 향상되었다는 것입니다. 환자 텍스트 응답에는 종종 여러 항목이 포함됩니다. ML.NET 전에 정확도는 다양한 개인이 수동으로 결정했습니다. 따라서 오류가 발생하기 쉬웠으며 신뢰 수준이 있는 다중 클래스 분류가 불가능했습니다. ML.NET의 다중 클래스 분류 지원을 통해 Brenmor는 분류 정확도를 50%에서 약 76%로 높이고 회사의 클라이언트에 여러 범주 검색에 대한 신뢰 수준을 제공합니다.

또한 ML.NET과 함께 AutoML을 사용하면 기계 학습 알고리즘의 저수준 뉘앙스와 광범위한 알고리즘 하이퍼파라미터 집합에 대한 이해가 필요하지 않았습니다. Brenmor의 개발자는 더 이상 다양한 알고리즘을 테스트하고 최상의 모델을 찾기 위해 하이퍼파라미터를 조정하는 데 시간을 할애할 필요가 없었습니다. 이러한 시간 절약은 초기 훈련 데이터 개선에 더 많은 초점을 맞출 수 있게 해주었기 때문에 Brenmor에게 엄청난 이점이 되었습니다.

AutoML이 제공하는 인텔리전스 덕분에 Microsoft는 기본적으로 ML.NET 사용자에게 축소 포장된 데이터 과학자를 제공했습니다. 이것은 .NET 커뮤니티에 엄청난 가치를 제공합니다!"

솔루션 아키텍처

ML.NET을 사용하여 애플리케이션 만들기

Brenmor의 설문 조사 분류 애플리케이션을 위한 기술 스택은 ML.NET, ASP.NET Core, Entity Framework Core 및 SQL Server로 구성됩니다.

대부분 원시 설문 응답을 기반으로 하는 깨끗하고 간결한 교육 데이터 세트를 만드는 데 많은 선행 시간이 할당되었습니다. 이제 애플리케이션이 프로덕션 환경에서 실행되므로 신뢰도가 낮은 예측 결과가 있을 때 이러한 주석이 검토되고 추가 교육 데이터가 됩니다. 이 워크플로는 기계 학습 모델에 추가 인텔리전스와 정확성을 주입하는 "세척 및 반복" 프로세스입니다. 업데이트된 기계 학습 모델은 소스 코드 제어에서 버전이 지정되며 Azure DevOps에서 정기적으로 예약된 배포의 일부로 자동 배포됩니다.

데이터 처리

약 3,000개 행의 자유 형식 주석으로 구성된 초기 학습 데이터는 원시 환자 설문 조사 응답에서 가져왔습니다. Brenmor에서 사용하는 모든 데이터는 먼저 HIPPA를 정리한 다음 간결한 학습 데이터로 구분하여 여러 범주의 주석을 보다 정확하게 가중치를 적용했습니다. 초기의 정확한 학습 데이터 세트가 존재하고 분류 정확도가 설정되면 수동 프로세스가 크게 감소했습니다.

데이터 변환 및 기계 학습 알고리즘

Brenmor는 ML.NET과 함께 AutoML을 사용하여 데이터 변환 및 기계 학습 알고리즘을 자동으로 생성하여 최고 품질의 모델을 생성했습니다. 사용된 데이터 변환에는 가치-키 매핑 and 텍스트 기능화가 포함되고 사용되 알고리즘에는 다중 클래스 분류(메모 분류)를 위한 One Versus All 알고리즘과 이진 분류(긍정적 대 부정적 메모)를 위한 L-BFGS 로지스틱 회귀 이진 알고리즘이 포함됩니다.

ML.NET이 포함된 AutoML은 최적의 모델 정확도를 위해 모델을 추가로 미세 조정하려고 아래 알고리즘 옵션 세트도 생성했습니다.

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

오늘날 환자 만족도는 의료 그룹 및 건강 플랜에 대한 요구가 증가하고 있으며 환자로부터 직접 듣는 것이 중요합니다. 설문 조사 입력을 수락하고 자유 형식 텍스트 응답의 분류를 분석 및 제공하는 것은 복잡하고 높은 정확도가 필요합니다. Brenmor는 ML.NET 및 AutoML을 활용하여 환자 경험과 관련된 추가 인사이트 및 분석을 고객에게 빠르고 정확하게 제공할 수 있었습니다.