ML.NET이란?

데이터 로드

기계 학습은 알려진 데이터(예: 학습 데이터)를 사용하여 알 수 없는 새로운 데이터를 예측하기 위해 패턴을 찾습니다.

기계 학습을 위한 입력은 예측에 사용되는 특성인 기능이라고 합니다. 머신 러닝의 출력은 실제 예측인 레이블이라고 합니다.

ML.NET의 데이터는 IDataView로 표현되며 이는 표 형식 데이터(예: 행 및 열)를 설명하는 유연하고 효율적인 방법입니다. IDataView 개체는 숫자, 텍스트, 부울, 벡터 등을 포함할 수 있습니다. 파일 또는 실시간 스트리밍 소스에서 IDataView로 데이터를 로드할 수 있습니다.

LoadFromTextFile을 사용하면 TXT, CSV, TSV 및 기타 파일 형식에서 데이터를 로드할 수 있습니다.

IDataView trainingData = mlContext.Data
    .LoadFromTextFile<SentimentInput>(dataPath, separatorChar: ',', hasHeader: true);

LoadFromEnumerable을 사용하면 메모리 내 컬렉션, JSON/XML, 관계형 및 비관계형 데이터베이스(예: SQL, CosmosDB, MongoDB) 및 기타 여러 데이터 소스에서 로드할 수 있습니다.

IDataView trainingData = mlContext.Data
    .LoadFromEnumerable<SentimentInput>(inMemoryCollection);

데이터 로드에 대해 자세히 알아보기

데이터 변환

대부분의 경우 사용 가능한 데이터는 기계 학습 모델을 훈련하는 데 직접 사용하기에 적합하지 않습니다. 원시 데이터는 데이터 변환을 사용하여 사전 처리되어야 합니다.

변환기는 데이터를 가져와서 일부 작업을 수행하고 변환된 새 데이터를 반환합니다.

결측값 대체, 데이터 변환, 텍스트 기능화 등을 위한 기본 제공 데이터 변환 세트가 있습니다.

// Convert sentiment text into numeric features
IEstimator<ITransformer> dataTransformPipeline = mlContext.Transforms.Text
    .FeaturizeText("Features", "SentimentText");

데이터 변환 살펴보기

알고리즘 선택

기계 학습 및 ML.NET을 사용하는 경우 시나리오와 함께 작동하는 기계 학습 작업을 선택해야 합니다. ML.NET은 다양한 ML 작업을 위한 30개 이상의 알고리즘(또는 트레이너)를 제공합니다.

IEstimator<ITransformer> trainer = mlContext.BinaryClassification.Trainers
    .AveragedPerceptron(labelColumnName: "Sentiment", featureColumnName: "Features"));

IEstimator<ITransformer> trainingPipeline = dataTransformPipeline.Append(trainer);

알고리즘 탐색

모델 학습

지정한 데이터 변환 및 알고리즘은 Fit() 메서드를 호출할 때까지 실행되지 않습니다(ML.NET의 지연 로드 방식 때문에). 바로 이 순간에 모델 학습이 이루어집니다.

예측 도구는 데이터를 가져와 데이터에서 학습하고 변환기를 만듭니다. 모델 훈련의 경우 훈련 데이터는 입력이고 훈련된 모델은 출력입니다. 따라서 훈련된 모델은 새로운 데이터의 입력 기능을 출력 예측으로 바꾸는 변환기입니다.

ITransformer model = pipeline.Fit(trainingData);

모델 학습에 대해 자세히 알아보기

평가 모델

ML.NET은 다양한 메트릭에서 모델의 성능을 평가하는 평가기를 제공합니다.

• 정확성
• 곡선 아래 면적(AUC)
• R 제곱
• RMSE(평균 제곱근 오차)

// Make predictions on test data
IDataView predictions = model.Transform(testDataView);

// Evaluate model and return metrics
var metrics = mlContext.BinaryClassification
    .Evaluate(predictions, labelColumnName: "Sentiment");

// Print out accuracy metric
Console.WriteLine("Accuracy" + metrics.Accuracy);

평가 메트릭 살펴보기

배포 및 소비 모델

학습된 모델을 .NET 애플리케이션에 통합된 이진 파일로 저장할 수 있습니다.

mlContext.Model.Save(model, trainingData, "model.zip");

학습된 모델을 저장한 후에는 다른 .NET 애플리케이션에서 모델을 로드할 수 있습니다.

MLContext mlContext = new MLContext();
DataViewSchema predictionPipelineSchema;
ITransformer trainedModel = mlContext.Model.Load("model.zip", out predictionPipelineSchema);

그런 다음, 로드된 모델을 사용하여 예측을 시작할 수 있습니다. 예측 엔진을 사용할 수 있습니다. 이는 단일 예측을 만드는 데 사용되는 편리한 API이거나 일괄 처리 예측을 만드는 데 사용되는 변환 메서드입니다.

var predEngine = mlContext.Model.CreatePredictionEngine(model);
SentimentInput sampleComment = new SentimentInput{ SentimentText = "This is very rude!" };
SentimentOutput result = predEngine.Predict(sampleComment);
Console.WriteLine(result.Prediction);

훈련된 ML 모델 사용 방법 알아보기