ML.NET とは何ですか?

データの読み込み

機械学習では、既知のデータ (学習データなど) を使用してパターンを検出し、未知の新しいデータの予測を行います。

機械学習の入力は、予測に使用される属性である 特徴 と呼ばれます。機械学習の出力は、実際の予測である ラベル と呼ばれます。

ML.NET のデータは、表形式のデータ (行や列など) を柔軟かつ効率的に記述する方法である IDataView として表されます。IDataView オブジェクトには、数値、テキスト、ブール値、ベクトルなどを含めることができます。ファイルまたはリアルタイム ストリーミング ソースから IDataView にデータを読み込むことができます。

LoadFromTextFile を使用すると、TXT、CSV、TSV、その他のファイル形式からデータを読み込むことができます。

IDataView trainingData = mlContext.Data
    .LoadFromTextFile<SentimentInput>(dataPath, separatorChar: ',', hasHeader: true);

LoadFromEnumerable を使用すると、インメモリ コレクション、JSON/XML、リレーショナル データベースと非リレーショナル データベース (SQL、CosmosDB、MongoDB など)、その他の多くのデータ ソースからの読み込みが可能になります。

IDataView trainingData = mlContext.Data
    .LoadFromEnumerable<SentimentInput>(inMemoryCollection);

データの読み込みに関する詳細情報

データの変換

ほとんどの場合、利用可能なデータは、機械学習モデルのトレーニングに直接使用するのには適していません。 生データは、データ変換を使用して前処理する必要があります。

Transformers は、データを受け取り、そこで何らかの作業を行い、新しく変換されたデータを返します。

欠損値の置き換え、データ変換、テキストの搭載などのデータ変換セットが埋め込まれています。

// Convert sentiment text into numeric features
IEstimator<ITransformer> dataTransformPipeline = mlContext.Transforms.Text
    .FeaturizeText("Features", "SentimentText");

データ変換の探索

アルゴリズムの選択

機械学習 と ML.NET を使用するときは、シナリオに合う機械学習タスクを選択する必要があります。ML.NET は、さまざまな ML タスクに対して 30 を超えるアルゴリズム (または トレーナー) を提供します:

IEstimator<ITransformer> trainer = mlContext.BinaryClassification.Trainers
    .AveragedPerceptron(labelColumnName: "Sentiment", featureColumnName: "Features"));

IEstimator<ITransformer> trainingPipeline = dataTransformPipeline.Append(trainer);

アルゴリズムの探索

モデルのトレーニング

指定したデータ変換とアルゴリズムは、Fit() メソッドを呼び出すまで実行されません (ML.NET の遅延読み込み方法のため)。このときにモデルのトレーニングが行われるときです。

推定器はデータを取り込み、データから学習し、変換器を作成します。 モデル トレーニングの場合、トレーニング データが入力であり、トレーニングされたモデルが出力です。 したがって、トレーニングされたモデルは、入力機能を新しいデータから出力予測に変換する変換器です。

ITransformer model = pipeline.Fit(trainingData);

モデルの学習に関する詳細情報

モデルの評価

ML.NET は、さまざまなメトリックでモデルのパフォーマンスを評価するエバリュエーターを提供します:

• 精度
• 曲線の下の領域 (AUC)
• 決定係数
• 二乗平均平方根誤差 (RMSE)

// Make predictions on test data
IDataView predictions = model.Transform(testDataView);

// Evaluate model and return metrics
var metrics = mlContext.BinaryClassification
    .Evaluate(predictions, labelColumnName: "Sentiment");

// Print out accuracy metric
Console.WriteLine("Accuracy" + metrics.Accuracy);

評価指標の探索

モデルの展開 & 実行

学習済みモデルをバイナリ ファイルとして保存し、.NET アプリケーションに統合することができます。

mlContext.Model.Save(model, trainingData, "model.zip");

学習済みモデルを保存すると、他の .NET アプリケーションでモデルを読み込むことができます。

MLContext mlContext = new MLContext();
DataViewSchema predictionPipelineSchema;
ITransformer trainedModel = mlContext.Model.Load("model.zip", out predictionPipelineSchema);

これにより、ロードされたモデルを使用して予測を始めることができます。単一予測を作成するために使用される便利な API である予測エンジン、またはバッチ予測の作成に使用される Transform メソッドのいずれかを使用できます。

var predEngine = mlContext.Model.CreatePredictionEngine(model);
SentimentInput sampleComment = new SentimentInput{ SentimentText = "This is very rude!" };
SentimentOutput result = predEngine.Predict(sampleComment);
Console.WriteLine(result.Prediction);

学習済み ML モデルの使用方法を表示