什么是 ML.NET?

加载数据

机器学习使用已知数据(例如，训练数据)来查找模式，以便对新的未知数据进行预测。

机器学习的输入称为“功能”，是用于进行预测的属性。机器学习的输出称为“标签”，是实际预测。

ML.NET 中的数据表示为 IDataView，这是描述表格数据 (例如行和列) 的一种灵活有效方法。IDataView 对象可包含数字、文本、布尔值、向量等。可以将文件或实时流式处理源中的数据加载到 IDataView。

LoadFromTextFile 允许你以 TXT、CSV、TSV 和其他文件格式加载数据。

IDataView trainingData = mlContext.Data
    .LoadFromTextFile<SentimentInput>(dataPath, separatorChar: ',', hasHeader: true);

LoadFromEnumerable 支持从内存中集合、JSON/XML、关系数据库和非关系数据库(例如 SQL、CosmosDB、MongoDB)和许多其他数据源加载。

IDataView trainingData = mlContext.Data
    .LoadFromEnumerable<SentimentInput>(inMemoryCollection);

详细了解如何加载数据

转换数据

在大多数情况下，可用的数据不适合直接用于训练机器学习模型。需要使用数据转换预先处理原始数据。

转换程序可获取数据、对数据执行一些操作，并返回转换后的新数据。

有用于替换缺少的值、数据转换、特征化文本等内容的内置数据转换集。

// Convert sentiment text into numeric features
IEstimator<ITransformer> dataTransformPipeline = mlContext.Transforms.Text
    .FeaturizeText("Features", "SentimentText");

探索数据转换

选择算法

使用机器学习和 ML.NET 时，必须选择一个与你的场景相匹配的机器学习任务。ML.NET 为各种 ML 任务提供了 30 多种算法(或训练器):

IEstimator<ITransformer> trainer = mlContext.BinaryClassification.Trainers
    .AveragedPerceptron(labelColumnName: "Sentiment", featureColumnName: "Features"));

IEstimator<ITransformer> trainingPipeline = dataTransformPipeline.Append(trainer);

浏览算法

训练模型

在调用 Fit() 方法之前，不会执行指定的数据转换和算法 (由于 ML.NET 的延迟加载方法)。此时发生模型培训。

估算器会接收数据、从数据中学习，并创建转换器。对于模型训练，训练数据是输入，训练模型是输出。因此，训练的模型是一个转换器，可将新数据中的输入功能转换为输出预测。

ITransformer model = pipeline.Fit(trainingData);

详细了解模型训练

评估模型

ML.NET 提供了评估器，可以根据各种指标评估模型的性能:

• 准确度
• 曲线下方区域 (AUC)
• R 平方值
• 根方根误差(RMSE)

// Make predictions on test data
IDataView predictions = model.Transform(testDataView);

// Evaluate model and return metrics
var metrics = mlContext.BinaryClassification
    .Evaluate(predictions, labelColumnName: "Sentiment");

// Print out accuracy metric
Console.WriteLine("Accuracy" + metrics.Accuracy);

浏览评估指标

部署 & 使用模型

可以将已定型的模型另存为二进制文件，之后，其将集成进 .NET 应用程序。

mlContext.Model.Save(model, trainingData, "model.zip");

保存经过训练的模型后，可以在其他 .NET 应用程序中加载该模型。

MLContext mlContext = new MLContext();
DataViewSchema predictionPipelineSchema;
ITransformer trainedModel = mlContext.Model.Load("model.zip", out predictionPipelineSchema);

然后，可以使用加载的模型开始进行预测。可以使用预测引擎(这是一种用于进行单一预测的便捷 API)或者 Transform 方法(用于进行批量预测)。

var predEngine = mlContext.Model.CreatePredictionEngine(model);
SentimentInput sampleComment = new SentimentInput{ SentimentText = "This is very rude!" };
SentimentOutput result = predEngine.Predict(sampleComment);
Console.WriteLine(result.Prediction);

了解如何使用经过训练的 ML 模型