ML.NET相关资源整理

  在人工智能领域,无论是机器学习,还是深度学习等,Python编程语言都是绝对的主流,尽管底层都是C++实现的,似乎人工智能和C#/F#编程语言没什么关系。在人工智能的工程实现,通常都是将Python训练好的人工智能模型封装为REST API,以供其它的系统调用。虽然C#也确实天生就不合适搞人工智能的训练等,但是通过ML.NET这个开放源代码的跨平台机器学习框架,可以很容易的将人工智能集成到Web、移动、桌面、游戏和物联网应用中。这篇文章主要总结ML.NET的相关学习资源。

一.ML.NET模型生成器和CLI

  什么是机器学习呢?它的本质就是发现数据中的模式,模式以模型为载体,从而预测新的数据。通常会经过模型的选择,数据的清洗,数据的加载,模型训练,模型评估,模型测试,模型部署等几个阶段。但是,根据实际情况选择合适的模型,以及对数据的清洗都很是需要经验的。
1.ML.NET模型生成器
  模型生成器(Model Builder)算是一个低代码的机器学习平台,可以通过图形界面实现数据加载、模型训练、模型评估和模型部署等功能,并且还支持强大的AutoML,从而可以获得最适合解决方案的模型。相当于是极大的降低了人工智能模型的训练门槛。

2.ML.NET CLI
  除了模型生成器外,还提供了ML.NET CLI这个.NET Core工具。可为其指定一个机器学习任务和一个训练数据集,而它将生成一个ML.NET模型以及要运行的C#代码,以便在应用程序中使用该模型。

二.ML.NET中的机器学习任务

1.二元分类任务
二元分类是有监督学习,顾名思义就是有2个类别的分类任务。训练器如下:

AveragedPerceptronTrainer
SdcaLogisticRegressionBinaryTrainer
SdcaNonCalibratedBinaryTrainer
SymbolicSgdLogisticRegressionBinaryTrainer
LbfgsLogisticRegressionBinaryTrainer
LightGbmBinaryTrainer
FastTreeBinaryTrainer
FastForestBinaryTrainer
GamBinaryTrainer
FieldAwareFactorizationMachineTrainer
PriorTrainer
LinearSvmTrainer

2.多类分类任务
多类分类是有监督学习,顾名思义就是有多个类别的分类任务。训练器如下:

LightGbmMulticlassTrainer
SdcaMaximumEntropyMulticlassTrainer
SdcaNonCalibratedMulticlassTrainer
LbfgsMaximumEntropyMulticlassTrainer
NaiveBayesMulticlassTrainer
OneVersusAllTrainer
PairwiseCouplingTrainer

3.回归测试任务
回归就是从一组相关特征中预测标签值。训练器如下:

LbfgsPoissonRegressionTrainer
LightGbmRegressionTrainer
SdcaRegressionTrainer
OlsTrainer
OnlineGradientDescentTrainer
FastTreeRegressionTrainer
FastTreeTweedieTrainer
FastForestRegressionTrainer
GamRegressionTrainer

4.聚类分析任务
聚类分析是无监督学习,简单理解就是从没有标签的数据中心,发现数据的模式种类。训练器如下:

KMeansTrainer

5.异常检测任务
异常检测就是对罕见事件的预测,比如地震预测等。训练器如下:

RandomizedPcaTrainer

6.排序任务
排序就是对数据记录进行排名,比如看到的搜索引擎中的搜索条目。训练器如下:

LightGbmRankingTrainer
FastTreeRankingTrainer

7.推荐任务
就是推荐算法,比如推荐User、Item和Tag等,在电商、社交、短视频中等都有广泛的应用。训练器如下:

MatrixFactorizationTrainer

8.预测任务
使用过去的时序数据来预测将来的行为。比如,天气预测、季节性销售预测和预测维护等。训练器如下:

ForecastBySsa

9.图像分类任务
图像分类是有监督学习,就是从有标记的图像中训练模型,然后预测图像的类别。训练器如下:

ImageClassificationTrainer

10.物体检测任务
就是图片对象的检测,比如车牌、行人、红绿灯等。不过目前对象检测模型训练仅适用于使用Azure机器学习的Model Builder。

三.ML.NET API v1.7.0[1]

1.Microsoft.Extensions.MLNamespace
解析:用于扩展ML.NET API的实用工具,包括预测引擎池。

2.Microsoft.MLNamespace
解析:ML.NET的主命名空间。包含应用程序和操作上下文、转换器和训练器目录以及用于数据视图处理的组件。

3.Microsoft.ML.CalibratorsNamespace
解析:包含用于二元分类校准的组件的命名空间。

4.Microsoft.ML.DataNamespace
解析:包含数据加载和保存、数据架构定义和模型训练指标组件的命名空间。

5.Microsoft.ML.RuntimeNamespace
解析:包含ML.NET运行时所需的类型的命名空间。

6.Microsoft.ML.TimeSeriesNamespace
解析:包含时间序列相关模型的命名空间。

7.Microsoft.ML.TrainersNamespace
解析:包含训练程序、模型参数和实用工具的命名空间。

8.Microsoft.ML.Trainers.FastTreeNamespace
解析:包含快速树算法的训练程序、模型参数和实用工具的命名空间。

9.Microsoft.ML.Trainers.LightGbmNamespace
解析:包含LightGBM算法的训练程序、模型参数和实用工具的命名空间。

10.Microsoft.ML.TransformsNamespace
解析:包含数据转换组件的命名空间。

11.Microsoft.ML.Transforms.ImageNamespace
解析:包含图像加载和转换组件的命名空间。

12.Microsoft.ML.Transforms.OnnxNamespace
解析:包含ONNX模型加载和转换组件的命名空间。

13.Microsoft.ML.Transforms.TextNamespace
解析:包含文本数据转换组件的命名空间。

14.Microsoft.ML.Transforms.TimeSeriesNamespace
解析:包含时序数据转换组件的命名空间。

15.Microsoft.ML.VisionNamespace
解析:包含图像分类组件的命名空间。

四.ML.NET官方例子

1.情绪分析
解析:演示如何使用ML.NET应用二元分类任务。

2.GitHub问题分类
解析:演示如何使用ML.NET应用多类分类任务。

3.价格预测器
解析:演示如何使用ML.NET应用回归任务。

4.Iris聚类分析
解析:演示如何使用ML.NET应用聚类分析任务。

5.推荐
解析:根据以前的用户评级生成影片推荐

6.图像分类
解析:展示了如何将现有TensorFlow模型重新训练为使用ML.NET创建自定义图像分类器。

7.异常检测
解析:演示如何构建针对产品销售数据分析的异常检测应用程序。

8.检测图像中的对象
解析:演示如何使用预先训练的ONNX模型检测图像中的对象。

9.对电影评论的情绪分类
解析:了解加载预训练的TensorFlow模型,对电影评论的情绪分类。

五.F#编程语言

  最后再提下F#编程语言,C#语言就不用说了,F#是C#的同门师兄弟了,并且极其擅长算法和并行编程,关键是可以无缝访问所有的第三方.NET库和工具。不过遗憾的是,可能F#太高端了,在我的周围没有见过一个人使用,但是并不能否定F#是一门优秀的编程语言。
  在ML.NET中,不仅可以使用C#编程语言,还可以使用F#编程语言,但是F#的语法还是比较复杂的,可参考的资料[11][12][13]也很少。网上就找到了一本中文的F#书籍《F#语言程序设计》[17],其它的基本都是英文的。如果感兴趣可以下载,尝试下F#编程语言,说不定会有新的惊喜。接下来计划对ML.NET做一个系列的讲解,但是更新不会太快。

参考文献:
[1]ML.NET API参考://docs.microsoft.com/zh-cn/dotnet/api/
[2]ML.NET文档://docs.microsoft.com/zh-cn/dotnet/machine-learning/
[3]ML.NET教程://docs.microsoft.com/zh-cn/dotnet/machine-learning/tutorials/
[4]dotnet/machinelearning-samples://github.com/dotnet/machinelearning-samples
[5]SciSharp STACK://github.com/SciSharp
[6]SciSharp/TensorFlow.NET://github.com/SciSharp/TensorFlow.NET
[7]Azure机器学习文档://docs.microsoft.com/zh-cn/azure/machine-learning/
[8]Azure认知服务文档://docs.microsoft.com/zh-cn/azure/cognitive-services/
[9].NET for Apache Spark文档://docs.microsoft.com/zh-cn/dotnet/spark/
[10].NET文档://docs.microsoft.com/zh-cn/dotnet/
[11]FsLab://fslab.org/tutorials.html
[12]F#文档://docs.microsoft.com/zh-cn/dotnet/fsharp/
[13]F#软件基金://fsharp.org/
[14]Q&A ML.NET://docs.microsoft.com/en-us/answers/topics/dotnet-mlnet.html
[15]Machine Learning at Microsoft with ML.NET://arxiv.org/pdf/1905.05715.pdf
[16]机器学习重要术语词汇表://docs.microsoft.com/zh-cn/dotnet/machine-learning/resources/glossary
[17]《F#语言程序设计》://url39.ctfile.com/f/2501739-627693806-97f8da?p=2096 (访问密码: 2096)

Tags: