在各个领域,有一个词眼出现得越来越频繁,即 Pipeline。
开始接触的时候,百思不得其解,觉得作者在 用个 洋名字 在装 高大上,
其实,鲁迅先生说过一句话,太阳底下没有新鲜事
一切的一切,都是纸老虎,
Pipeline,你 土味一点 你把它 翻译成 一条龙服务
专业一点,叫 它 综合解决方案,就行。
算法或者大数据分析里的
可重复使用,针对新的数据,直接输入数据,可以得到结果。
一个典型的机器学习构建包含若干个过程
1、源数据ETL
2、数据预处理
3、特征选取
4、模型训练与验证
以上四个步骤可以抽象为一个包括多个步骤的流水线式工作,从数据收集开始至输出我们需要的最终结果。因此,对以上多个步骤、进行抽象建模,简化为流水线式工作流程则存在着可行性,对利用spark进行机器学习的用户来说,流水线式机器学习比单个步骤独立建模更加高效、易用。