用FME进行数据分析之数据透视表
- 2019 年 10 月 11 日
- 筆記
什么是数据透视表?
Excel中的解释
数据透视表是计算、汇总和分析数据的强大工具,可助你了解数据中的对比情况、模式和趋势。
百度百科中的解释
数据透视表(Pivot Table)是一种交互式的表,可以进行某些计算,如求和与计数等。所进行的计算与数据跟数据透视表中的排列有关。 之所以称为数据透视表,是因为可以动态地改变它们的版面布置,以便按照不同方式分析数据,也可以重新安排行号、列标和页字段。每一次改变版面布置时,数据透视表会立即按照新的布置重新计算数据。另外,如果原始数据发生更改,则可以更新数据透视表。
我的理解
数据透视,简单来讲,就是将下图,变成下下图的一个过程!



是不是很形象?

那怎么实现呢?
心路历程
这里我得吐槽下和尚哥! 上图中的数据与需求,都是他提的,但他是咋解决的,死活不跟我说,只是一直说:觉得自己的方式不够好,不够优雅!
实现方式
初探:进行分析与交互式验证
在刚看到这个这个处理题目的时候,我就想,这个或许可以用数据透视表来完成。所以在拿到数据后简单分析之后,就丢在Excel中来了一波数据透视! 如下图所示:

之所以选择用Excel进行验证,是因为数据处理与分析这种事情,交互式的验证是非常重要的。而Excel,绝对是个交互式验证的利器!
实施:进行一次编写处处运行的魔板制作
写模板一般都是这个套路:首先理清大致思路,然后进行工具制作。在制作中,再不断的进行细节优化!
魔板:
得益于AttributePivoter这个转换器,魔板其实非常简单,如下图所示:

关键转换器参数截图:

思路
1、使用AttributePivoter转换器构建数据透视表; 2、暴露属性(这一点是FME的弱项,字段,要必须经过暴露才可以在后续处理中使用); 3、移除多余字段;
输出的数据:

总结
整个过程:从拿到数据,到对数据进行分析,验证,实施,到和满意的反馈。这就是一个数据处理与分析的完整流程,虽然小,但啥都有!