Kettle 是当前广泛应用的 ETL 工具,能显著降低开发工作量。面对源数据与目标格式的转换需求,常需计算行总和与列总和。本文将详细介绍如何在 Kettle 中实现行统计和列统计操作,帮助用户高效完成数据处理任务,提升工作效率,适用于各类需要汇总分析的实际场景。
1、 先了解整体流程步骤。
2、 生成原始数据
3、 在导航栏输入自定义常量数据,并按图示完成相关设置。
4、 最终效果见最后一张图。
5、 编写代码时引用javascript代码,实现相应功能逻辑。
6、 统计变量初始化为零
7、 {
8、 {
9、 将统计与行的数值相加并更新统计值。
10、 }
11、 }
12、 每行数据的总和已统计完成。
13、 如图:
14、 引入空操作组件,即无实际功能、可选的冗余部件。
15、 添加分组组件,在聚合栏中设定名称字段,内容由用户自定义。
16、 点击Subject下拉框,从中选取所需字段,此处选择dateA/B/C即可。
17、 类型分别为:最大值、求和、求和、求和。
18、 观察上图中的11.3,通过将字段值设为常量的方式,将其替换为统计二字。
19、 引入字段选择功能,配置相应字段类型
20、 引入JavaScript代码,具体编写如下所示:
21、 统计变量初始值设为零
22、 {
23、 {
24、 将统计与行的数值相加并更新统计值。
25、 }
26、 }
27、 添加空操作节点,分别与按行统计和按行统计2连接即可完成流程。
28、 将数据中的空值替换为指定内容,确保信息完整。
29、 结果见下图所示
