数据中台各环节处理概要

前言

目前数据中台支持了如下操作

• 数据抽取
• 数据转换
• 数据清理
• 数据转服务

数据抽取

数据抽取环节要注意

• 字段匹配
• 字段类型转换匹配
• 不同数据源数据类型的映射
• 添加常量

数据转换

• 字段匹配
• 字段类型转换匹配
• 常量
• 转换算法

数据清理

• 字段匹配
• 字段类型转换匹配
• 约束规则
• 处理方法

Hive中的所有字段都是小写，可以把配置中的字段都改为小写。

数据转服务

• 字段匹配
• 字段类型转换匹配
• 处理方法