产品文档

映射管理

2020-04-30 138

功能介绍 创建映射 属性设置

功能介绍

①新增映射
②编辑映射
③删除映射
④映射列表

创建映射

LEAN-ETL支持数据源多schema,选择数据库类型后,可以看到数据库类型下的schema,
打开schema可以加载出schema下的表,
未加载的schema呈灰色,未加载过的schema下的实体表无法在搜索内搜索出来,只有加载过的schema才能在搜索中被搜索出来

创建新映射有三种方式:

(1)当源表与目标表同为实体表

①点击添加源数据库,选择已添加的数据源,
②点击添加目标数据库,同样选择一个已添加的数据源,
③分别选取想要转化的源表和目标表拖拽入工作区内,
④连接源表与目标表的字段建立映射关系,在属性设置中设置映射的名称后保存

(2)基于源表,拖拽生成目标表

①点击添加源表,选择已添加的数据源,
②选择数据源内一张表,拖拽至工作区变成源表,
③选中该源表,点击右上角生成目标表,
④在弹出的窗口中选择目标表数据源类型和填写目标表名称,点击下一步,
⑤左侧是源表的字段,右侧是从源表选取到目标表的字段,在此可以修改目标表的名称,目标表字段的名称以及类型,还可以删除已选取的目标表的字段,点击生成目标表,工作区内的源表与目标表自动呈连接状态。
⑥在属性设置中设置映射的名称后保存。

(3) 当源表为自定义 SQL 视图

①点击添加源表,选取已增加的数据源,打开自定义 SQL,选择一个已添加的自定义视图(如何添加自定义视图请参考 2.2.2 新增自定义视图);
②拖拽该表到工作区即为源表,若要建立映射关系可以参考 (1)(2) 的操作。

属性介绍

名称: 此次映射的名称,
筛选条件: SQL 客制化查询条件,类似 where 查询语句。
源表主键: 设置主键后,ETL会按主键分片并发抽取,可提高源表数据抽取速度。常用于源表有增量主键,且有大量数据需要传输的场景。
当抽取类型为全量时:
全量: 当前 Table 中所有的数据。
是否清空目标表: 全量传输时,每次 ETL 任务执行,都清空目标表数据。
当抽取类型为增量时:
增量: 是指在某一段时间内 Table 中数据的变化(增,删,改)。
增量标识字段 :  源表中增量字段,譬如自增 id, 时间戳。
增量标识类型 : 表中增量字段的数据库类型,仅支持数字,时间类型。
增量标识当前值 : 最近一次 ETL 成功执行后的标记位,下次 ETL 任务会传输源表中 增量标识字段大于该值的所有数据。
新增 : 将源表数据持续 insert 到目标表,数据传输效率较高,常用于源 表无重复数据的场景。
新增并更新 : ETL 数据传输时,根据主键对目标表的数据做 insert 或 update
目标表主键 : 常用于目标表的增量式传输,ETL 会根据目标表的主键更新数据。