更新时间:2025-09-15 GMT+08:00
DataCheck基本功能
统计值校验
- 支持源端为DWS,MySQL,PostgreSQL,BigQuery等数据库与目标端为DWS数据库的数据校验。
- 支持通用类型字段校验:数值、时间、字符类型。
- 支持校验级别设置:包括high、middle、low三种。
- 支持指定schema、表名、列名进行校验。
- 支持指定记录的校验范围,默认为校验所有记录。
- 校验方式涉及COUNT(*)、MAX、MIN、SUM以及抽样明细校验等方式。
- 输出校验结果和相关校验明细说明。
校验级别 |
校验说明 |
校验相关语法 |
---|---|---|
低 |
数据数量校验 |
条数校验: COUNT(*) |
中 |
|
|
高 |
|
|
元数据校验
- 支持源端为DWS,MySQL,PostgreSQL,BigQuery等数据库与目标端为DWS数据库的表定义校验。
- 支持四大校验类型:字符、整数、小数、时间(包含日期)。
- 列名相同且类型一致,则校验通过。
数据精确对比
- 支持源端为DWS,MySQL,PostgreSQL,BigQuery等数据库与目标端为DWS数据库的数据精确对比。
- 根据主键或指定的列标识的唯一记录,从两端表中查询数据逐列比对,输出比对结果,包括源端或DWS端多出的记录和记录不同的列值。

- 数据精确比对,比较耗执行机资源,同时也占用两端数据库的负载,应在业务空闲时执行。
- 精确比对需要指定分批查询数据的条数(默认1000条)和出现差异的结果的数量(默认100条,达到此阈值时精确比对中止)。
父主题: DataCheck