更新时间:2025-09-15 GMT+08:00
分享

DataCheck基本功能

统计值校验

  • 支持源端为DWS,MySQL,PostgreSQL,BigQuery等数据库与目标端为DWS数据库的数据校验。
  • 支持通用类型字段校验:数值、时间、字符类型。
  • 支持校验级别设置:包括high、middle、low三种。
  • 支持指定schema、表名、列名进行校验。
  • 支持指定记录的校验范围,默认为校验所有记录。
  • 校验方式涉及COUNT(*)、MAX、MIN、SUM以及抽样明细校验等方式。
  • 输出校验结果和相关校验明细说明。
表1 数据校验级别说明

校验级别

校验说明

校验相关语法

数据数量校验

条数校验: COUNT(*)

  • 数据数量校验
  • 数值类型校验
  • 条数校验: COUNT(*)
  • 数值校验: MAX, MIN, SUM

  • 数据数量校验
  • 数值类型校验
  • 日期类型校验
  • 字符类型校验
  • 条数校验: COUNT(*)
  • 数值校验: MAX, MIN, SUM
  • 日期校验: MAX, MIN
  • 字符校验:order by limit 1000,读出数据并校验内容是否相同。

元数据校验

  • 支持源端为DWS,MySQL,PostgreSQL,BigQuery等数据库与目标端为DWS数据库的表定义校验。
  • 支持四大校验类型:字符、整数、小数、时间(包含日期)。
  • 列名相同且类型一致,则校验通过。

数据精确对比

  • 支持源端为DWS,MySQL,PostgreSQL,BigQuery等数据库与目标端为DWS数据库的数据精确对比。
  • 根据主键或指定的列标识的唯一记录,从两端表中查询数据逐列比对,输出比对结果,包括源端或DWS端多出的记录和记录不同的列值。
  • 数据精确比对,比较耗执行机资源,同时也占用两端数据库的负载,应在业务空闲时执行。
  • 精确比对需要指定分批查询数据的条数(默认1000条)和出现差异的结果的数量(默认100条,达到此阈值时精确比对中止)。

相关文档