首页 / 工具 / 迁移清单 / MaxCompute → Spark SQL

MaxCompute 迁移到 Spark SQL 的函数改写清单

从 MaxCompute 迁移到 Spark SQL 时，在 MaxCompute 有对应写法的 45 个常用函数中，6 个需要改写（其中 1 个在 Spark SQL 没有对应函数）。逐个列出两边写法和注意事项。

需要改写的函数 · 迁移注意事项 · 可以直接用的函数 · 反向：Spark SQL 迁移到 MaxCompute

需要改写的函数

函数	MaxCompute 写法	Spark SQL 写法	Spark SQL 说明
APPROX_COUNT_DISTINCT	`APPROX_DISTINCT(colname)`	支持 `approx_count_distinct(expr[, relativeSD])`	Spark 1.6.0 起提供，基于 HyperLogLog++。relativeSD 是允许的最大相对标准差。
DATEADD	`DATEADD(date, delta, datepart)`	需改写 `ts + INTERVAL n HOUR`	Spark 3.4.0 起有 dateadd(start_date, num_days)，但只能加天数，没有单位参数。按小时、月等单位加减用 INTERVAL 字面量，按月也可以用 add_months。
DATETRUNC	`DATETRUNC(date, date_part)`	需改写 `date_trunc('MONTH', ts)`	date_trunc 从 2.3.0 起提供，单位在前，返回 timestamp。只需要日期时可以用 trunc(date, fmt)。
GETDATE	`GETDATE()`	别名 `current_timestamp() 或 now()`	返回查询开始执行时的时间戳，同一查询中各次调用结果相同。3.4.0 起还有不带时区的 localtimestamp()。
MAX_PT	`MAX_PT(table_full_name)`	不支持	函数索引中没有 MAX_PT。改写为 WHERE pt = (SELECT MAX(pt) FROM t)。
WM_CONCAT	`WM_CONCAT(separator, colname)`	需改写 `string_agg(expr[, delimiter]) WITHIN GROUP (ORDER BY ...)`	string_agg 和 listagg 从 Spark 4.0.0 起提供。更早的版本用 concat_ws(',', collect_list(expr))。

迁移注意事项

以下内容摘自各函数页中提到 MaxCompute 或 Spark SQL 的注意事项。

APPROX_COUNT_DISTINCT 近似去重计数

各引擎的误差不同：MaxCompute 文档写的是 5%，Hologres 默认是 0.1%～1%。迁移后与原报表对数时，小的差异属于正常现象，不能直接当作数据问题。
Spark 的第二个参数 relativeSD 在其他引擎中没有对应写法，迁移时要去掉，并按目标引擎的方式调整精度，例如 Hologres 的会话参数。

DATEADD 按单位加减日期

MaxCompute 和 Hologres 中 mm 表示月，mi 表示分钟。把 DATEADD(d, 1, 'mm') 当成加 1 分钟，是迁移时最常见的错误。
Spark 3.4.0 起的 dateadd(d, 1) 表示加 1 天，参数个数和含义都与 MaxCompute 不同，不能直接照搬。
MaxCompute 的 DATEADD 遇到 date 为 NULL 会报错，而不是返回 NULL。字段可能为空时，先过滤或用 IF 包一层。
MaxCompute 按月加减时，如果目标月份没有对应日期，结果取当月最后一天。StarRocks 的 DATE_ADD 遇到不存在的日期返回 NULL。

DATETRUNC 日期截断

参数顺序不同：MaxCompute 是日期在前，Hologres、StarRocks 和 Spark 是单位在前，Doris 两种都接受。
返回类型不同：MaxCompute 对 DATE 输入返回 DATE，Hologres 和 Spark 的 date_trunc 返回时间戳。结果用于关联 DATE 字段时要先转换。
周的起点：MaxCompute 的 week 默认从周一开始，Doris 和 Spark 文档的示例也截断到周一。按周汇总前确认业务定义的周起点。

GETDATE 获取当前时间

MaxCompute 的 GETDATE 固定使用东八区，其他引擎的结果取决于会话或集群时区。迁移后如果时间差了 8 小时，先检查时区设置。
返回类型不同：MaxCompute、StarRocks 和 Doris 返回 DATETIME，Hologres 的 NOW 带时区（文档把不带时区的版本单独列为 LOCALTIMESTAMP），Flink 返回 TIMESTAMP_LTZ(3)。直接写入字符串或 DATETIME 字段时，格式可能变化。
精度不同：MaxCompute 默认到秒，StarRocks 和 Doris 默认到秒、可传参数到微秒，Flink 到毫秒。用当前时间做去重或比较时要注意小数部分。
Hive 和 Spark 的 current_timestamp 可以不带括号，Doris 文档中的写法是 current_timestamp()。迁移时统一写 NOW() 更容易对齐。

MAX_PT 取最新分区

MaxCompute 的 MAX_PT 只看一级分区。多级分区表官方建议直接用子查询。
MaxCompute 中用 ALTER TABLE 建出的空分区不参与计算；所有分区都为空时会报错。MaxCompute 没有 MIN_PT，取最小分区用 MIN(pt) 子查询。
MaxCompute 官方给出的等价写法是 WHERE pt = (SELECT MAX(pt) FROM tbl)，可以直接用于其他引擎。改写后的子查询需要扫描分区列，表很大时确认目标引擎能做分区裁剪。

WM_CONCAT 分组拼接字符串

不写排序时，各引擎拼接的顺序都不固定。需要稳定结果时，MaxCompute 写 WITHIN GROUP (ORDER BY ...)，StarRocks 和 Doris 在 GROUP_CONCAT 内写 ORDER BY。

可以直接用的函数

下面 39 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同，点开函数页查看细节。

相关页面：MaxCompute 函数写法 · Spark SQL 函数写法 · 全部迁移清单 · 用 SQL 迁移检查器检查自己的 SQL