Flink SQL 迁移到 MaxCompute 的函数改写清单

从 Flink SQL 迁移到 MaxCompute 时，在 Flink SQL 有对应写法的 43 个常用函数中，23 个需要改写，另有 4 个可以改用 MaxCompute 的原生函数。逐个列出两边写法和注意事项。

需要改写的函数 · 可以改用原生函数 · 迁移注意事项 · 可以直接用的函数 · 反向：MaxCompute 迁移到 Flink SQL

需要改写的函数

函数	Flink SQL 写法	MaxCompute 写法	MaxCompute 说明
ADD_MONTHS	`TIMESTAMPADD(MONTH, n, timepoint)`	支持 `ADD_MONTHS(startdate, num_months)`	返回 yyyy-mm-dd 格式的 STRING，不是 DATE。格式不对时返回 NULL，例如 '20170214'。
COLLECT_LIST	`ARRAY_AGG(expression)`	支持 `COLLECT_LIST(colname)`	值为 NULL 的行不参与计算，结果不保证顺序。官方建议拼接字符串时改用 WM_CONCAT。
COLLECT_SET	`ARRAY_AGG(DISTINCT expression)`	支持 `COLLECT_SET(colname)`	返回去重后的数组，值为 NULL 的行不参与计算。
DATE_ADD	`TIMESTAMPADD(DAY, n, timepoint)`	支持 `DATE_ADD(startdate, delta)`	按天加减，delta 为负数时表示减。返回 DATE，输入的时间部分会被丢弃。需要按月、小时等单位加减时用 DATEADD。
DATE_SUB	`TIMESTAMPADD(DAY, -n, timepoint)`	支持 `DATE_SUB(startdate, delta)`	delta 大于 0 时减，小于 0 时加。返回 DATE，输入的时间部分会被丢弃。startdate 为 NULL 时报错，delta 为 NULL 时返回 NULL。
DATEADD	`TIMESTAMPADD(unit, n, timepoint)`	支持 `DATEADD(date, delta, datepart)`	datepart 必须是常量，可选 yyyy、q、mm、week、dd、hh、mi、ss、ff3 等。返回类型与 date 相同。date 为 NULL 时报错，delta 或 datepart 为 NULL 时返回 NULL。2.0 数据类型版本下，字符串要先 CAST 成 DATETIME。
DATEDIFF	`TIMESTAMPDIFF(DAY, timepoint1, timepoint2)`	支持 `DATEDIFF(end_date, start_date[, date_part])`	结果为 end_date 减 start_date。不传 date_part 时按天计算并返回 INT，传入时返回 BIGINT。date_part 支持 yyyy、mm、dd、hh、mi、ss、ff3 等。
DATETRUNC	`FLOOR(timepoint TO MONTH)`	支持 `DATETRUNC(date, date_part)`	返回类型与输入相同。单位支持 yyyy、q、mm、week、isoweek、dd、hh、mi、ss、ff3，week 默认从周一开始，也可以写 week(sunday)。
EXPLODE	`CROSS JOIN UNNEST(arr) AS t(x)`	支持 `EXPLODE(var)`	支持 array 和 map。同一个 SELECT 只能有一个 EXPLODE，也不能同时选其他列，不能与 GROUP BY 等一起使用。数组为 NULL 时不输出行。
FROM_JSON	`JSON_VALUE(json, path) / JSON_QUERY(json, path)`	支持 `from_json(jsonStr, schema)`	schema 写法与建表时的类型一致，例如 'a bigint, b double'、'array<bigint>'、'map<string,string>'。返回 ARRAY、MAP 或 STRUCT。STRUCT 的 key 区分大小写，缺失的 key 返回 NULL，类型不匹配的值会被忽略。
GET_JSON_OBJECT	`JSON_VALUE(json, path)`	支持 `GET_JSON_OBJECT(json, json_path)`	返回 STRING，路径以 $ 开头，不支持正则。转义行为受 odps.sql.udf.getjsonobj.new 控制。
GETDATE	`CURRENT_TIMESTAMP 或 NOW()`	支持 `GETDATE()`	返回 DATETIME，以东八区时间为标准。同一条 SQL 中总是返回固定值，精度到秒；开启 2.0 数据类型后精度到毫秒。
LAST_DAY	`TIMESTAMPADD(DAY, -1, TIMESTAMPADD(MONTH, 1, FLOOR(ts TO MONTH)))`	支持 `LAST_DAY(date[, date_part])`	不传 date_part 时返回 yyyy-mm-dd 格式的 STRING，传入时返回 DATE。date_part 可以是 year、quarter、month、week 等。date 为 NULL 时报错。
LENGTH	`CHAR_LENGTH(string)`	支持 `LENGTH(str)`	返回 BIGINT，输入不是 UTF-8 编码时返回 -1。按字节计算长度要用 LENGTHB。
MONTHS_BETWEEN	`TIMESTAMPDIFF(MONTH, start, end)`	支持 `MONTHS_BETWEEN(end_date, start_date)`	返回 DOUBLE，end_date 晚于 start_date 时为正。两个日期都是月末时返回整数，否则按天数差除以 31 折算。
NVL	`IFNULL(input, null_replacement)`	支持 `NVL(value, default_value)`	文档要求两个参数的数据类型一致。
PERCENTILE_APPROX	`PERCENTILE(expr, percentage[, frequency])`	支持 `PERCENTILE_APPROX(col[, weight], p[, B])`	MaxCompute 2.0 扩展函数。p 取 0～1，也可以传数组一次求多个分位数。B 是精度参数，默认 10000。可选的 weight 参数为每行指定权重。col 为 NULL 的行不参与计算，p 或 B 为 NULL 时报错。
SIZE	`CARDINALITY(array_or_map)`	支持 `SIZE(array_or_map)`	同一个函数可以处理 ARRAY 和 MAP，返回 INT。
SORT_ARRAY	`ARRAY_SORT(array[, ascending_order[, null_first]])`	支持 `SORT_ARRAY(a[, isasc])`	isasc 默认为 True，即升序，传 False 时降序。NULL 视为最小值。
SPLIT_PART	`SPLIT_INDEX(str, delimiter, n - 1)`	支持 `SPLIT_PART(str, delimiter, start[, end])`	下标从 1 开始，必须是大于 0 的常量。传入 end 时返回 start 到 end 段，并保留中间的分隔符。下标越界返回空字符串，分隔符为空字符串时返回原串，任一参数为 NULL 时返回 NULL。
TO_CHAR	`DATE_FORMAT(timestamp, 'yyyy-MM-dd HH:mm:ss')`	支持 `TO_CHAR(date, format)`	格式符为 yyyy、mm、dd、hh、mi、ss，也支持 %Y、%m 这类写法。日期输入时 format 必填。date 为 NULL 时报错，format 为 NULL 时返回 NULL。也可以传入 BIGINT、DOUBLE 等数值，直接转成字符串。
WEEKOFYEAR	`WEEK(date)`	支持 `WEEKOFYEAR(date[, date_part])`	默认周一为一周的第一天，1 月 1 日所在周有 4 天及以上属于当年时算作第一周。date_part 可以传 week(sunday) 等指定一周的起始日，或传 isoweek。
WM_CONCAT	`LISTAGG(expression[, separator])`	支持 `WM_CONCAT(separator, colname)`	分隔符必须是常量且写在前面。支持 DISTINCT 和 WITHIN GROUP (ORDER BY ...)，值为 NULL 的行不参与计算。

可以改用原生函数

下面的函数在 Flink SQL 中只能用替代写法，MaxCompute 有对应的函数。原来的写法通常仍能运行，换成原生函数会更简洁。

函数	Flink SQL 写法	MaxCompute 写法	MaxCompute 说明
ANY_VALUE	`FIRST_VALUE(expression)`	支持 `ANY_VALUE(colname)`	值为 NULL 的行不参与计算，不保证返回哪一行。
APPROX_COUNT_DISTINCT	`COUNT(DISTINCT expr)`	别名 `APPROX_DISTINCT(colname)`	MaxCompute 2.0 扩展函数，返回 BIGINT，文档写明会有 5% 的误差。
DECODE	`CASE expr WHEN search THEN result ... ELSE default END`	支持 `DECODE(expression, search, result[, search, result]...[, default])`	没有匹配且没有 default 时返回 NULL。所有 result 的类型必须一致，search 与 expression 的类型也必须一致，否则报错。在 DECODE 中 NULL 与 NULL 视为相等。
MAX_BY	`ROW_NUMBER() OVER (PARTITION BY ... ORDER BY y DESC) = 1`	支持 `MAX_BY(valueToReturn, valueToMaximize)`	valueToMaximize 为 NULL 的行不参与计算。多行并列最大时随机返回其中一行。

迁移注意事项

以下内容摘自各函数页中提到 Flink SQL 或 MaxCompute 的注意事项。

ADD_MONTHS 按月加减

MaxCompute 返回字符串，Hive 4.0.0 之前也会丢掉时间部分。结果和 DATE 或 DATETIME 字段比较时，注意类型转换。
Hologres 和 Flink 的月末行为文档没有写明，迁移涉及月末日期时建议用已知数据核对。

COLLECT_LIST 聚合为数组

不要依赖数组元素的顺序。MaxCompute 文档建议用 SORT_ARRAY 排序；StarRocks 可以直接写 ARRAY_AGG(x ORDER BY y)。
用 COLLECT_LIST(x)[0] 取每组的一个值时，MaxCompute 官方建议改用 ANY_VALUE，性能更好，语义也更清楚。
StarRocks 的 ARRAY_AGG 保留 NULL，MaxCompute 和 Doris 的 COLLECT_LIST 丢弃 NULL，数组长度可能不一致。

COLLECT_SET 去重聚合为数组

NULL 的处理不同：MaxCompute、Doris 会丢弃 NULL，StarRocks 的 ARRAY_AGG 会保留 NULL。迁移到 StarRocks 后数组里可能多出 NULL 元素。

DATE_ADD 日期加减

MaxCompute 的 DATE_ADD 返回 DATE，DATE_ADD(DATETIME '2005-02-28 10:00:00', 1) 的结果不带时间。需要保留时间时改用 DATEADD(d, 1, 'dd')，它的返回类型与输入相同。
MaxCompute 的 DATEADD 按月加时，目标月份没有对应日期会返回当月最后一天，例如 1 月 29 日加 1 个月得到 2 月 28 日。StarRocks 的 DATE_ADD 遇到不存在的日期返回 NULL。

DATE_SUB 日期减天数

MaxCompute 的 DATE_SUB 返回 DATE，会丢掉时间部分。需要保留时间时改用 DATEADD(d, -1, 'dd')。
MaxCompute 的 DATE_SUB 遇到 startdate 为 NULL 会报错，而不是返回 NULL。

DATEADD 按单位加减日期

MaxCompute 和 Hologres 中 mm 表示月，mi 表示分钟。把 DATEADD(d, 1, 'mm') 当成加 1 分钟，是迁移时最常见的错误。
Spark 3.4.0 起的 dateadd(d, 1) 表示加 1 天，参数个数和含义都与 MaxCompute 不同，不能直接照搬。
MaxCompute 的 DATEADD 遇到 date 为 NULL 会报错，而不是返回 NULL。字段可能为空时，先过滤或用 IF 包一层。
MaxCompute 按月加减时，如果目标月份没有对应日期，结果取当月最后一天。StarRocks 的 DATE_ADD 遇到不存在的日期返回 NULL。

DATEDIFF 日期差

MaxCompute、StarRocks、Doris、Hive 和 Spark 都是结束日期在前。Flink 的 TIMESTAMPDIFF 先写单位，再写开始时间和结束时间。Flink 文档没有写明正负号的方向，按标准 SQL 的约定结果为 timepoint2 减 timepoint1，迁移后建议用一条已知数据核对符号。
MaxCompute 按分钟等单位计算时，默认先截掉更小的单位再相减：10:05:05 减 10:00:10 返回 5 分钟。开启 BigQuery 兼容模式后返回 4。
MaxCompute 2.0 类型系统下，yyyy-mm-dd 格式的字符串不能指定 date_part，否则报错。

DATETRUNC 日期截断

参数顺序不同：MaxCompute 是日期在前，Hologres、StarRocks 和 Spark 是单位在前，Doris 两种都接受。
返回类型不同：MaxCompute 对 DATE 输入返回 DATE，Hologres 和 Spark 的 date_trunc 返回时间戳。结果用于关联 DATE 字段时要先转换。
周的起点：MaxCompute 的 week 默认从周一开始，Doris 和 Spark 文档的示例也截断到周一。按周汇总前确认业务定义的周起点。

EXPLODE 数组展开为多行

空数组和 NULL 数组的行会被直接丢掉：MaxCompute、Doris 的 EXPLODE 和 StarRocks 的 UNNEST 都是这样。需要保留时，Doris 和 Spark 用 EXPLODE_OUTER，StarRocks 3.2.7 起用 LEFT JOIN UNNEST(...) ON TRUE。
MaxCompute 的 EXPLODE 不能和其他列写在同一个 SELECT 里。需要同时取其他列时，要改成 LATERAL VIEW 写法。
需要元素位置时，Hive 和 Spark 的 posexplode 位置从 0 开始，Flink 的 WITH ORDINALITY 从 1 开始，迁移时要调整下标。

FROM_JSON 按 schema 解析 JSON

MaxCompute 的 from_json 解析成 FLOAT、DOUBLE 或 DECIMAL 时不保证精度。金额类字段建议先按 STRING 取出，再 CAST 成 DECIMAL。
MaxCompute 的 STRUCT key 区分大小写。JSON 里是 userId、schema 里写成 userid 时，取到的是 NULL，并且不会报错。

GET_JSON_OBJECT 提取 JSON 字段

MaxCompute 中，2021 年 1 月 21 日之前创建的项目默认会转义 JSON 保留字符，之后创建的项目保留原始字符串。新旧项目的结果可能不同，官方推荐把 odps.sql.udf.getjsonobj.new 设为 true。
MaxCompute 每次调用都会重新解析整个 JSON。同一个字段取多个值时，频繁调用会明显变慢，可以考虑 UDTF。

GETDATE 获取当前时间

Flink 流模式下 CURRENT_TIMESTAMP 每条记录都重新求值，同一批数据的结果并不相同。离线 SQL 里依赖“整条 SQL 共用一个时间”的写法，在 Flink 流作业里会出现不同的值。
MaxCompute 的 GETDATE 固定使用东八区，其他引擎的结果取决于会话或集群时区。迁移后如果时间差了 8 小时，先检查时区设置。
返回类型不同：MaxCompute、StarRocks 和 Doris 返回 DATETIME，Hologres 的 NOW 带时区（文档把不带时区的版本单独列为 LOCALTIMESTAMP），Flink 返回 TIMESTAMP_LTZ(3)。直接写入字符串或 DATETIME 字段时，格式可能变化。
精度不同：MaxCompute 默认到秒，StarRocks 和 Doris 默认到秒、可传参数到微秒，Flink 到毫秒。用当前时间做去重或比较时要注意小数部分。

LAST_DAY 当月最后一天

返回类型不同：MaxCompute（不传 date_part）和 Hive 返回字符串，StarRocks 和 Doris 返回 DATE。结果用于关联 DATE 字段时要先转换。
MaxCompute 的 LAST_DAY 遇到 NULL 输入会报错，而不是返回 NULL。字段可能为空时，先用 WHERE 过滤或用 IF 包一层。

LENGTH 字符串长度

按字符计数统一写 CHAR_LENGTH 最稳妥：Hologres、StarRocks、Doris、Flink 都支持，Hive 2.2.0 起也支持（char_length 是 character_length 的简写）。
MaxCompute 的 LENGTH 遇到非 UTF-8 编码的字符串返回 -1，不是 NULL。

MONTHS_BETWEEN 相差月数

Flink 的 TIMESTAMPDIFF(MONTH, t1, t2) 计算的是 t2 减 t1，开始时间在前；MONTHS_BETWEEN 是结束时间在前。照搬参数顺序会得到相反的符号。
StarRocks 的 months_diff、Flink 的 TIMESTAMPDIFF 和 Hologres 的 EXTRACT 写法都只返回整数月，原 SQL 中依赖小数部分的计算（例如按 0.5 个月判断）需要重新设计。
舍入不同：Hive 和 Spark 默认保留 8 位小数，MaxCompute 返回完整的 DOUBLE，Doris 由 round_type 控制。和原结果做等值比较前，先统一 ROUND。

NVL 空值替换

MaxCompute 文档要求两个参数类型一致，例如 NVL(bigint_col, 0.0) 应先做 CAST。文档自带的示例里又有 datetime 列配字符串默认值的写法，两处说法不一致，建议实测。
迁移到 Hologres、StarRocks 或 Flink SQL 时，统一改写为 COALESCE 最省事，因为 COALESCE 在七个引擎中都可用。
Flink 的 IFNULL 在第一个参数来自 JSON_VALUE 时可能返回错误结果，问题编号 FLINK-35832。受影响版本包括 1.15～1.20 和 2.0.0，问题已在 2024 年 7 月标记为修复，但没有写明修复版本，使用前请确认所用版本是否包含修复。

PERCENTILE_APPROX 近似分位数

第三个参数含义不同：MaxCompute 和 Hive 的 B、Spark 的 accuracy 都默认 10000；StarRocks 和 Doris 的 compression 只接受 2048～10000。从 Spark 迁移时，如果写了大于 10000 的 accuracy，要调整到这个范围内。
MaxCompute 有带 weight 的四参数写法，例如 PERCENTILE_APPROX(col, weight, 0.5)，其他引擎没有对应参数。迁移时要先确认第二个参数是权重还是分位点。
各引擎的算法不同，结果不会完全一致。MaxCompute 文档写明 p 落在两个值中间时取两者均值，Spark 返回满足条件的最小值，Flink 的 PERCENTILE 用线性插值。P50、P99 这类指标迁移后要实测对比。
Flink 的 PERCENTILE 是精确计算，每条记录都可能触发全量排序。文档建议用在窗口聚合中，流式分组聚合中慎用。

SIZE 数组和 Map 元素个数

StarRocks 和 Doris 区分数组和 Map 函数。从 MaxCompute 或 Hive 迁移时，要按字段类型分别改成 array_length、map_size 或 ARRAY_SIZE、MAP_SIZE。

SORT_ARRAY 数组排序

Spark 有两个排序函数：sort_array 升序时把 NULL 放在开头，array_sort 把 NULL 放在末尾。从 MaxCompute 或 Hive 迁移时应使用 sort_array，结果才一致。
降序的写法不同：MaxCompute 和 Spark 传第二个参数，Flink 传 ascending_order，Doris 用 ARRAY_REVERSE_SORT，Hive 和 Hologres 的函数只能升序。

SPLIT_PART 按分隔符取第 N 段

下标越界时结果不同：MaxCompute、StarRocks 和 Spark 返回空字符串，Hologres 和 Doris 返回 NULL。下游用 IS NULL 或 = '' 判断时，迁移后结果可能变化。
Hive 的数组下标和 Flink 的 SPLIT_INDEX 都从 0 开始。从 SPLIT_PART 改写时要把下标减 1。
取最后一段时，StarRocks 和 Spark 可以直接传 -1。MaxCompute 要求下标大于 0，不能这样写。
MaxCompute 的四参数写法 SPLIT_PART(s, ',', 1, 2) 在其他引擎中没有对应写法，需要改成多段拼接。

TO_CHAR 日期转字符串

MaxCompute 的 'yyyy-mm-dd' 原样搬到 Hive、Spark 或 Flink，mm 会被当成分钟，结果类似 2026-30-14，而且不会报错。Java 风格要写 'yyyy-MM-dd'。
MaxCompute 的 TO_CHAR 遇到 date 为 NULL 会报错，而不是返回 NULL。

WEEKOFYEAR 一年中的第几周

MaxCompute 可以通过第二个参数改成周日开始，其他引擎的 WEEKOFYEAR 没有这个参数。

WM_CONCAT 分组拼接字符串

不写排序时，各引擎拼接的顺序都不固定。需要稳定结果时，MaxCompute 写 WITHIN GROUP (ORDER BY ...)，StarRocks 和 Doris 在 GROUP_CONCAT 内写 ORDER BY。

ANY_VALUE 取组内任意值

NULL 的处理不同：MaxCompute 和 Doris 会优先返回非 NULL 值，Spark 默认可能返回 NULL，需要传 true 才会跳过 NULL。

APPROX_COUNT_DISTINCT 近似去重计数

各引擎的误差不同：MaxCompute 文档写的是 5%，Hologres 默认是 0.1%～1%。迁移后与原报表对数时，小的差异属于正常现象，不能直接当作数据问题。
改写成 Hive 或 Flink 的 COUNT(DISTINCT) 后结果是精确值，但资源消耗会明显变大，大数据量下要评估内存和运行时间。

DECODE 多值匹配

MaxCompute 的 DECODE 把 NULL 和 NULL 视为相等，DECODE(x, NULL, 0, 1) 在 x 为 NULL 时返回 0。改写成 CASE x WHEN NULL THEN 0 ... 永远不会匹配，要写成 CASE WHEN x IS NULL THEN 0 ...。
Hive 和 Flink 也有 DECODE，但含义是字符集解码。把 MaxCompute 的多参数 DECODE 原样搬过去会报参数错误，必须改写成 CASE。
MaxCompute 要求所有 result 类型一致，例如 DECODE(x, 1, 1, 2, 'b') 会报错。改写成 CASE 后各引擎的隐式转换规则不同，建议显式 CAST。

MAX_BY 取最大值对应的列

并列最大时结果不确定：MaxCompute 随机返回一行，StarRocks 返回最先遇到的一行。需要稳定结果时，改用 ROW_NUMBER 并在 ORDER BY 中加上唯一的次排序列。

可以直接用的函数

下面 16 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同，点开函数页查看细节。