Flink SQL 迁移到 Hive 的函数改写清单

从 Flink SQL 迁移到 Hive 时，在 Flink SQL 有对应写法的 43 个常用函数中，24 个需要改写。逐个列出两边写法和注意事项。

需要改写的函数 · 迁移注意事项 · 可以直接用的函数 · 反向：Hive 迁移到 Flink SQL

需要改写的函数

函数	Flink SQL 写法	Hive 写法	Hive 说明
ADD_MONTHS	`TIMESTAMPADD(MONTH, n, timepoint)`	支持 `add_months(start_date, num_months[, output_date_format])`	Hive 1.1.0 起提供，返回 string。Hive 4.0.0 之前会忽略时间部分，4.0.0 起可以指定输出格式。
ANY_VALUE	`FIRST_VALUE(expression)`	需改写 `max(col)`	函数手册中没有 ANY_VALUE，组内值都相同时用 max 或 min 代替。
COLLECT_LIST	`ARRAY_AGG(expression)`	支持 `collect_list(col)`	Hive 0.13.0 起提供，保留重复值。
COLLECT_SET	`ARRAY_AGG(DISTINCT expression)`	支持 `collect_set(col)`	返回去重后的 array。
DATE_ADD	`TIMESTAMPADD(DAY, n, timepoint)`	支持 `date_add(startdate, days)`	Hive 2.1.0 之前返回 string，之后返回 date。
DATE_SUB	`TIMESTAMPADD(DAY, -n, timepoint)`	支持 `date_sub(startdate, days)`	Hive 2.1.0 之前返回 string，之后返回 date。
DATEADD	`TIMESTAMPADD(unit, n, timepoint)`	需改写 `date_add(startdate, days) / add_months(startdate, n)`	内置函数中没有 DATEADD。按天加减用 date_add，按月加减用 add_months。
DATEDIFF	`TIMESTAMPDIFF(DAY, timepoint1, timepoint2)`	支持 `datediff(enddate, startdate)`	返回 int，表示从 startdate 到 enddate 的天数。
DATETRUNC	`FLOOR(timepoint TO MONTH)`	需改写 `trunc(date, 'MM')`	函数手册中没有 date_trunc。trunc 只支持 MONTH、MON、MM 和 YEAR、YYYY、YY，返回 string。
DAYOFWEEK	`DAYOFWEEK(date)`	需改写 `extract(dayofweek FROM ts)`	内置函数文档中没有 dayofweek 函数，Hive 2.2.0 起可以用 extract 取 dayofweek，文档示例中 2016-10-20（周四）返回 5，即周日为 1。
EXPLODE	`CROSS JOIN UNNEST(arr) AS t(x)`	支持 `explode(array \| map)`	UDTF，数组展开为一列 col，map 展开为 key 和 value 两列。需要元素位置时用 posexplode，位置从 0 开始。
FROM_JSON	`JSON_VALUE(json, path) / JSON_QUERY(json, path)`	需改写 `json_tuple(jsonStr, k1, k2, ...)`	内置函数中没有 FROM_JSON。一次取多个 key 用 json_tuple，它是 UDTF，要配合 LATERAL VIEW 使用；取单个值用 get_json_object。
GET_JSON_OBJECT	`JSON_VALUE(json, path)`	支持 `get_json_object(json_string, path)`
GETDATE	`CURRENT_TIMESTAMP 或 NOW()`	别名 `current_timestamp`	Hive 1.2.0 起提供，返回查询开始时的时间戳，同一查询中各次调用结果相同。unix_timestamp() 无参写法从 2.0 起已废弃，文档建议改用 CURRENT_TIMESTAMP。
LAST_DAY	`TIMESTAMPADD(DAY, -1, TIMESTAMPADD(MONTH, 1, FLOOR(ts TO MONTH)))`	支持 `last_day(date)`	Hive 1.1.0 起提供，返回 string。
LENGTH	`CHAR_LENGTH(string)`	支持 `length(string A)`	返回字符串长度。Hive 2.2.0 起还有 character_length（简写 char_length）返回 UTF-8 字符数，octet_length 返回字节数。
MONTHS_BETWEEN	`TIMESTAMPDIFF(MONTH, start, end)`	支持 `months_between(date1, date2)`	Hive 1.2.0 起提供。同一天或都是月末时返回整数，否则按 31 天折算并考虑时间部分，结果保留 8 位小数。
NVL	`IFNULL(input, null_replacement)`	支持 `NVL(value, default_value)`	Hive 0.11 起提供。
PERCENTILE_APPROX	`PERCENTILE(expr, percentage[, frequency])`	支持 `percentile_approx(col, p[, B])`	适用于浮点数在内的数值列，p 也可以传数组。B 默认 10000，列的不同值个数小于 B 时结果就是精确分位数。精确的 percentile 只支持整数列。
SIZE	`CARDINALITY(array_or_map)`	支持 `size(array_or_map)`	同一个函数可以处理 ARRAY 和 MAP，返回 INT。
SORT_ARRAY	`ARRAY_SORT(array[, ascending_order[, null_first]])`	支持 `sort_array(Array<T>)`	Hive 0.9.0 起提供，只能升序。
SPLIT_PART	`SPLIT_INDEX(str, delimiter, n - 1)`	需改写 `split(str, pat)[n - 1]`	内置函数中没有 SPLIT_PART。split 的第二个参数是正则表达式，返回数组，数组下标从 0 开始。
WEEKOFYEAR	`WEEK(date)`	支持 `weekofyear(string date)`	返回 INT，可以传入日期或时间戳字符串。
WM_CONCAT	`LISTAGG(expression[, separator])`	需改写 `concat_ws(',', collect_list(col))`	函数手册中没有 WM_CONCAT，用 concat_ws 拼接 collect_list 的结果，顺序不固定。

迁移注意事项

以下内容摘自各函数页中提到 Flink SQL 或 Hive 的注意事项。

ADD_MONTHS 按月加减

MaxCompute 返回字符串，Hive 4.0.0 之前也会丢掉时间部分。结果和 DATE 或 DATETIME 字段比较时，注意类型转换。
Hologres 和 Flink 的月末行为文档没有写明，迁移涉及月末日期时建议用已知数据核对。

DATE_ADD 日期加减

Hive 2.1.0 之前 date_add 返回字符串，老版本迁移来的 SQL 可能依赖了这个行为。

DATE_SUB 日期减天数

StarRocks 和 Doris 的 DATE_SUB 文档只列出 INTERVAL 写法。把 Hive 的 date_sub(d, 1) 搬到 StarRocks 时，改成 DATE_SUB(d, INTERVAL 1 DAY) 或 days_sub(d, 1)。

DATEDIFF 日期差

MaxCompute、StarRocks、Doris、Hive 和 Spark 都是结束日期在前。Flink 的 TIMESTAMPDIFF 先写单位，再写开始时间和结束时间。Flink 文档没有写明正负号的方向，按标准 SQL 的约定结果为 timepoint2 减 timepoint1，迁移后建议用一条已知数据核对符号。

DATETRUNC 日期截断

Hive 的 trunc 只能截断到月和年，按周、按季度汇总需要自己计算。

DAYOFWEEK 星期几

Hive 的内置函数文档没有 dayofweek，只能用 Hive 2.2.0 起提供的 extract(dayofweek FROM ...)。

EXPLODE 数组展开为多行

需要元素位置时，Hive 和 Spark 的 posexplode 位置从 0 开始，Flink 的 WITH ORDINALITY 从 1 开始，迁移时要调整下标。

GETDATE 获取当前时间

Flink 流模式下 CURRENT_TIMESTAMP 每条记录都重新求值，同一批数据的结果并不相同。离线 SQL 里依赖“整条 SQL 共用一个时间”的写法，在 Flink 流作业里会出现不同的值。
返回类型不同：MaxCompute、StarRocks 和 Doris 返回 DATETIME，Hologres 的 NOW 带时区（文档把不带时区的版本单独列为 LOCALTIMESTAMP），Flink 返回 TIMESTAMP_LTZ(3)。直接写入字符串或 DATETIME 字段时，格式可能变化。
精度不同：MaxCompute 默认到秒，StarRocks 和 Doris 默认到秒、可传参数到微秒，Flink 到毫秒。用当前时间做去重或比较时要注意小数部分。
Hive 和 Spark 的 current_timestamp 可以不带括号，Doris 文档中的写法是 current_timestamp()。迁移时统一写 NOW() 更容易对齐。

LAST_DAY 当月最后一天

返回类型不同：MaxCompute（不传 date_part）和 Hive 返回字符串，StarRocks 和 Doris 返回 DATE。结果用于关联 DATE 字段时要先转换。

LENGTH 字符串长度

按字符计数统一写 CHAR_LENGTH 最稳妥：Hologres、StarRocks、Doris、Flink 都支持，Hive 2.2.0 起也支持（char_length 是 character_length 的简写）。

MONTHS_BETWEEN 相差月数

Flink 的 TIMESTAMPDIFF(MONTH, t1, t2) 计算的是 t2 减 t1，开始时间在前；MONTHS_BETWEEN 是结束时间在前。照搬参数顺序会得到相反的符号。
StarRocks 的 months_diff、Flink 的 TIMESTAMPDIFF 和 Hologres 的 EXTRACT 写法都只返回整数月，原 SQL 中依赖小数部分的计算（例如按 0.5 个月判断）需要重新设计。
时间部分的处理不同：Doris 只看日期，Hive 会把时间部分算进小数，Spark 在同一天或都是月末时忽略时间。同样的输入可能得到不同的小数。
舍入不同：Hive 和 Spark 默认保留 8 位小数，MaxCompute 返回完整的 DOUBLE，Doris 由 round_type 控制。和原结果做等值比较前，先统一 ROUND。

NVL 空值替换

迁移到 Hologres、StarRocks 或 Flink SQL 时，统一改写为 COALESCE 最省事，因为 COALESCE 在七个引擎中都可用。
Flink 的 IFNULL 在第一个参数来自 JSON_VALUE 时可能返回错误结果，问题编号 FLINK-35832。受影响版本包括 1.15～1.20 和 2.0.0，问题已在 2024 年 7 月标记为修复，但没有写明修复版本，使用前请确认所用版本是否包含修复。

PERCENTILE_APPROX 近似分位数

第三个参数含义不同：MaxCompute 和 Hive 的 B、Spark 的 accuracy 都默认 10000；StarRocks 和 Doris 的 compression 只接受 2048～10000。从 Spark 迁移时，如果写了大于 10000 的 accuracy，要调整到这个范围内。
各引擎的算法不同，结果不会完全一致。MaxCompute 文档写明 p 落在两个值中间时取两者均值，Spark 返回满足条件的最小值，Flink 的 PERCENTILE 用线性插值。P50、P99 这类指标迁移后要实测对比。
Flink 的 PERCENTILE 是精确计算，每条记录都可能触发全量排序。文档建议用在窗口聚合中，流式分组聚合中慎用。

SIZE 数组和 Map 元素个数

StarRocks 和 Doris 区分数组和 Map 函数。从 MaxCompute 或 Hive 迁移时，要按字段类型分别改成 array_length、map_size 或 ARRAY_SIZE、MAP_SIZE。

SORT_ARRAY 数组排序

Spark 有两个排序函数：sort_array 升序时把 NULL 放在开头，array_sort 把 NULL 放在末尾。从 MaxCompute 或 Hive 迁移时应使用 sort_array，结果才一致。
降序的写法不同：MaxCompute 和 Spark 传第二个参数，Flink 传 ascending_order，Doris 用 ARRAY_REVERSE_SORT，Hive 和 Hologres 的函数只能升序。

SPLIT_PART 按分隔符取第 N 段

Hive 的 split 按正则切分。分隔符是 .、| 这类正则特殊字符时，要写成 split(s, '\\.')，否则结果不对。
Hive 的数组下标和 Flink 的 SPLIT_INDEX 都从 0 开始。从 SPLIT_PART 改写时要把下标减 1。

可以直接用的函数

下面 19 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同，点开函数页查看细节。