首页 / 工具 / 迁移清单 / Spark SQL → StarRocks

Spark SQL 迁移到 StarRocks 的函数改写清单

从 Spark SQL 迁移到 StarRocks 时，在 Spark SQL 有对应写法的 44 个常用函数中，15 个需要改写。逐个列出两边写法和注意事项。

需要改写的函数 · 迁移注意事项 · 可以直接用的函数 · 反向：StarRocks 迁移到 Spark SQL

需要改写的函数

函数	Spark SQL 写法	StarRocks 写法	StarRocks 说明
COLLECT_LIST	`collect_list(expr)`	需改写 `ARRAY_AGG(col [ORDER BY ...])`	在 StarRocks 文档中搜索不到 COLLECT_LIST。ARRAY_AGG 会保留 NULL，3.0 起支持 ORDER BY 指定元素顺序。
COLLECT_SET	`collect_set(expr)`	需改写 `ARRAY_AGG(DISTINCT col)`	在 StarRocks 文档中搜索不到 COLLECT_SET。ARRAY_AGG_DISTINCT 是 ARRAY_AGG(DISTINCT) 的别名。ARRAY_AGG 会保留 NULL。
DATEADD	`ts + INTERVAL n HOUR`	需改写 `TIMESTAMPADD(unit, n, datetime_expr)`	单位写成关键字，例如 HOUR、DAY、MONTH，不加引号。TIMESTAMPADD 文档没有列出 QUARTER；按季度加减可以用 DATE_ADD(dt, INTERVAL n QUARTER)。
DECODE	`decode(expr, search, result [, search, result ] ... [, default])`	需改写 `CASE expr WHEN search THEN result ... ELSE default END`	函数列表中没有按值匹配的 DECODE，只有 base64、hex 等解码函数，用 CASE 改写。
EXPLODE	`explode(expr)`	需改写 `FROM t, UNNEST(arr) AS u(x)`	UNNEST 是表函数，配合横向连接使用，不需要写 LATERAL。NULL 或空数组不输出行；3.2.7 起可以用 LEFT JOIN ... ON TRUE 保留这些行。
FROM_JSON	`from_json(jsonStr, schema[, options])`	需改写 `parse_json(str)`	没有 FROM_JSON。parse_json 返回 JSON 类型，而不是 STRUCT 或 MAP。字符串不是合法 JSON 时返回 NULL。取字段可以接 json_query 或 -> 运算符。
GETDATE	`current_timestamp() 或 now()`	别名 `NOW([p])`	别名有 current_timestamp、localtime 和 localtimestamp，返回 DATETIME，默认精度到秒。3.1.6 起可以传 1～6 指定秒后的小数位数。结果受时区设置影响。
LENGTH	`length(expr)`	需改写 `char_length(str)`	LENGTH 返回的是字节数。按字符计数要用 char_length，别名 character_length，目前只支持 UTF-8。
MONTHS_BETWEEN	`months_between(timestamp1, timestamp2[, roundOff])`	需改写 `months_diff(expr1, expr2)`	函数列表中没有 MONTHS_BETWEEN。months_diff 返回 expr1 减 expr2 的月数，类型是 BIGINT，只精确到月；日期不存在时返回 NULL。
NVL	`nvl(expr1, expr2)`	需改写 `IFNULL(expr1, expr2)`	条件函数列表中没有 NVL，只有 case、coalesce、if、ifnull 和 nullif。IFNULL 的结果类型与 expr1 一致。
SIZE	`size(expr)`	别名 `array_length(arr) / map_size(m)`	数组用 array_length，别名 cardinality，3.0 起提供，NULL 元素也计入长度，输入为 NULL 时返回 NULL。Map 用 map_size，2.5 起提供，别名同样是 cardinality。
SORT_ARRAY	`sort_array(array[, ascendingOrder])`	需改写 `array_sort(array)`	升序排列，NULL 放在开头。4.0 起可以传 Lambda 比较函数自定义顺序。
TO_CHAR	`to_char(expr, format)`	需改写 `DATE_FORMAT(date, '%Y-%m-%d %H:%i:%s')`	没有 TO_CHAR。DATE_FORMAT 使用 MySQL 风格格式符，%i 表示分钟。结果超过 128 字节时返回 NULL。
TO_DATE	`to_date(date_str[, fmt])`	需改写 `str_to_date(str, format)`	StarRocks 的 to_date 只接受 DATETIME 并取日期部分，不能解析字符串。按格式解析用 str_to_date，格式符与 date_format 相同；格式只含日期时返回 DATE，否则返回 DATETIME。
WM_CONCAT	`string_agg(expr[, delimiter]) WITHIN GROUP (ORDER BY ...)`	需改写 `GROUP_CONCAT([DISTINCT] expr [ORDER BY ...] [SEPARATOR sep])`	默认分隔符是逗号，跳过 NULL。结果长度受 group_concat_max_len 限制，默认 1,024 个字符，超出部分会被截断。

迁移注意事项

以下内容摘自各函数页中提到 Spark SQL 或 StarRocks 的注意事项。

COLLECT_LIST 聚合为数组

不要依赖数组元素的顺序。MaxCompute 文档建议用 SORT_ARRAY 排序；StarRocks 可以直接写 ARRAY_AGG(x ORDER BY y)。
StarRocks 的 ARRAY_AGG 保留 NULL，MaxCompute 和 Doris 的 COLLECT_LIST 丢弃 NULL，数组长度可能不一致。

COLLECT_SET 去重聚合为数组

NULL 的处理不同：MaxCompute、Doris 会丢弃 NULL，StarRocks 的 ARRAY_AGG 会保留 NULL。迁移到 StarRocks 后数组里可能多出 NULL 元素。

DATEADD 按单位加减日期

Spark 3.4.0 起的 dateadd(d, 1) 表示加 1 天，参数个数和含义都与 MaxCompute 不同，不能直接照搬。
MaxCompute 按月加减时，如果目标月份没有对应日期，结果取当月最后一天。StarRocks 的 DATE_ADD 遇到不存在的日期返回 NULL。

DECODE 多值匹配

Spark 3.2 之前只有字符集解码的 decode，多值匹配写法在旧版本中会报错。

EXPLODE 数组展开为多行

空数组和 NULL 数组的行会被直接丢掉：MaxCompute、Doris 的 EXPLODE 和 StarRocks 的 UNNEST 都是这样。需要保留时，Doris 和 Spark 用 EXPLODE_OUTER，StarRocks 3.2.7 起用 LEFT JOIN UNNEST(...) ON TRUE。
需要元素位置时，Hive 和 Spark 的 posexplode 位置从 0 开始，Flink 的 WITH ORDINALITY 从 1 开始，迁移时要调整下标。

FROM_JSON 按 schema 解析 JSON

StarRocks 的 parse_json 和 Doris 的 JSON_PARSE 返回的是 JSON 类型，下游需要 STRUCT 或 MAP 时要再做一次转换，不能直接替换 from_json。
非法 JSON 的处理不同：StarRocks 的 parse_json 返回 NULL，Doris 的 JSON_PARSE 直接报错。脏数据较多的表，在 Doris 中改用 JSON_PARSE_ERROR_TO_NULL。

GETDATE 获取当前时间

返回类型不同：MaxCompute、StarRocks 和 Doris 返回 DATETIME，Hologres 的 NOW 带时区（文档把不带时区的版本单独列为 LOCALTIMESTAMP），Flink 返回 TIMESTAMP_LTZ(3)。直接写入字符串或 DATETIME 字段时，格式可能变化。
精度不同：MaxCompute 默认到秒，StarRocks 和 Doris 默认到秒、可传参数到微秒，Flink 到毫秒。用当前时间做去重或比较时要注意小数部分。
Hive 和 Spark 的 current_timestamp 可以不带括号，Doris 文档中的写法是 current_timestamp()。迁移时统一写 NOW() 更容易对齐。

LENGTH 字符串长度

StarRocks 和 Doris 的 LENGTH 返回字节数。像 WHERE LENGTH(name) > 10 这样的条件，迁移后对中文内容会多筛出很多行，而且不会报错。
按字符计数统一写 CHAR_LENGTH 最稳妥：Hologres、StarRocks、Doris、Flink 都支持，Hive 2.2.0 起也支持（char_length 是 character_length 的简写）。
Spark 的 length 会把末尾空格算进去。从定长 CHAR 列迁移过来的数据要注意补齐的空格。

MONTHS_BETWEEN 相差月数

StarRocks 的 months_diff、Flink 的 TIMESTAMPDIFF 和 Hologres 的 EXTRACT 写法都只返回整数月，原 SQL 中依赖小数部分的计算（例如按 0.5 个月判断）需要重新设计。
时间部分的处理不同：Doris 只看日期，Hive 会把时间部分算进小数，Spark 在同一天或都是月末时忽略时间。同样的输入可能得到不同的小数。
舍入不同：Hive 和 Spark 默认保留 8 位小数，MaxCompute 返回完整的 DOUBLE，Doris 由 round_type 控制。和原结果做等值比较前，先统一 ROUND。

NVL 空值替换

迁移到 Hologres、StarRocks 或 Flink SQL 时，统一改写为 COALESCE 最省事，因为 COALESCE 在七个引擎中都可用。

SIZE 数组和 Map 元素个数

Spark 对 NULL 输入可能返回 -1，也可能返回 NULL，取决于 ANSI 模式和 spark.sql.legacy.sizeOfNull 两个配置。Spark 3.x 默认关闭 ANSI 模式，所用版本的默认值要按对应版本文档确认。下游有 size(x) = -1 这类判断时，迁移前要先核对配置。
StarRocks 和 Doris 区分数组和 Map 函数。从 MaxCompute 或 Hive 迁移时，要按字段类型分别改成 array_length、map_size 或 ARRAY_SIZE、MAP_SIZE。
StarRocks 和 Doris 文档写明 NULL 元素也计入个数。需要只统计非空元素时，要先过滤再计数。

SORT_ARRAY 数组排序

Spark 有两个排序函数：sort_array 升序时把 NULL 放在开头，array_sort 把 NULL 放在末尾。从 MaxCompute 或 Hive 迁移时应使用 sort_array，结果才一致。
降序的写法不同：MaxCompute 和 Spark 传第二个参数，Flink 传 ascending_order，Doris 用 ARRAY_REVERSE_SORT，Hive 和 Hologres 的函数只能升序。

TO_CHAR 日期转字符串

MaxCompute 的 'yyyy-mm-dd' 原样搬到 Hive、Spark 或 Flink，mm 会被当成分钟，结果类似 2026-30-14，而且不会报错。Java 风格要写 'yyyy-MM-dd'。
StarRocks 和 Doris 的分钟是 %i，不是 %M。%M 表示英文月份名。

TO_DATE 字符串转日期

同名不同义：把 MaxCompute 的 TO_DATE('20261013', 'yyyymmdd') 直接搬到 StarRocks、Doris 或 Hive 会报错或得到错误结果，需要改用 str_to_date 或 unix_timestamp。
MaxCompute 的格式符里 mm 是月、mi 是分钟；Spark 和 Flink 里 MM 是月、mm 是分钟。

WM_CONCAT 分组拼接字符串

StarRocks 的 GROUP_CONCAT 默认最多 1,024 个字符，超出部分不报错直接截断。长列表需要先调大 group_concat_max_len。
不写排序时，各引擎拼接的顺序都不固定。需要稳定结果时，MaxCompute 写 WITHIN GROUP (ORDER BY ...)，StarRocks 和 Doris 在 GROUP_CONCAT 内写 ORDER BY。
StarRocks 3.0.6 和 3.1.3 起，GROUP_CONCAT 必须用 SEPARATOR 关键字声明分隔符。

可以直接用的函数

下面 29 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同，点开函数页查看细节。

相关页面：Spark SQL 函数写法 · StarRocks 函数写法 · 全部迁移清单 · 用 SQL 迁移检查器检查自己的 SQL