首页 / 工具 / 迁移清单 / Doris → Spark SQL

Doris 迁移到 Spark SQL 的函数改写清单

从 Doris 迁移到 Spark SQL 时，在 Doris 有对应写法的 44 个常用函数中，13 个需要改写，另有 1 个可以改用 Spark SQL 的原生函数。逐个列出两边写法和注意事项。

需要改写的函数 · 可以改用原生函数 · 迁移注意事项 · 可以直接用的函数 · 反向：Spark SQL 迁移到 Doris

需要改写的函数

函数	Doris 写法	Spark SQL 写法	Spark SQL 说明
ADD_MONTHS	`MONTHS_ADD(date, nums)`	支持 `add_months(start_date, num_months)`	Spark 1.5.0 起提供。add_months('2016-08-31', 1) 返回 2016-09-30。
DATEADD	`TIMESTAMPADD(unit, n, datetime_expr)`	需改写 `ts + INTERVAL n HOUR`	Spark 3.4.0 起有 dateadd(start_date, num_days)，但只能加天数，没有单位参数。按小时、月等单位加减用 INTERVAL 字面量，按月也可以用 add_months。
FROM_JSON	`JSON_PARSE(json_str)`	支持 `from_json(jsonStr, schema[, options])`	Spark 2.2.0 起提供。schema 用 DDL 字符串，例如 'a INT, b DOUBLE'。options 可以指定 timestampFormat 等解析选项。
GET_JSON_OBJECT	`GET_JSON_STRING(json_str, json_path)`	支持 `get_json_object(json_txt, path)`	从 Spark 1.5.0 起提供。
GETDATE	`NOW([precision])`	别名 `current_timestamp() 或 now()`	返回查询开始执行时的时间戳，同一查询中各次调用结果相同。3.4.0 起还有不带时区的 localtimestamp()。
LENGTH	`CHAR_LENGTH(str)`	支持 `length(expr)`	返回字符数，包含末尾的空格；对二进制数据返回字节数。字节数用 octet_length。
SIZE	`ARRAY_SIZE(arr) / MAP_SIZE(m)`	支持 `size(expr)`	Spark 1.5.0 起提供，同时有别名 cardinality。输入为 NULL 时，只有关闭 ANSI 模式并开启 spark.sql.legacy.sizeOfNull 才返回 -1，否则返回 NULL。最新文档写明默认配置下返回 NULL。
SORT_ARRAY	`ARRAY_SORT(arr)`	支持 `sort_array(array[, ascendingOrder])`	Spark 1.5.0 起提供。升序时 NULL 在开头，降序时 NULL 在末尾。另有 array_sort，它把 NULL 放在末尾，3.0.0 起支持比较函数。
SPLIT	`SPLIT_BY_STRING(str, separator)`	支持 `split(str, regex[, limit])`	Spark 1.5.0 起提供，按正则拆分，limit 限制数组的最大长度。
SUBSTR	`SUBSTRING(str, pos[, len])`	支持 `substr(str, pos[, len])`	Spark 1.5.0 起提供，与 substring 相同。负数从末尾倒数：substr('Spark SQL', -3) 返回 SQL。
TO_CHAR	`DATE_FORMAT(date, '%Y-%m-%d %H:%i:%s')`	支持 `to_char(expr, format)`	Spark 3.4.0 起提供。4.0 文档写明 expr 可以是日期时间，此时 format 使用 Java 风格格式符；更早的版本请按所用版本文档确认。也可以直接用 date_format。
TO_DATE	`str_to_date(str, format)`	支持 `to_date(date_str[, fmt])`	Spark 1.5.0 起提供。解析失败返回 NULL，省略 fmt 时按 CAST 规则转换。
WM_CONCAT	`GROUP_CONCAT([DISTINCT] str[, sep] [ORDER BY ...])`	需改写 `string_agg(expr[, delimiter]) WITHIN GROUP (ORDER BY ...)`	string_agg 和 listagg 从 Spark 4.0.0 起提供。更早的版本用 concat_ws(',', collect_list(expr))。

可以改用原生函数

下面的函数在 Doris 中只能用替代写法，Spark SQL 有对应的函数。原来的写法通常仍能运行，换成原生函数会更简洁。

函数	Doris 写法	Spark SQL 写法	Spark SQL 说明
DECODE	`CASE expr WHEN search THEN result ... ELSE default END`	支持 `decode(expr, search, result [, search, result ] ... [, default])`	多值匹配写法 3.2.0 起支持。没有匹配且省略 default 时返回 NULL。同名的 decode(bin, charset) 用于按字符集解码。

迁移注意事项

以下内容摘自各函数页中提到 Doris 或 Spark SQL 的注意事项。

ADD_MONTHS 按月加减

月末日期：StarRocks、Doris 和 Spark 在目标月份没有对应日期时取当月最后一天。StarRocks 文档特别说明，2022-02-28 加 1 个月得到 3 月 28 日而不是 3 月 31 日，这和 Oracle 的行为不同。

DATEADD 按单位加减日期

Spark 3.4.0 起的 dateadd(d, 1) 表示加 1 天，参数个数和含义都与 MaxCompute 不同，不能直接照搬。

FROM_JSON 按 schema 解析 JSON

StarRocks 的 parse_json 和 Doris 的 JSON_PARSE 返回的是 JSON 类型，下游需要 STRUCT 或 MAP 时要再做一次转换，不能直接替换 from_json。
非法 JSON 的处理不同：StarRocks 的 parse_json 返回 NULL，Doris 的 JSON_PARSE 直接报错。脏数据较多的表，在 Doris 中改用 JSON_PARSE_ERROR_TO_NULL。

GET_JSON_OBJECT 提取 JSON 字段

StarRocks 和 Doris 返回字符串，取出的数字需要再做 CAST。Doris 中值无法无损转换为字符串时返回 NULL。

GETDATE 获取当前时间

返回类型不同：MaxCompute、StarRocks 和 Doris 返回 DATETIME，Hologres 的 NOW 带时区（文档把不带时区的版本单独列为 LOCALTIMESTAMP），Flink 返回 TIMESTAMP_LTZ(3)。直接写入字符串或 DATETIME 字段时，格式可能变化。
精度不同：MaxCompute 默认到秒，StarRocks 和 Doris 默认到秒、可传参数到微秒，Flink 到毫秒。用当前时间做去重或比较时要注意小数部分。
Hive 和 Spark 的 current_timestamp 可以不带括号，Doris 文档中的写法是 current_timestamp()。迁移时统一写 NOW() 更容易对齐。

LENGTH 字符串长度

StarRocks 和 Doris 的 LENGTH 返回字节数。像 WHERE LENGTH(name) > 10 这样的条件，迁移后对中文内容会多筛出很多行，而且不会报错。
按字符计数统一写 CHAR_LENGTH 最稳妥：Hologres、StarRocks、Doris、Flink 都支持，Hive 2.2.0 起也支持（char_length 是 character_length 的简写）。
Spark 的 length 会把末尾空格算进去。从定长 CHAR 列迁移过来的数据要注意补齐的空格。

SIZE 数组和 Map 元素个数

Spark 对 NULL 输入可能返回 -1，也可能返回 NULL，取决于 ANSI 模式和 spark.sql.legacy.sizeOfNull 两个配置。Spark 3.x 默认关闭 ANSI 模式，所用版本的默认值要按对应版本文档确认。下游有 size(x) = -1 这类判断时，迁移前要先核对配置。
StarRocks 和 Doris 区分数组和 Map 函数。从 MaxCompute 或 Hive 迁移时，要按字段类型分别改成 array_length、map_size 或 ARRAY_SIZE、MAP_SIZE。
StarRocks 和 Doris 文档写明 NULL 元素也计入个数。需要只统计非空元素时，要先过滤再计数。

SORT_ARRAY 数组排序

Spark 有两个排序函数：sort_array 升序时把 NULL 放在开头，array_sort 把 NULL 放在末尾。从 MaxCompute 或 Hive 迁移时应使用 sort_array，结果才一致。
降序的写法不同：MaxCompute 和 Spark 传第二个参数，Flink 传 ascending_order，Doris 用 ARRAY_REVERSE_SORT，Hive 和 Hologres 的函数只能升序。

SPLIT 字符串拆分

MaxCompute、Hive 和 Spark 按正则处理分隔符。用 . 或 | 拆分时要写成 '\\.' 或 '\\|'，否则会被当成正则元字符，结果出错。

SUBSTR 截取子串

起始位置写 0 是常见错误。MaxCompute 默认、StarRocks 和 Doris 都返回空字符串，不会报错，结果却全是空值，很难发现。MaxCompute 开启 Hive 兼容模式后又会按 1 处理，同一条 SQL 在不同模式下结果不同。

TO_CHAR 日期转字符串

MaxCompute 的 'yyyy-mm-dd' 原样搬到 Hive、Spark 或 Flink，mm 会被当成分钟，结果类似 2026-30-14，而且不会报错。Java 风格要写 'yyyy-MM-dd'。
StarRocks 和 Doris 的分钟是 %i，不是 %M。%M 表示英文月份名。

TO_DATE 字符串转日期

同名不同义：把 MaxCompute 的 TO_DATE('20261013', 'yyyymmdd') 直接搬到 StarRocks、Doris 或 Hive 会报错或得到错误结果，需要改用 str_to_date 或 unix_timestamp。
MaxCompute 的格式符里 mm 是月、mi 是分钟；Spark 和 Flink 里 MM 是月、mm 是分钟。

WM_CONCAT 分组拼接字符串

分隔符的位置相反：WM_CONCAT 写在第一个参数，STRING_AGG、GROUP_CONCAT（Doris）和 LISTAGG 写在最后。直接替换函数名会把分隔符当成要拼接的值。
不写排序时，各引擎拼接的顺序都不固定。需要稳定结果时，MaxCompute 写 WITHIN GROUP (ORDER BY ...)，StarRocks 和 Doris 在 GROUP_CONCAT 内写 ORDER BY。

DECODE 多值匹配

Spark 3.2 之前只有字符集解码的 decode，多值匹配写法在旧版本中会报错。

可以直接用的函数

下面 30 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同，点开函数页查看细节。

相关页面：Doris 函数写法 · Spark SQL 函数写法 · 全部迁移清单 · 用 SQL 迁移检查器检查自己的 SQL