首页 / 工具 / 迁移清单 / Hologres → Doris
Hologres 迁移到 Doris 的函数改写清单
从 Hologres 迁移到 Doris 时,在 Hologres 有对应写法的 43 个常用函数中,21 个需要改写(其中 1 个在 Doris 没有对应函数),另有 6 个可以改用 Doris 的原生函数。逐个列出两边写法和注意事项。
需要改写的函数 · 可以改用原生函数 · 迁移注意事项 · 可以直接用的函数 · 反向:Doris 迁移到 Hologres
需要改写的函数
| 函数 | Hologres 写法 | Doris 写法 | Doris 说明 |
|---|---|---|---|
| ADD_MONTHS | d + interval '1 month' | 需改写 MONTHS_ADD(date, nums) | 文档没有列出 ADD_MONTHS 别名。返回类型与输入相同,2020-01-31 加 1 个月得到 2020-02-29。 |
| COLLECT_LIST | ARRAY_AGG(expression) | 支持 COLLECT_LIST(expr[, max_size]) | 别名 GROUP_ARRAY,会丢弃 NULL,max_size 限制数组长度。 |
| COLLECT_SET | ARRAY_AGG(DISTINCT expression) | 支持 COLLECT_SET(expr[, max_size]) | 别名 GROUP_UNIQ_ARRAY。会过滤 NULL,max_size 限制数组长度。 |
| DATE_ADD | DATEADD(d, num, 'day') | 支持 DATE_ADD(date, INTERVAL n DAY) | 别名有 days_add 和 adddate。单位支持 YEAR、MONTH、DAY、HOUR、MINUTE、SECOND。 |
| DATE_FORMAT | TO_CHAR(timestamp, 'YYYY-MM-DD HH24:MI:SS') | 支持 DATE_FORMAT(date, '%Y-%m-%d %H:%i:%s') | MySQL 风格格式符,%m 是月,%i 是分钟。文档还列出 yyyyMMdd、yyyy-MM-dd 和 yyyy-MM-dd HH:mm:ss 三种格式。结果超过 128 字节时返回 NULL。 |
| DATE_SUB | d - interval '1 day' | 支持 DATE_SUB(date, INTERVAL n DAY) | 别名有 days_sub 和 subdate。单位支持 YEAR、MONTH、DAY、HOUR、MINUTE、SECOND。 |
| DATEADD | DATEADD(d, num, str) | 需改写 TIMESTAMPADD(unit, n, datetime_expr) | 单位常用 SECOND、MINUTE、HOUR、DAY、WEEK、MONTH、YEAR。参数无效时返回 NULL。也可以写 DATE_ADD(dt, INTERVAL n unit)。 |
| EXPLODE | UNNEST(anyarray) | 支持 LATERAL VIEW EXPLODE(arr) t AS x | 通常配合 LATERAL VIEW 使用。EXPLODE 对空数组和 NULL 不输出行,EXPLODE_OUTER 会保留一行 NULL。 |
| FROM_JSON | json_str::jsonb ->> 'key' | 需改写 JSON_PARSE(json_str) | 没有 FROM_JSON。JSON_PARSE 遇到非法 JSON 会报错;希望返回 NULL 时用 JSON_PARSE_ERROR_TO_NULL。取字段用 JSON_EXTRACT 系列函数。 |
| FROM_UNIXTIME | TO_TIMESTAMP(seconds) | 支持 FROM_UNIXTIME(unix_timestamp[, string_format]) | 格式可以写 %Y-%m-%d %H:%i:%s,也可以写 yyyy-MM-dd HH:mm:ss。超出 0~32536771199 时返回 NULL。 |
| GET_JSON_OBJECT | GET_JSON_OBJECT(json, json_path) | 需改写 GET_JSON_STRING(json_str, json_path) | 路径以 $ 开头,不能包含双引号和方括号字符,含点号的键要用双引号括起来。官方建议改用 jsonb 类型和 jsonb_extract 系列函数。 |
| INSTR | STRPOS(str, substr) | 支持 INSTR(str, substr) | 区分大小写,按 UTF-8 字符计算位置。找不到时返回 0,substr 为空串时返回 1,任一参数为 NULL 时返回 NULL。 |
| LENGTH | LENGTH(str) | 需改写 CHAR_LENGTH(str) | LENGTH 返回 UTF-8 编码下的字节数,别名 OCTET_LENGTH。按字符计数要用 CHAR_LENGTH,别名 CHARACTER_LENGTH。 |
| MAX_PT | MAX_PT('table_name') | 不支持 | 在 Doris 官方文档中搜索不到 MAX_PT。改写为 WHERE pt = (SELECT MAX(pt) FROM t)。 |
| PERCENTILE_APPROX | APPROX_PERCENTILE(p) WITHIN GROUP (ORDER BY col) | 支持 PERCENTILE_APPROX(col, p[, compression]) | p 必须是 0~1 的常量。compression 取 2048~10000。只统计非 NULL 值,组内没有有效数据时返回 NULL。 |
| REGEXP_EXTRACT | (REGEXP_MATCH(str, pattern))[n] | 支持 REGEXP_EXTRACT(str, pattern, pos) | pos 是必填参数。没有匹配时返回空字符串。默认使用 RE2 正则语法,不支持零宽断言;把会话变量 enable_extended_regex 设为 true 后才支持。 |
| SIZE | ARRAY_LENGTH(arr, 1) | 别名 ARRAY_SIZE(arr) / MAP_SIZE(m) | 数组用 ARRAY_SIZE,NULL 元素也计入,输入为 NULL 时返回 NULL。Map 用 MAP_SIZE,NULL 键和值都计入。 |
| SPLIT | REGEXP_SPLIT_TO_ARRAY(str, pattern) | 需改写 SPLIT_BY_STRING(str, separator) | 返回字符串数组,任一参数为 NULL 时返回 NULL。分隔符为空字符串时按字节拆分。 |
| TO_CHAR | TO_CHAR(ts, 'YYYY-MM-DD HH24:MI:SS') | 需改写 DATE_FORMAT(date, '%Y-%m-%d %H:%i:%s') | 没有 TO_CHAR。DATE_FORMAT 使用 MySQL 风格格式符。 |
| TO_DATE | TO_DATE(text, format) | 需改写 str_to_date(str, format) | Doris 的 TO_DATE 只接受 DATETIME 并取日期部分。按格式解析用 STR_TO_DATE,返回 DATETIME,也接受 yyyyMMdd 等三种格式。 |
| WM_CONCAT | STRING_AGG(expression, delimiter) | 需改写 GROUP_CONCAT([DISTINCT] str[, sep] [ORDER BY ...]) | 分隔符是第二个参数,默认是逗号加空格。DISTINCT 与 ORDER BY 同时使用从 2.1.6 起支持。 |
可以改用原生函数
下面的函数在 Hologres 中只能用替代写法,Doris 有对应的函数。原来的写法通常仍能运行,换成原生函数会更简洁。
| 函数 | Hologres 写法 | Doris 写法 | Doris 说明 |
|---|---|---|---|
| ANY_VALUE | MAX(col) | 支持 ANY_VALUE(expr) | 别名 ANY。组内有非 NULL 值时返回其中一个,全部为 NULL 时返回 NULL。 |
| DAYOFWEEK | EXTRACT(DOW FROM ts) + 1 | 支持 DAYOFWEEK(date) | 别名 DOW。周日为 1,周六为 7,与 MySQL 的 dayofweek 一致。 |
| MONTHS_BETWEEN | (EXTRACT(YEAR FROM a) - EXTRACT(YEAR FROM b)) * 12 + EXTRACT(MONTH FROM a) - EXTRACT(MONTH FROM b) | 支持 MONTHS_BETWEEN(end, start[, round_type]) | 与 Oracle 的 MONTHS_BETWEEN 一致。时间部分不参与计算;两个日期同为月末或日相同时返回整数。round_type 为 true 时保留 8 位小数。 |
| NVL | COALESCE(value, default_value) | 支持 NVL(expr1, expr2) | NVL 是 IFNULL 的别名。expr1 不为 NULL 时返回 expr1,否则返回 expr2。 |
| UNIX_TIMESTAMP | EXTRACT(EPOCH FROM ts) | 支持 UNIX_TIMESTAMP([date[, fmt]]) | fmt 用 %Y-%m-%d 风格。传入格式参数或带小数秒的输入时返回 DECIMAL;超出 1970~3001 年的范围时返回 0。结果受会话时区影响。 |
| WEEKOFYEAR | EXTRACT(WEEK FROM ts) | 支持 WEEKOFYEAR(date) | 周一为一周的开始,一周中有 4 天及以上在当年时算作当年的周,返回 1~53,与 MySQL 的 weekofyear 一致。 |
迁移注意事项
ADD_MONTHS 按月加减
- 月末日期:StarRocks、Doris 和 Spark 在目标月份没有对应日期时取当月最后一天。StarRocks 文档特别说明,2022-02-28 加 1 个月得到 3 月 28 日而不是 3 月 31 日,这和 Oracle 的行为不同。
- Hologres 和 Flink 的月末行为文档没有写明,迁移涉及月末日期时建议用已知数据核对。
COLLECT_LIST 聚合为数组
- StarRocks 的 ARRAY_AGG 保留 NULL,MaxCompute 和 Doris 的 COLLECT_LIST 丢弃 NULL,数组长度可能不一致。
COLLECT_SET 去重聚合为数组
- NULL 的处理不同:MaxCompute、Doris 会丢弃 NULL,StarRocks 的 ARRAY_AGG 会保留 NULL。迁移到 StarRocks 后数组里可能多出 NULL 元素。
- Doris 的 max_size 截断时保留哪些元素,文档没有说明,不要依赖它取“前 N 个”。
DATE_FORMAT 日期格式化
- Hologres 的 HH 默认是 12 小时制,下午的时间会少 12 小时,必须写 HH24。
- StarRocks 和 Doris 中 %m 是月、%i 是分钟,写成 %M 会输出英文月份名。
DATE_SUB 日期减天数
- StarRocks 和 Doris 的 DATE_SUB 文档只列出 INTERVAL 写法。把 Hive 的 date_sub(d, 1) 搬到 StarRocks 时,改成 DATE_SUB(d, INTERVAL 1 DAY) 或 days_sub(d, 1)。
DATEADD 按单位加减日期
- MaxCompute 和 Hologres 中 mm 表示月,mi 表示分钟。把 DATEADD(d, 1, 'mm') 当成加 1 分钟,是迁移时最常见的错误。
- Hologres 的 DATEADD 默认只支持 1925~2282 年。9999-12-31 这类表示“永久有效”的日期需要单独处理。
EXPLODE 数组展开为多行
- 空数组和 NULL 数组的行会被直接丢掉:MaxCompute、Doris 的 EXPLODE 和 StarRocks 的 UNNEST 都是这样。需要保留时,Doris 和 Spark 用 EXPLODE_OUTER,StarRocks 3.2.7 起用 LEFT JOIN UNNEST(...) ON TRUE。
FROM_JSON 按 schema 解析 JSON
- StarRocks 的 parse_json 和 Doris 的 JSON_PARSE 返回的是 JSON 类型,下游需要 STRUCT 或 MAP 时要再做一次转换,不能直接替换 from_json。
- 非法 JSON 的处理不同:StarRocks 的 parse_json 返回 NULL,Doris 的 JSON_PARSE 直接报错。脏数据较多的表,在 Doris 中改用 JSON_PARSE_ERROR_TO_NULL。
FROM_UNIXTIME 时间戳转日期
- 返回类型不同:MaxCompute 返回 DATETIME,Hologres 的 TO_TIMESTAMP 返回 TIMESTAMPTZ,其他引擎返回字符串。拿结果做日期计算前,确认是否需要再转换类型。
- StarRocks 和 Doris 对负数时间戳返回 NULL,1970 年以前的时间无法用这个函数转换。
GET_JSON_OBJECT 提取 JSON 字段
- Hologres 报错 function get_json_object (text, unknown) does not exist 时,常见原因有两个:RAM 用户没有扩展所在 schema 的查询权限,或者第一个参数不是 TEXT 类型。前者可以把扩展建在 pg_catalog 下,后者需要先 CAST 为 text。
- StarRocks 和 Doris 返回字符串,取出的数字需要再做 CAST。Doris 中值无法无损转换为字符串时返回 NULL。
INSTR 查找子串位置
- MaxCompute 的三参数和四参数写法,例如 INSTR(s, 'e', 3, 2),在 StarRocks、Doris、Hive、Spark 和 Flink 中都没有对应写法。只传起始位置时可以改成 LOCATE,取第 N 次出现时需要改写成多步计算。
- Hologres 的 INSTR 依赖 orafce 扩展。没有安装扩展时 SQL 会报函数不存在,改用 STRPOS 即可。
- 子串为空串时,MaxCompute 和 Doris 文档写明返回 1,其他引擎文档没有说明。用 INSTR(s, x) > 0 判断包含关系时,x 可能为空串的场景要单独处理。
LENGTH 字符串长度
- StarRocks 和 Doris 的 LENGTH 返回字节数。像 WHERE LENGTH(name) > 10 这样的条件,迁移后对中文内容会多筛出很多行,而且不会报错。
- 按字符计数统一写 CHAR_LENGTH 最稳妥:Hologres、StarRocks、Doris、Flink 都支持,Hive 2.2.0 起也支持(char_length 是 character_length 的简写)。
PERCENTILE_APPROX 近似分位数
- 第三个参数含义不同:MaxCompute 和 Hive 的 B、Spark 的 accuracy 都默认 10000;StarRocks 和 Doris 的 compression 只接受 2048~10000。从 Spark 迁移时,如果写了大于 10000 的 accuracy,要调整到这个范围内。
- Hologres 的 APPROX_PERCENTILE 需要 V3.1 及以上版本,而且只抽样 8,192 个元素。数据量很大时,尾部分位数(例如 P999)的误差可能偏大。
REGEXP_EXTRACT 正则提取
- 第三个参数是否必填不一样:MaxCompute、Spark 和 Flink 可以省略,默认取第 1 组;StarRocks、Doris 和 Hive 必须写上。迁移时统一写出分组下标最稳妥。
- 没有匹配时的返回值不同:StarRocks 和 Doris 文档写明返回空字符串,MaxCompute 只写明参数为 NULL 时返回 NULL。下游用 IS NULL 判断的逻辑迁移后要实测。
- Doris 默认用 RE2 语法,不支持 (?=...) 这类零宽断言。从 Hive 或 Spark 的 Java 正则迁移过来时,需要先确认是否用到这些写法。
SIZE 数组和 Map 元素个数
- StarRocks 和 Doris 区分数组和 Map 函数。从 MaxCompute 或 Hive 迁移时,要按字段类型分别改成 array_length、map_size 或 ARRAY_SIZE、MAP_SIZE。
- Hologres 文档中 ARRAY_LENGTH 的签名带维度参数,一维数组也要写成 ARRAY_LENGTH(arr, 1)。
- StarRocks 和 Doris 文档写明 NULL 元素也计入个数。需要只统计非空元素时,要先过滤再计数。
SPLIT 字符串拆分
- 只需要取某一段时,Hologres 的 SPLIT_PART 和 Flink 的 SPLIT_INDEX 更直接。注意 SPLIT_PART 的序号从 1 开始,SPLIT_INDEX 为负数时返回 NULL。
TO_CHAR 日期转字符串
- Hologres 的 HH 默认是 12 小时制,下午 3 点会输出 03。需要 24 小时制时写 HH24。
- StarRocks 和 Doris 的分钟是 %i,不是 %M。%M 表示英文月份名。
TO_DATE 字符串转日期
- 同名不同义:把 MaxCompute 的 TO_DATE('20261013', 'yyyymmdd') 直接搬到 StarRocks、Doris 或 Hive 会报错或得到错误结果,需要改用 str_to_date 或 unix_timestamp。
WM_CONCAT 分组拼接字符串
- 分隔符的位置相反:WM_CONCAT 写在第一个参数,STRING_AGG、GROUP_CONCAT(Doris)和 LISTAGG 写在最后。直接替换函数名会把分隔符当成要拼接的值。
- 不写排序时,各引擎拼接的顺序都不固定。需要稳定结果时,MaxCompute 写 WITHIN GROUP (ORDER BY ...),StarRocks 和 Doris 在 GROUP_CONCAT 内写 ORDER BY。
ANY_VALUE 取组内任意值
- NULL 的处理不同:MaxCompute 和 Doris 会优先返回非 NULL 值,Spark 默认可能返回 NULL,需要传 true 才会跳过 NULL。
DAYOFWEEK 星期几
- Hologres 的 EXTRACT(DOW ...) 以周日为 0,直接替换 DAYOFWEEK 会让每天都差 1,周日从 1 变成 0。
- “星期几”的编号有三种:DAYOFWEEK 周日为 1;MaxCompute 和 Spark 的 WEEKDAY 周一为 0;Hologres 的 ISODOW 周一为 1、周日为 7。迁移时先确认原 SQL 用的是哪一种。
- 需要“周一为 1、周日为 7”时,可以写成 (DAYOFWEEK(d) + 5) % 7 + 1,在 Hologres 中直接用 EXTRACT(ISODOW FROM d)。
MONTHS_BETWEEN 相差月数
- StarRocks 的 months_diff、Flink 的 TIMESTAMPDIFF 和 Hologres 的 EXTRACT 写法都只返回整数月,原 SQL 中依赖小数部分的计算(例如按 0.5 个月判断)需要重新设计。
- 时间部分的处理不同:Doris 只看日期,Hive 会把时间部分算进小数,Spark 在同一天或都是月末时忽略时间。同样的输入可能得到不同的小数。
- 舍入不同:Hive 和 Spark 默认保留 8 位小数,MaxCompute 返回完整的 DOUBLE,Doris 由 round_type 控制。和原结果做等值比较前,先统一 ROUND。
NVL 空值替换
- 迁移到 Hologres、StarRocks 或 Flink SQL 时,统一改写为 COALESCE 最省事,因为 COALESCE 在七个引擎中都可用。
UNIX_TIMESTAMP 日期转时间戳
- 格式参数的写法不同:StarRocks 和 Doris 用 %Y-%m-%d %H:%i:%s,Hive、Spark 和 Flink 用 yyyy-MM-dd HH:mm:ss,MaxCompute 不支持格式参数。
- Doris 传入格式参数时返回 DECIMAL 而不是整数,写入 BIGINT 列前需要 CAST。
WEEKOFYEAR 一年中的第几周
- Hologres 的 EXTRACT 返回 DOUBLE PRECISION,直接拼接字符串会得到 12.0 这类结果,需要先 CAST 成整数。
可以直接用的函数
下面 16 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同,点开函数页查看细节。