SQL 方言通

首页 / 工具 / 迁移清单 / Hive → MaxCompute

Hive 迁移到 MaxCompute 的函数改写清单

从 Hive 迁移到 MaxCompute 时,在 Hive 有对应写法的 44 个常用函数中,7 个需要改写,另有 5 个可以改用 MaxCompute 的原生函数。逐个列出两边写法和注意事项。

需要改写的函数 · 可以改用原生函数 · 迁移注意事项 · 可以直接用的函数 · 反向:MaxCompute 迁移到 Hive

需要改写的函数

函数Hive 写法MaxCompute 写法MaxCompute 说明
DATEADDdate_add(startdate, days) / add_months(startdate, n)支持 DATEADD(date, delta, datepart)datepart 必须是常量,可选 yyyy、q、mm、week、dd、hh、mi、ss、ff3 等。返回类型与 date 相同。date 为 NULL 时报错,delta 或 datepart 为 NULL 时返回 NULL。2.0 数据类型版本下,字符串要先 CAST 成 DATETIME。
DATETRUNCtrunc(date, 'MM')支持 DATETRUNC(date, date_part)返回类型与输入相同。单位支持 yyyy、q、mm、week、isoweek、dd、hh、mi、ss、ff3,week 默认从周一开始,也可以写 week(sunday)。
FROM_JSONjson_tuple(jsonStr, k1, k2, ...)支持 from_json(jsonStr, schema)schema 写法与建表时的类型一致,例如 'a bigint, b double'、'array<bigint>'、'map<string,string>'。返回 ARRAY、MAP 或 STRUCT。STRUCT 的 key 区分大小写,缺失的 key 返回 NULL,类型不匹配的值会被忽略。
GETDATEcurrent_timestamp支持 GETDATE()返回 DATETIME,以东八区时间为标准。同一条 SQL 中总是返回固定值,精度到秒;开启 2.0 数据类型后精度到毫秒。
SPLIT_PARTsplit(str, pat)[n - 1]支持 SPLIT_PART(str, delimiter, start[, end])下标从 1 开始,必须是大于 0 的常量。传入 end 时返回 start 到 end 段,并保留中间的分隔符。下标越界返回空字符串,分隔符为空字符串时返回原串,任一参数为 NULL 时返回 NULL。
TO_CHARdate_format(ts, 'yyyy-MM-dd HH:mm:ss')支持 TO_CHAR(date, format)格式符为 yyyy、mm、dd、hh、mi、ss,也支持 %Y、%m 这类写法。日期输入时 format 必填。date 为 NULL 时报错,format 为 NULL 时返回 NULL。也可以传入 BIGINT、DOUBLE 等数值,直接转成字符串。
WM_CONCATconcat_ws(',', collect_list(col))支持 WM_CONCAT(separator, colname)分隔符必须是常量且写在前面。支持 DISTINCT 和 WITHIN GROUP (ORDER BY ...),值为 NULL 的行不参与计算。

可以改用原生函数

下面的函数在 Hive 中只能用替代写法,MaxCompute 有对应的函数。原来的写法通常仍能运行,换成原生函数会更简洁。

函数Hive 写法MaxCompute 写法MaxCompute 说明
ANY_VALUEmax(col)支持 ANY_VALUE(colname)值为 NULL 的行不参与计算,不保证返回哪一行。
APPROX_COUNT_DISTINCTCOUNT(DISTINCT col)别名 APPROX_DISTINCT(colname)MaxCompute 2.0 扩展函数,返回 BIGINT,文档写明会有 5% 的误差。
DAYOFWEEKextract(dayofweek FROM ts)支持 DAYOFWEEK(date)返回 1~7,1 是周日,7 是周六。WEEKDAY(date) 则以周一为 0、周日为 6。
DECODECASE expr WHEN search THEN result ... ELSE default END支持 DECODE(expression, search, result[, search, result]...[, default])没有匹配且没有 default 时返回 NULL。所有 result 的类型必须一致,search 与 expression 的类型也必须一致,否则报错。在 DECODE 中 NULL 与 NULL 视为相等。
MAX_BYROW_NUMBER() OVER (PARTITION BY ... ORDER BY y DESC) = 1支持 MAX_BY(valueToReturn, valueToMaximize)valueToMaximize 为 NULL 的行不参与计算。多行并列最大时随机返回其中一行。

迁移注意事项

以下内容摘自各函数页中提到 Hive 或 MaxCompute 的注意事项。

DATEADD 按单位加减日期

DATETRUNC 日期截断

FROM_JSON 按 schema 解析 JSON

GETDATE 获取当前时间

SPLIT_PART 按分隔符取第 N 段

TO_CHAR 日期转字符串

WM_CONCAT 分组拼接字符串

ANY_VALUE 取组内任意值

APPROX_COUNT_DISTINCT 近似去重计数

DAYOFWEEK 星期几

DECODE 多值匹配

MAX_BY 取最大值对应的列

可以直接用的函数

下面 32 个函数在两个引擎中写法相同。参数、返回值和边界情况仍可能不同,点开函数页查看细节。

相关页面:Hive 函数写法 · MaxCompute 函数写法 · 全部迁移清单 · 用 SQL 迁移检查器检查自己的 SQL