logo
社区首页 / 全域数据集成平台 / 问题详情
标题
是否支持根据MySQL表中update_time字段进行增量数据拉取呢?
0
用户头像
楼主:1590070****
主题:2     回复:4     获赞:0 注册日期:2023-05-18

问题如题。

比如根据sql方式: select a, b from table where update_time &gt '2023-05-30 15:00:00'

如果可以,如何配置这个update_time的增量时间参数呢?

---------------------------------------------------
签名:
共9回答
0
用户头像
回答者: 管理员
获赞:142 注册于:2017-07-02 回答于 2023-05-30 16:09:53 #1

图片alt 下载这两个规则,变到变量节点中,然后 select a, b from table where update_time &gt '${lastStartTime}' 流程每次执行时就是最新的数据了.

---------------------------------------------------
签名:我是一个码农...
0
用户头像
回答者: 1590070****
获赞:0 注册于:2023-05-18 回答于 2023-05-30 16:20:27 #2

这两个规则购买后,如何安装到已经部署好RestCloud中呢?还是要重新部署?

---------------------------------------------------
签名:
0
用户头像
回答者: 管理员
获赞:142 注册于:2017-07-02 回答于 2023-05-30 16:23:36 #3

图片alt 不用重新部署,直接远程安装就进来了

如果你用的是库表输入组件中的sql可以直接写 图片alt 不用变量,这个是系统自带的,只是下面的提示没给出来

---------------------------------------------------
签名:我是一个码农...
0
用户头像
回答者: 1590070****
获赞:0 注册于:2023-05-18 回答于 2023-05-30 16:25:06 #4

在堡垒机中,无法联外网

---------------------------------------------------
签名:
1
用户头像
回答者: 管理员
获赞:142 注册于:2017-07-02 回答于 2023-05-30 16:28:55 #5

那就不要用sql节点,直接用库表输入节点里面带了4个可以用的时间戳变量,直接用就是了 ${lastStartTime ${lastEndTime} ${lastSuccessStartTime} ${lastSuccessEndTime}

这4个变量在库表输入的sql中可以直接写,不用前面的变量生成

---------------------------------------------------
签名:我是一个码农...
0
用户头像
回答者: 1590070****
获赞:0 注册于:2023-05-18 回答于 2023-05-30 16:39:09 #6

还有库表输出到doris表,看起来是使用的insert into方式插入的,这样非常的慢。没有走stream load方式的吗?

---------------------------------------------------
签名:
0
用户头像
回答者: 管理员
获赞:142 注册于:2017-07-02 回答于 2023-05-30 16:40:33 #7

doris有专门的组件也是需要下载安装才可用,默认安装不带 https://www.etlcloud.cn/restcloud/view/page/details.html?id=64086635f2134828cc193e04&type=1

组件在这里,这个速度快

---------------------------------------------------
签名:我是一个码农...
0
用户头像
回答者: 1590070****
获赞:0 注册于:2023-05-18 回答于 2023-05-30 16:43:46 #8

远程安装在内网环境都没法使用,有没有可能离线安装的? 再请问下是否有微信群可以沟通呢?

---------------------------------------------------
签名: