logo
社区首页 / 全域数据集成平台 / 问题详情
标题
怎么提升抽取效率呢？为什么我每秒只能同步200条左右的数据
0
用户头像
楼主：wu
主题:2     回复:2     获赞:0 注册日期:2023-08-09

采用分页抽取的方式抽取800W条数据，每页20000条。表输出关闭事务，每次提交10000条。但是效率非常低，每秒只能同步200条左右。同样的表，使用kettle，40分钟就抽取完成了，但使用restcloud抽了好几个小时才抽了200万条。

---------------------------------------------------
签名:
发布于:2023-10-17 16:15:07 楼主
请先登录
共4回答
0
用户头像
回答者: 李炳强
获赞：13 注册于:2023-04-10 回答于 2023-10-17 16:19:18 #1

请问是什么数据库呢？
另外网关节点设置了什么呢

---------------------------------------------------
签名:
0
用户头像
回答者: wu
获赞：0 注册于:2023-08-09 回答于 2023-10-17 16:43:51 #2

达梦数据库，网关是这样的

---------------------------------------------------
签名:
1
用户头像
回答者: RC-贺士嘉
获赞：48 注册于:2023-04-10 回答于 2023-10-17 16:49:44 #3

库表组件把事务设置打开,提交数量可以设置小一点看下

---------------------------------------------------
签名:talk is cheap,show me the code
0
用户头像
回答者: wu
获赞：0 注册于:2023-08-09 回答于 2023-10-17 17:04:07 #4

还是一样，10000条数据大概要耗时1分钟左右

---------------------------------------------------
签名: