网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

并行提高oracle数据导入速度

近期有一个行业项目,需要把较大数据从文件中导入到oracle。

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:国际域名空间、虚拟主机、营销软件、网站建设、大悟网站维护、网站推广。

我们使用oracle的sqlldr导入数据,当数据量较大时导入的时间过长:导入一张8千万条记录的表需要2.5个小时,太慢了。

后来采用了sqlldr并行导入的方式将时间缩短到了0.8小时,这里记录一下使用过程。

思路

    将要导入的数据文件拆分成10份,然后使用多任务并行执行对应数据份数的sqlldr命令(当然也就需要同样数量的control文件),多个客户端同时往数据库中导入数据。

这里有两点比较重要,1、如何自动生成若干条sqlldr命令和若干个control文件(一个个写有点累);2、如何同时并行执行(一个个去执行就更累了)。

这里借助了集算器这个工具完成自动生成命令和控制文件,再并行执行。

实现步骤

主程序

    负责任务控制,任务分配、调用子程序。

并行提高oracle数据导入速度

子程序

     生成具体control文件和sqlldr命令,并执行导入命令完成数据加载

并行提高oracle数据导入速度

【注】这里使用了集算器的并行机制来同时执行多个sqlldr命令;使用system函数调用系统命令。

实际效果

    由于是程序控制的并行任务,所以可以根据实际需要设置并行任务数,将机器性能发挥到最优。

下图记录了不同并行数情况下sqlldr导入速度,总体是呈线性增长的,并发任务越多,导入速度越快。

并行提高oracle数据导入速度


分享题目:并行提高oracle数据导入速度
链接URL:http://bjjierui.cn/article/pioeip.html

其他资讯