符合中小企业对网站设计、功能常规化式的企业展示型网站建设
本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...
商城网站建设因基本功能的需求不同费用上面也有很大的差别...
手机微信网站开发、微信官网、微信商城网站...
这篇文章将为大家详细讲解有关大容量csv快速内导入sqlserver的解决方法是什么,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
网站设计制作过程拒绝使用模板建站;使用PHP+MYSQL原生开发可交付网站源代码;符合网站优化排名的后台管理系统;网站制作、成都网站设计收费合理;免费进行网站备案等企业网站建设一条龙服务.我们是一家持续稳定运营了十多年的创新互联网站建设公司。
前言
在论坛中回答了一个问题,导入csv 数据,并对导入的数据增加一个新的列date datetime。要求在10s内完成,200w行数据的导入.分享下解决问题的思路和方法
分析
通常来讲Bulk insert 比 BCP 更快一点,我们选择Bulk insert的方式。 提出的解决方案:先把数据导入到sql server 的临时表,然后再插入目标表。 具体语句如下:
bulk insert test07232 from 'D:\2017-7-22.csv' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '/n' )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232
但是他提供的的csv 进行导入时,提示如下错误
消息 4866,级别 16,状态 1,第 1 行 大容量加载失败。数据文件中第 1 行的第 2 列太长。请验证是否正确指定了字段终止符和行终止符。 消息 7399,级别 16,状态 1,第 1 行 链接服务器 "(null)" 的 OLE DB 访问接口 "BULK" 报错。提供程序未给出有关错误的任何信息。
消息 7330,级别 16,状态 2,第 1 行 无法从链接服务器 "(null)" 的 OLE DB 访问接口"BULK"提取行。
这是由于行终止符无法识别导致的。使用notepad++打开csv文件,在视图中选择显示行尾号。
可以看到文件的换行符是LF
而对于正常的csv问题 默认是用CRLF作为换行符的
因此上面的bulk insert 语句无法正常执行。
解决
1.首先想到的是修改数据源头,让源头产生正常的数据,但是源头数据不好修改 2.用程序,写c#处理,,太费时间 3.最后终于找到了正确的办法
bulk insert test07232 from 'D:\2017-7-22.csv' WITH ( FIELDTERMINATOR = ',', ROWTERMINATOR = '0x0a' )SELECT * ,GETDATE() AS Date INTO ttt FROM test07232
最后全部都在SSD 上,导入用时2s。生产正式表1s 。整个过程3s完成。
关于大容量csv快速内导入sqlserver的解决方法是什么就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。