你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。
成都创新互联专注于向阳网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供向阳营销型网站建设，向阳网站制作、向阳网页设计、向阳网站官网定制、小程序设计服务，打造向阳网络公司原创品牌,更为您提供向阳网站排名全网营销落地服务。
最好是换种方式实现，不要通过网页进行采集。
可以非常简单的在数据库的表，创建一个采集队列，后台执行一个crontab的计划任务，去完成队列里的采集任务。
经验证 用
insert into tblname Values ( value1,value2, value3),( value1,value2, value3),( value1,value2, value3),( value1,value2, value3),( value1,value2, value3)....
这样的语句效率最高 , 但是 语句长度有限制 , 一般控制在每次 2万记录 可以在1秒钟以内
下载 PHPExcel
require_once( './PHPExcel/IOFactory.php');
$filePath = 'D:/xxx.xlsx'; //excel 文件名
$objReader = new PHPExcel_Reader_Excel2007(); //具体查看（Documentation/Examples/Reader/exampleReader01.php）
$objPHPExcel = $objReader-load($filePath);
$sheetData = $objPHPExcel-getActiveSheet()-toArray(null,true,true,true);
$insql = 'insert into 表名(x,x,x) valeus';
//遍历数组 $sheetData
//如果有标题 先删除 unset($sheetData[1]);
foreach($sheetData as $k = $data){
$insql .= '('.$data['A'].','.$data['B'].','.$data['C'].'),';
//一次插入100条数据 减少数据库压力
if(($k+1 / 100) == 0){
$insql = rtrim($insql,',').';'; //将最后的逗号替换成分好
//插入数据库 并且重置 字符串 $insql
//或者保存到文件中 利用source 命令插入数据库
}
}
需要PHP基础知识和数据库基础知识。
以SQL为例。使用PHP MySQL 函数可以编辑数据库。
mysql_connect() 函数打开MySQL 连接。举例
?php
$con = mysql_connect("localhost","mysql_user","mysql_pwd");
if (!$con)
{
die('Could not connect: ' . mysql_error());
}// 一些代码...mysql_close($con);
?
mysql_connect()三个参数分别是服务器名，连接账号，连接密码。
连接之后，可以使用mysql_select_db()设置要处理的数据库，后面则是用数据库语句处理数据。SQL语法简介网页链接
首先，队列的作用不是批量处理，而是延时处理，也叫异步处理
要做批量采集的话，首先你要划分好区间，可以用php的多进程，也可以用php的cli模式做，只要数据不窜就行
项目需要批量导入excel文件，如果里面有重复的数据要怎么处理呢？每插入一次数据都要到数据库查询么？
回复内容：
项目需要批量导入excel文件，如果里面有重复的数据要怎么处理呢？每插入一次数据都要到数据库查询么？
1、如果里面有重复的数据要怎么处理呢？
1
code可以先判断数据库是否有该数据。/code
2、每插入一次数据都要到数据库查询么
1
code是的。/code
先去重得到没有重复的数据，再批量插入数据库。也可以尝试MYSQL中的insert ignore into或 replace into
如果查询比较慢，对不能重复的字段加唯一键，然后用INSERT IGNORE INTO
php批量导入数据出错
我现在要做的是，把一个产品数据从EXCEL中导入到PHP的MYSQL中，导入的过程中，总是会提示“Allowed memory size of 167772160 bytes exhausted (tried to allocate 689919 bytes) in D:\wamp\www\Company\product\admin\uploadOrder.php on line 167”这个错误，然后我分成第100条导入时，就不会提示这个错误，这个是不是内存溢出，有没有好的解决方法呢？
------解决方案--------------------
php.ini中讲memory_limit选项设置大一点，然后重启apache或nginx就行了
------解决方案--------------------
文件太大了，这样的话可以用source命令直接导入！
------解决方案--------------------
