你用网页的方式，让人点击，服务器采集，简直是弱爆了。每个人的点击循环1000次，来个100人同时点，你要用的是普通的虚拟机就不行了。
成都创新互联公司是一家专业提供公安企业网站建设,专注与成都做网站、网站设计、H5页面制作、小程序制作等业务。10年已为公安众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。
最好是换种方式实现，不要通过网页进行采集。
可以非常简单的在数据库的表，创建一个采集队列，后台执行一个crontab的计划任务，去完成队列里的采集任务。
性能指标，无非时间复杂度和空间复杂度。决定性能的，只有算法和硬件。而且解释型语言并不存在真正的数据结构，所以，只能从算法上优化。
应该是你的数据库配置限制了内存使用量导致的.建议查找下相关mysql配置资料.
直接倒序取一部分,如果可以就应该是配置的问题.
如果慢的话要考虑字段优化
问题需要具体.不铭感的话可以把数据发来我调试一下看看.
你说的写文件是个思路。如果你只是要求某一个字段是唯一，可以把这个存在内存中，每次进行验证。然后把验证通过的数据写入文件，最后在统一从文件中读出来存入数据库。
但是又会出现个问题。如果你是10万条数据在文件里，你要是想用一个INSERT插入，那必须得先把这数据读到内存里，肯定也很慢，而且不稳定。如果你逐条读出插入，对数据库也是个消耗。不过你可以把数据拆散，比如每1000条插一次。
检查下 php.ini 文件中的限制
upload_max_filesize
post_max_size
如果超出你提交的文件大小，就改大一些
改了之后重启 apache！
批量插入，
拼接sql语句，每条sql执行20个插入语句。然后循环插入
用php把数据生成sql语句，然后导入数据库，（推荐）
