网创优客建站品牌官网
为成都网站建设公司企业提供高品质网站建设
热线:028-86922220
成都专业网站建设公司

定制建站费用3500元

符合中小企业对网站设计、功能常规化式的企业展示型网站建设

成都品牌网站建设

品牌网站建设费用6000元

本套餐主要针对企业品牌型网站、中高端设计、前端互动体验...

成都商城网站建设

商城网站建设费用8000元

商城网站建设因基本功能的需求不同费用上面也有很大的差别...

成都微信网站建设

手机微信网站建站3000元

手机微信网站开发、微信官网、微信商城网站...

建站知识

当前位置:首页 > 建站知识

Apache禁止指定user_agent(防止爬虫扒取)

该功能可以禁止部分我们不需要的访问名单(),通过改写rewrite模块来实现。

成都创新互联公司长期为上千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为夏县企业提供专业的成都做网站、网站建设,夏县网站改版等技术服务。拥有十余年丰富建站经验和众多成功案例,为您定制开发。

tail /tmp/

tail  /usr/local/apache2/logs/test.com-access_20150121_log

 

在rewrite模块中添加如下信息:

RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^.*chrome* [NC]

RewriteRule .* - [F]

保存退出

测试

apachectl -t

apachectl restart

curl -x127.0.0.1:80 www.test.com/data/forum.php(默认403错误)

curl -x192.168.11.160:80 www.test.com/data/forum.php(默认403错误)

vi  /usr/local/apache2/conf/extra/httpd-vhosts.conf(注释掉)

# RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]

apachectl -t

apachectl restart

curl -x192.168.11.160:80 www.test.com/adsjkf(404)

curl -x192.168.11.160:80 www.test.com/forum.php -I(200)

浏览器 www.test.com

curl -A "sdfsadsdfa"  -x192.168.11.160:80 www.test.com/forum.php -I

curl -A "sdfsadchrome  sdfa"  -x192.168.11.160:80 www.test.com/forum.php -I


当前名称:Apache禁止指定user_agent(防止爬虫扒取)
本文路径:http://bjjierui.cn/article/jgpogs.html

其他资讯