在设置-阅读里-建议搜索引擎不索引本站点 ，
创新互联专注于科尔沁左翼企业网站建设,响应式网站开发,商城网站建设。科尔沁左翼网站建设公司,为科尔沁左翼等地区提供建站服务。全流程按需开发网站，专业设计，全程项目跟踪，创新互联专业和态度为您提供的服务
把这个前面的选择取消
另提示下：等选择好之后建议去了解下 网站的robots.txt写法，是不是屏蔽搜索引擎。
因为这个选项也是操作robots.txt。
网络爬虫只能根据你指定的url爬取网页的html代码，至于你想要包含指定内容的网页的话，只能先爬取下来网页，然后在对页面内容进行匹配（正则，也有开源工具）找到你想要的内容就可以了！顺便说一句网络爬虫不能根据关键字来爬取网页！
修改.htaccess文件，添加一句AddType text/plain.txt就可以正常显示了。
robots.txt的代码语法错了 把第一行的代码去掉，把第三行放到第一行。 另外你可以用robots.txt的特定语法来控制蜘蛛的爬行频率，这样也可减少流量消耗。
