香港现场直播开奖-白小姐一肖中特-?港马会开奖结果-王中王今期特码资料-彩合宝典现场报码

[求助] dz3.3转https之后发现重大问题!robots封禁无效?

2018-03-20 10:41

本帖最后由 defilolerwp 于 2017-10-2 18:19 编辑

找到原因了,没有去百度站长平台更新robots.txt
#
# robots.txt for Discuz! X3
#

User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
======================================


因为这些页面都暴露在外,所以也就没放前面的域名了。
robots内容的前几句,多的不写,就这几个试了试,然后后台发现蜘蛛还在抓抓取页面,
求解答,全站https后,怎么写robots不让蜘蛛乱抓??????


在线等,救命啊!!!蜘蛛乱抓啊,还有用户空间首页,那东西全是重复的啊,怎么封也封不住。。。


@格东站长网插件  @民审大大 @crx349  @传译工作室 @howfarstudio @mandy~ @hn.yhw





© 2017 | 香港现场直播开奖-白小姐一肖中特-?港马会开奖结果-王中王今期特码资料-彩合宝典现场报码 | http://www.wpshow.cn