这是不收robots文件的具体用法,

合理的使用robots规则
每个网站都需要制定适合网站本身的robots规则,后台登录页面和涉及到用户安全数据隐私等信息,及解决方比如屏蔽抓取404错误页面,法带
最后,
希望对SEO站长朋友有帮助。
今天一位SEO朋友来问客户的网站收录的问题,
网站长时间不收录怎么办?针对页面不收录有什么解决办法吗?
不少SEO从业者都遇到过类似问题,罪魁祸首就是及解决方网站添加了错误的robots协议规则“Disallow: /”

懂SEO的人都知道robots是蜘蛛程序来抓取网站首先要访问的一个协议文件,
法带当然,当spider蜘蛛再次来访问robots时就可以快捷的识别出网站的所有url地址。可参见:https://ziyuan.baidu.com/college/courseinfo?id=267&page=13#h2_article_title30
网站不收录怎么解决?
第一时间删除robots里面的Disallow: / 根据网站程序结构撰写适合的robots,比如
sitemap:https://www.ainiseo.com/sitemap.xml

这样,从而实现页面的快速收录。具体网站具体分析,比如sitemap.xml 上传到网站根目录中,
其次,都可以采用规则来屏蔽spider的抓取。在百度站长平台工具中-普通收录-提交sitemap地图
https://ziyuan.baidu.com/linksubmit/index?
以便于百度搜索引擎蜘蛛最快的发现并抓取到地图,






