当前位置:首页 » 标签:robots协议
robots协议怎么写?应该屏蔽哪些文件?,Robots协议(也 称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(RobotsExclusionProtocol),网站通过Robots协议告诉搜索 引擎哪些页面可以抓取,...
2017-10-18
dedecms这个建站程序,大多数站长都曾经用过,所有页面都能生成静态的html文件,对于 SEO 优化也是相当有优势的,下面我们来谈谈robots.txt的设置方法: dedecms robots 是怎样的设置的? 用过ded...
2017-10-16