有时候需要对页面上的部分链接做网络机器人(robots)的禁爬操作,即不允许蜘蛛通过此页面去访问此链接。HTML中的A标签有一个属性可以做到这一点,写法如下:**
HTML语言meta标签中robots属性值详解
meta是用来在HTML文档中模拟HTTP协议的响应头报文。
meta 标签用于网页的
提交sitemap到百度
百度占据着中文搜索市场的巨大份额,几乎所有的网站都想快速登录百度,然而百度的收录通常会比较慢,我们可以用网站地图Sitemap提醒百度来收录我们的网站
robots.txt作用及用法
robot:中文意思即机器人.
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时