robots禁止搜索引擎收录图片文件格式
分类: SEO技术
阅读量:
目前百度图片搜索也使用了与百度网页搜索相同的spider，如果想禁止Baiduspider抓取网站上所有图片，或允许Baiduspider抓取网站上的某种特定格式的图片文件，可以通过设置robots.txt实现。
禁止所有搜索引擎抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片：
User-agent: * Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$
仅允许所有搜索引擎抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片：
User-agent: * Allow: /*.gif$ Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.png$ Disallow: /*.bmp$
仅禁止所有搜索引擎抓取.jpg格式图片
允许抓取网页，不允许抓取jpg格式图片，允许其他格式图片：
User-agent: * Disallow: /*.jpg$
如果需要限制单独某个搜索引擎，只需把“User-agent: *”替换成“User-agent: 蜘蛛名字”，例如“User-agent: baiduspider”。
附各大蜘蛛名字：
百度蜘蛛：baiduspider
搜狗蜘蛛：sogou spider
360搜蜘蛛：360spider
google蜘蛛：googlebot
yahoo蜘蛛：slurp
bing蜘蛛：bingbot