百度起诉奇虎360抓取自身内容 索赔1亿

　　“Robots协议”又称机器人协议或爬虫协议，就搜索引擎抓取网站内容的范围作了约定，包括网站是否希望被搜索引擎抓取，哪些内容不允许被抓取，于是网络爬虫据此“自觉地”抓取或者不抓取该网页内容，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。这并非是规范，只是行业内一个约定俗成的协议。但在此次索赔案件中，百度称，自己的Robots文本中已设定不允许360爬虫进入，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取，由此双方摩擦加剧。

　　事件导火索便是2012年8月16日的360搜索上线，抓取百度的内容。百度对360搜索采取反制措施，将来自360搜索的用户请求跳转至百度首页。

　　百度方面认为，除了搜索服务，百度网站还设有百度知道、百度百科、百度新闻、百度音乐、百度旅游等栏目，百度对这些内容享有著作权及其他合法权益。自己在Robots文本中已设定不允许360爬虫进入的情况下，360爬虫却仍然对“百度知道”、“百度百科”等百度网站内容进行抓取，百度因此提起诉讼向奇虎360索赔。

　　奇虎360公司公关负责人在书面回函中表示，Robots协议创始人明确提出“如果该协议被当成市场竞争工具，爬虫不需要采纳”，也就是说，它不是法规、不是标准，也不是合约，不存在违反与不违反的问题，各搜索公司对Robots协议的使用都遵从一视同仁原则，只有百度将其当成不正当竞争的工具。