搜索巨头之战：法院判360可抓取百度内容

搜索巨头之战：法院判360可抓取百度内容作者：张扬 时间：2014-08-07 | 标签： 百度 360 Robots协议案

百度与360的纠纷起源已久，两家之间涉及的爬虫机器人不正当竞争纠纷案，又被称为Robots协议案，是中国搜索领域爬虫机器人竞争第一案，该案关系互联网行业尤其是搜索引擎的基本游戏规则而广泛被业界、政府和网民关注。
8月7日，该案宣判，北京市第一中级人民法院驳回了百度有关不正当竞争的诉求，表明百度单方面利用歧视性Robots协议打击竞争对手的行为不会被公众和法庭所支持，而360则可以继续抓取百度的内容网站。
据悉，Robots协议由荷兰籍网络工程师Martijn Koster于1994年首次提出，是一个被放置在网站中的.TXT文件，为搜索引擎爬虫做出提示，设置允许与不允许两种语句，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。Robots协议的目的，是为了保障著作权、保护个人隐私，尽可能地让互联网健康发展。
虽然名为“协议”，但Robots协议只是行业惯用的说法。它既不是法律意义上的协议，也不是国际组织采纳的标准，因此不受任何机构保护。而百度的Robots协议的特别之处，在于其白名单机制——允许除360之外的搜索引擎访问百度网站，这种白名单在全球是绝无仅有的。
“从百度对360的诉讼来看，有不公平竞争之嫌。”知名IT人士于刚表示，把Robots协议的作用强调于奇虎360身上，而自己却在抓取其他搜索引擎内容或网站里的视频、音乐文件时忽视Robots协议。这样的行为，并非Robots协议初衷。
业内人士分析，360的产品一向以迅速扩张著称，当年白手起家的安全产品如此，今日拥有几亿用户并有入口优势的360更不容小觑。而搜索，是百度的根本，百度不会坐以待毙，眼看着搜索市场被360分割。
360带来的威胁
据庭审资料显示，谷歌退出中国市场前，国内的搜索引擎市场百度占到60%，谷歌占到20%。在谷歌退出中国市场后，百度占到了80%的市场。2012年8月16日，360正式推出搜索引擎，并在上线6天后，占据中国搜索市场10%的份额，成为仅次于百度的第二大搜索流量来源。至2013年9月，百度的市场份额从81.49%直线下降到63.14%，而360搜索则占到了19.04%。
中国政法大学法制新闻研究中心研究员陈杰人一针见血地指出，百度建立Robots协议白名单，只限制360搜索进行内容抓取，具有一定的歧视性，其目的显然不是维护产品间游戏规则的健康有序，而是将Robots协议作为一种打压对手的竞争工具。