robots协议

据介绍，所谓“robots协议”是搜索引擎在抓取网站内容时，出于安全及隐私等方面考虑，双方约定的一个规则。其中包括网站是否希望被搜索引擎抓取，希望或不希望被哪些搜索引擎抓取，以及哪些内容不允许被抓取。目前，Robots协议已经成为所有搜索引擎必须遵守的国际惯例。