经济观察网 新华网天津频道 10月14日 奇虎360进军搜索市场之后，搜索巨头和360之间的关系似乎更加剑拔弩张。近日，360公司和搜索巨头公司关于搜索引擎爬虫行为争议再度引发业界关注。有分析人士认为，Robots协议不是行业法规或标准，不存在违反与不违反的问题，更不应该成为用于搜索市场竞争的武器。

2012年8月16日，360正式推出搜索引擎，并在上线６天后，占据中国搜索市场10％的份额，成为仅次于搜索引擎的第二大搜索流量来源。但不久，360搜索遭到反制措施，所有来自360搜索的用户请求强行跳转，用户需要二次点击才能得到搜索的结果。

据悉，Robots协议由荷兰籍网络工程师于1994年首次提出，是一个被放置在网站中的.TXT文件，为搜索引擎爬虫做出提示，设置允许与不允许两种语句，网络爬虫据此“自觉地”抓取或者不抓取该网页内容。

但Robots并不是一个规范，而只是一个约定俗成的协议。Robots协议创始人明确提出Robots协议是一个未经标准组织备案的非官方标准，不属于任何商业组织。如果该协议被当成市场竞争攻击，所有现在和未来的机器人（搜索引擎）不必遵从Robots协议。

业内人士在接受记者采访时认为，Robots协议本是为了搜索引擎更有效的的索引到内容结果页、内容网站服务器等资源免受爬虫频繁打扰而设置的一种技术协议。滥用Robots协议，其结果必将造成行业竞争壁垒，导致互联网行业内不公平竞争泛滥，进而导致搜索引擎给网民展现不完整的搜索结果，阻碍搜索市场的自由竞争。