对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。

案号：（2021）京民终281号

案情简介：

上诉人北京微梦创科网络技术有限公司（简称微梦创科公司）因与被上诉人北京字节跳动科技有限公司（简称字节跳动公司）不正当竞争纠纷一案，不服北京知识产权法院（2017）京73民初2020号民事判决（简称一审判决），向北京市高级人民法院提起上诉。

争议焦点及法院观点：

微梦创科公司的行为是否构成不正当竞争。　　根据2019年反不正当竞争法第二条认定不正当竞争行为时，不仅要考虑其他经营者的合法权益，还要同时考虑市场竞争秩序和消费者的合法权益。　　       一、《互联网搜索引擎服务自律公约》（以下简称robots协议）的概念robots协议是国内外搜索引擎行业普遍遵守的技术规范。网络服务商或网站所有者既可以在robots协议中列明准许或禁止网络机器人抓取的网站内容，也可以列明准许或不准许抓取其网站内容的网络机器人，即通常所说的“白名单”“黑名单”制度。

二、在判断robots协议对于网络机器人限制行为的正当性时，其核心在于保护网站经营者的自主经营权与维护其他经营者利益、维护消费者利益、维护竞争秩序之间的平衡。　　

首先，在数字经济时代，数据日益成为企业重要的生产要素，数据资源的获取与利用是极为重要的一种资源配置。robots协议在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段。尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。　　

其次，在非搜索引擎的应用场景中，特别是在类似本案字节跳动公司的“toutiaospider”网络机器人将抓取后的内容直接“移植”到“微头条”，实现对微博内容实质性替代的应用场景，虽然在一定程度上扩大了消费者对于用户发布内容的获取途径，但并没有实质上增加消费者的消费体验。即使微梦创科公司不允许字节跳动公司的“toutiaospider”网络机器人抓取，消费者通过微梦创科公司的网站也可以获取用户发布的内容，或者通过搜索引擎搜索到用户发布到微博上的内容。因此，被诉行为并未对消费者的利益造成损害。　　

再次，从字节跳动公司自己网站上载明的robots协议内容来看，其明示其他网站经营者可以根据robots协议拒绝其抓取。由此可见，字节跳动公司对于其他网站经营者通过robots协议拒绝其网络机器人抓取是认可的，对结果也是有明确预期的。因此，被诉行为与字节跳动公司的经营意愿并不违背。字节跳动公司并没有因为被诉行为受到实际损害。　　

此外，由于微梦创科公司仅对字节跳动公司的“toutiaospider”网络机器人设置了robots协议限制，即其他网络机器人仍然可对微博内容进行抓取，故不会导致出现所谓的信息孤岛现象，进而违背互联网互联、互通、共享、开放的精神，损害到公共利益或竞争秩序。至于微梦创科公司将robots协议的链接放置在微博用户协议中的行为，虽然有可能被消费者阅读，但作为一般消费者通常不会仔细阅读用户协议，即使点开其读取协议，作为一般消费者，大多也不会理解robots协议中语句的具体内涵。因此，该行为亦不足以给字节跳动公司带来损害。　　

最后，反不正当竞争法应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。根据前述分析，本案被诉行为应被认定为行使企业自主经营权的行为，但这并不意味着对于互联网企业所设置的任何robots协议均能够基于企业自主经营权而当然地认定其具有正当性。