激烈竞争的对手也可进行一次罕见的合作，周四谷歌、雅虎和微软将宣布支持一项新的网络标准，允许数百万的网络出版者删除相互重复的网页。
通过这种努力，搜索引擎可找到和索引更多的网页，使搜索结果更为全面。负责谷歌反垃圾信息努力的工程师马特·库茨（Matt Cutts）表示，网上存在很多混乱的情况，有了这么一个标准，出版者将能清理大量的垃圾内容。
问题是：很多网络出版者特别是那些有很多分站的如电子商务公司，常常是很多 URL 指向同一页面。这让搜索引擎无法鉴别，有时会多次索引同一页面。据估计，网上有多达 20% 的 URL 是指向相同的页面。
谷歌的工程师为网络出版者提供了一个简便的方法，当一个URL的内容存在重复，网络出版者可选一个为首要或“权威”的 URL，用于搜索引擎的索引。雅虎和微软都同意支持这个同一性标准。
微软一位重要的项目经理纳森·布基亚（Nathan Buggia）表示，很高兴每个人都支持同样的标准，这肯定会给出版者到来好处，因为它使网络出版者有机会通过搜索引擎得到更多的曝光次数。
所有搜索引擎都开发了可甄别重复页面、或多或少都有效的技术。不过这种被称为权威链接标签（Canonical Link Tag）的标准，可使搜索引擎和出版者更容易解决此问题。雅虎网络搜索的产品管理主管普里扬科·加尔各（Priyank Garg）表示，这是重要的一步，因为所有的搜索引擎都将采用它。
