图文细说 Google 数据中心

作者:关关 来源:伯乐在线 日期:2010-8-23

Google 数据中心一直是业界中令人着迷的“对象”之一。Google 这个搜索巨人很少暴露其数据中心,那么 Google 到底有多少数据中心?它们分布在什么地方?笔者整理收集一些有趣信息,以供分享和参考。

Google 数据中心分布图

Google 搜索速度为什么能这么快?这主要因为 Google 在全球分布着众多的数据中心。根据现有信息,如果包括在建的数据中心,Google 共有 36 个数据中心。其中美国有 19 个、欧洲 12 个、俄罗斯 1 个、南美 1 个和亚洲 3 个(北京 -Google.cn、香港 -Google.com.hk 和东京各 1 个)。不过,Google 也并非完全独享这些数据中心,他们也向其他公司出租空间。

Google

图 1:Google 数据中心 - 全球

Google

图 2:Google 数据中心 - 北美

Google

图 3:Google 数据中心 - 欧洲

Google 的第一个“数据中心”

Google

图 4:Google 的第一个“数据中心”—— BackRub

Google 的首个“数据中心”是在佩恩的宿舍楼。一句话概括:麻雀虽小,五脏俱全。详细配置请看《成名之前的 Google:斯坦福大学期间的 Backrub 原貌

数据中心的服务器

大部分公司都是向 Dell、HP、IBM 和 SUN 厂商直接购买服务器。购买服务器需要一大笔费用,如果 Google 的服务器均从其他公司购买,估计 Google 也无法有今天。时至今日,Google 的所有服务器均为自己一手打造。Google 服务器厚度 3.5 寸,2U(两机柜式),它有 2 个 CPU、2 个硬盘,采用技嘉主板,有 8 个内存插槽。Google 采用 AMD 与英特尔的 x86 处理器。在同样大的空间 内,Google 的服务器比其他厂商的服务器能容纳更多的 CPU.

Google

图 5-1:Google 服务器

谷歌的一组服务器

图 5-2:“世纪互联”机房中谷歌的一组服务器(DELL Precision 390 工作站)

数据中心以集装箱为单位,每个集装箱里面有 1160 台服务器,每个数据中心有众多集装箱。

数据中心的核心技术

Google 一直都钟情于开源软件,也一直支持开源技术 (Google 对手之一的 Facebook 也同样重视开源技术)。Google 服务器使用的是 Linux 操作系统。Google 的工程师按照平行计算的要 求对 Linux 进行了优化。Google 开发自有核心软件,开发语言是 Java 和 C++。

Google 的三大核心元素:

1、Google 文件系统(GFS);(GFS 负责服务器数据储存工作)

2、Google 大表;Bigtable:是 Google 一种对于半结构化数据进行 分布存储与访问的接口或服务);由于 Google 的文件系统异常庞大,以至于甲骨文和 IBM 公司的商业数据库在方面无用武之地。另外,商业数据库都是按 CPU 数量来收费,如果 Google 使用商业数据库,可想而知,这是一笔天文数字。所以,Google 量体裁衣地设计了符合自身的大表。

3、Mapreduce 算法;它是 Google 开发的 C++ 编程工具,用于大于 1TB 数据的大规模数据集并行运算。MapReduce 能够找出一个词语在 Google 搜索目录中 出现的次数;一系列网页中特定词语出现的频率;链接到某个特定网站的所有网站数量等。

虽然 Google 依靠许多开源项目实现了企业的腾飞,但 Google 始终对这三大核心元素保密。

数据中心的专利

1、服务器内置电池。 每台服务器都有一颗 12 伏特电,确保万一主断源断电时还可持续供电。最终目的,节约成本。

2、可移动的数据中心集装箱。2008 年 10 月获得该项专利,每个集装箱中最多可容纳 1160 台服务器。

数据中心的开销

根据 Google 的盈利报告,2006 年 Google 在数据中心上的开销是 19 亿美元,2007 年是 24 亿,2008 年 23.6 亿,2009 年 8 亿 9 百万,2010 年上半年已开销 7 亿 1 千 5 百万。

Google

图 7:Google 数据中心“烧钱”曲线图

数据中心的选址标准

1、大量的廉价电力;

2、绿色能源,更注重可再生能源;

3、靠近河流或湖泊;(设备冷却需要大量水源)

4、用地广阔;(隐秘性和安全性)

5、和其他数据中心的距离;(数据中心之间的快速链接)

6、税收优惠。

Google

图 8:Google 的服务器(左)Google 俄勒冈州 Dalles 数据中心(中)Google 服务器机柜特写(右)

Google 的特殊数据中心——圣吉兰数据中心

Google 在比利时的圣吉兰(Saint Ghislain)数据中心(图 3 中编号 26)根本没有冷却装置,完全依靠纯自然冷却(即:用数据中心外面的新鲜空气来支持冷却系统)。一般来说,绝大部分数据中心都是采用水冷却装置。(这也就是为什么数据中心选址时要考虑水源。)

Google

图 9:Google 比利时数据中心

Google

图 10:比利时国王(左五)参观 Google 比利时数据中心

Google 的 Dalles(达尔斯)数据中心

Dalles 数据中心(图 2 中编号 8)位于俄勒冈州的波特兰以东约 80 英里,旁边是哥伦比亚河,河上有座大坝—— Dalles 大坝,大坝为数据中心提供便宜的电力。数据中心有 2 座 4 层楼高的冷却塔。(注:“Dalles”不是“Dallas”,Dallas 达拉斯在德州。)

Google

图 11:Dalles 数据中心鸟瞰图

以下这段话来自 Nicholasg Carr,他曾经在 2009 年访问 Dalles 数据中。括号部分是笔者的注释。

Dalles 数据中心有 3 个超大机房(在图 11 中有 4 个白色建筑,但只有 3 个是服务器机房),每个机房有 45 个集装箱,每个集装箱可以放置 1160 台服务器,故 Dalles 数据中心可以存放约 15 万台服务器。

Google 的秘密

Google 在其数据中心的位置和数量方面的保密工作做得很好。比如说:如果你反查 Google 各种爬虫或者是 Google 各个域名的 IP 地址,所得结果几乎看起来都是加州山景城的 IP 地址。因此,想通过反查 IP 地址,基本无法推断出其数据中心的真正位置和真正数量。

此外,Google 通常把其数据中心“伪装”成有限责任公司, 表明上看起来和 Google 毫无瓜葛。比如:北卡罗来纳州 Lapis 公司和爱荷华州的 Tetra 公司。

既然 Google 在其数据中心方面的保密工作做得很出色,所以本文的信息未必是百分百正确。

其他相关旧闻

2008 年 1 月 28 日有报道称,Google 将在 TW 建立一数据中心。TW 经济负责人陈瑞隆已确认此消息,并且表示已在 TW 西部彰化的彰滨工业区内为 Google 预算了一块地。TW 还将向 Google 提供各种优待,包括土地税折扣、保证电力供应稳定在内。不过至今一直没有听到这个数据中心在台的任何动静。

在陈瑞隆确认消息 后的第二天,马来西亚总理也宣布,Google 有意在马来西亚建立数据中心。

另据报道,Google 有意在东欧的立陶宛新建数据中心。

另外,Google 曾于 2007 年在南卡罗来纳州的布利西伍德购买 466 英亩(1 英亩约合 4000 平方米)土地,似乎是打算建立南卡的第二个数据中心。

相关文章