Agile Cat — in the cloud

Facebook 第四艦隊 Iowa DC が、ネットワーク・アーキテクチャを刷新して出撃!

Posted in .Selected, Data Center Trends, Facebook, Network, Open Compute by agilecat.cloud on February 19, 2015
Facebook Launches Iowa Data Center With Entirely New Network Architecture
Yevgeniy Sverdlik – November 14, 2014
http://www.datacenterknowledge.com/archives/2014/11/14/facebook-launches-iowa-data-center-with-entirely-new-network-architecture/
 
DC-Knowledge.png
 
Facebook announced the launch of its newest massive data center in Altoona, Iowa, adding a third U.S. site to the list of company-owned data centers and fourth globally.
 
Facebook は、最新の大規模データセンターを、Altoona, Iowa で立ち上げたと発表した。それは、US 国内においては 3番目の、そして、グローバルでは 4番目のファシリティとして、同社のリストに加えられることになる
 
The Altoona facility is the first in Facebook’s fleet to feature a building-wide network fabric – an entirely new way to do intra-data center networking the company’s infrastructure engineers have devised.
 
この Altoona ファシリティは、ビルディング全体をカバーするネットワーク·ファブリックを、Facebook DC 艦隊では初めて搭載している。それは、同社のインフラ・エンジニアが考案した、データセンター内のネットワーキングを刷新するものである。
 
Faacebook Iowa DCThe social network is moving away from the approach of arranging servers into multiple massive compute clusters within a building and interconnecting them with each other. Altoona has a single network fabric whose scalability is limited only by the building’s physical size and power capacity.
 
このソーシャル・ネットワークは、大量のサーバーを詰め込んだ、大規模コンピューティング・クラスタ間を、相互に接続していくアプローチから離れようとしている。そして、Altoona に配備されたシングル・ネットワーク・ファブリックの拡張性を制約するものは、ビルディングの物理的なサイズと、電力キャパシティだけとなる。
 
Inter-Cluster Connectivity Became a Bottleneck
 
Alexey Andreyev, network engineer at Facebook, said the new architecture addresses bandwidth limitations in connecting the massive several-hundred-rack clusters the company has been deploying thus far. A huge amount of traffic takes place within each cluster, but the ability of one cluster to communicate with another is limited by the already high-bandwidth, high-density switches. This means the size of the clusters was limited by capacity of these inter-cluster switches.
 
Facebook のネットワーク・エンジニアである Alexey Andreyev が言うには、これまでに同社がディプロイしてきた、数百台のラックで構成される巨大クラスタ間の、接続における帯域幅の制約に対して、この新しいアーキテクチャで取り組んでいくとのことだ。発生する膨大なトラフィックは、それぞれのクラスタ内で処理されるが、クラスタ間を通信させる能力は、高帯域幅/高密度といわれるスイッチが限界を定める。つまり、クラスタのサイズは、それらを接続するスイッチの容量により、制約されていたことになる。
 
By deploying smaller clusters (or “pods,” as Facebook engineers call them) and using a flat network architecture, where every pod can talk to every other pod, the need for high-density switch chassis goes away. “We don’t have to use huge port density on these switches,” Andreyev said.
 
小規模なクラスタをディプロイし(Facebook のエンジニアはポッドとも呼ぶ)、フラットなネットワーク・アーキテクチャを用いることで、すべてのポッド間でのコミュニケーションが可能となり、高密度スイッチ・シャーシへの必要性が消える。Andreyev は、「それらのスイッチ上の、膨大なポート密度を使用する必要がなくなった」と述べている。
 
It’s easier to develop lower-density high-speed boxes than high-density and high-speed boxes, he explained.
 
高密度のハイ・スピード・スイッチより、低密度のハイ・スピード・スイッチを作成する方が容易であると、彼は説明している。
 
Each pod includes four devices Facebook calls “fabric switches,” and 48 top-of-rack switches, every one of them connected to every fabric switch via 40G uplinks. Servers in a rack are connected to the TOR switch via 10G links, and every rack has 160G total bandwidth to the fabric.
 
個々のポッドには、Facebook が Fabric Switch と呼ぶ 4つのデバイスと、48 Top-Of-Rack スイッチが取り込まれ、それぞれの Fabric Switch が 40G Uplink を介して、すべての Fablic Switch に接続される。 また、ラック内のサーバーは 10G Link を介して TOR スイッチに接続され、すべてのラックと Fablic の間には、合計で 160G 帯域幅が確保される。
 
Facebook Iowa NetworkHere’s a graphic representation of the architecture, courtesy of Facebook:
 
The system is fully automated, and engineers never have to manually configure an individual device. If a device fails, it gets replaced and automatically configured by software. The same goes for capacity expansion. The system configures any device that gets added automatically.
 
このシステムは完全に自動化され、それぞれのデバイスに関するマニュアル・コンフィグレーションを、エンジニアに要求することはない。デバイスに障害が発生した場合は、ソフトウェアによる置換えと、自動的なコンフィグレーションが実施される。それと同じことが、キャパシティの拡張に対しても適用される。 つまり、このシステムにより、あらゆるデバイスがコンフィグレーションされ、自動的に追加されていく。
 
Using Simple OEM Switches
 
The fabric does not use the home-baked network switches Facebook has been talking about this year. Jay Parikh, the company’s vice president of infrastructure engineering, announced the top-of-rack switch and Facebook’s own Linux-based operating system for it in June.
 
ただし、今年になって Facebook が話していた内製のネットワーク・スイッチが、このファブリックに使われるわけではない。この 6月に、同社の VP of Infrastructure Engineering である Jay Parikh が、Top Of Rack スイッチと Facebook 独自の Linux ベース OS の存在について発表していたので、注釈として加えておく。
 
The new fabric relies on gear available from the regular hardware suppliers, Najam Ahmad, vice president of network engineering at Facebook, said. The architecture is designed, however, to use the most basic functionality in switches available on the market, which means the company has many more supplier options than it has had in the older facilities that rely on those high-octane chassis for inter-cluster connectivity. “Individual platforms are relatively simple and available in multiple forms or multiple sources,” Ahmad said.
 
新しいファブリックは、一般的なハードウェア・サプライヤーからの供給されるギアに依存していると、同社の VP of Network Engineering である Najam Ahmad が発言している。このアーキテクチャをデザインしたが、マーケットで入手可能な最も基本的なスイッチを使用することになる。それにより当社は、クラスタ間を接続するハイ・スペック・シャーシに依存した、古いファシリティを有するのではなく、より多くのサプライヤーからソリューションを選択できるようになる。そして、「個々のプラットフォームは、相対的に見て、複数のフォームまたは複数のソースから選ばれる、シンプルで利用しやすいものになる」と、Ahmad は述べている。
 
New Architecture Will Apply Everywhere
 
All data centers Facebook is going to build from now on will use the new network architecture, Andreyev said. Existing facilities will transition to it within their natural hardware refresh cycles.
 
これから Facebook が構築していく、すべてのデータセンターにおいて、この新しいネットワーク・アーキテクチャが採用される。そして、既存のファシリティも、それぞれのハードウェア・リフレッシュ・サイクルに合わせて、新しいアーキテクチャに移行していくと、Andreyev は発言している。
 
The company has built data centers in Prineville, Oregon, Forest City, North Carolina, and Luleå, Sweden. It also leases data centers space from wholesale providers in California and Northern Virginia, but has been moving out of those facilities and subleasing the space until its long-term lease agreements expire.
 
すでに同社は、Prineville, Oregon/Forest City, North Carolina/Luleå, Sweden にデータセンターを構築している。また、California と Northern Virginia では、卸売プロバイダからデータセンター・スペースをリースしているが、それらのファシリティからの転出が進められており、長期にわたるリース契約の残存期間は、サブリースされるものと思われる。
 
In April, Facebook said it had started the planning process for a second Altoona data center, before the first one was even finished, indicating a rapidly growing user base.
 
この 4月に Facebook は、Altoona データセンターにおける 2号棟の計画を、1号棟の完成を待たずにスタートするとアナウンスしている。 つまり、そのユーザー・ベースが、急速に成長しているのだ。
 
The company has invested in a 138 megawatt wind farm in Iowa that will generate electricity for the electrical grid to offset energy consumption of its data center there.
 
また、同社は、Iowa の 138 MW 風力ファームに投資している。それにより、自身のデータセンターが消費する電力を、送電網に対してオフセットしていくことになる。
 
ーーーーー
open-computeこれまでのような、クラスタに依存するアーキテクチャでは、いかに高帯域幅/高密度なスイッチを用いても、その処理能力が、クラスタ間での通信速度の限界を定める。そして、クラスタのサイズは、それらを接続するスイッチの容量により制約されるので、クラスタという考え方を捨てる。 つまり、10万台のサーバーで構成される、1棟のデータセンターが、1つのクラスタだ、、、という、いかにも Facebook らしいデータセンターが誕生しました。 それが、Prineville/Forest City/Lulea に続く4つ目の、この Iowa の Altoona なのです。 先日に、「アジアの Facebook MAU は 4.5億人:儲からないけど、どうするの?」という抄訳をポストしましたが、そのアジアのユーザーのために、このようなデータセンターを構築してくれたのでしょうか? ここは、ご好意に甘えるとして、バンバンと Facebook を使わせていただきましょう :)  _AC Stamp
ーーーーー
<関連>
Facebook のユーザー数は 14億人:世界の 70億人の、5人に1人が使っている!
Facebook Lite がデビュー:取り組むべきは途上国マーケットの 2G 環境だ!
Facebook エンジニア と Android ローエンド:積極的に使ってアジアを知る!
Facebook アプリ:Push + Delta + Thrift で モバイル帯域を 40% も削減!
Facebook が語るモバイル・チューニングの極意:これで途上国も OK!
Facebook と Mark の途上国戦略:Coca-Cola スタイルの長期スパンで考えていく
 
 

2014 Agile Cat:大人になった Facebook の マトメ

Posted in .Chronicle, Facebook, Open Compute by Agile Cat on December 27, 2014

意外と少なかった FB 関連のポスト数、、、でも、、、
http://wp.me/pwo1E-87I

OCP Japan をお手伝いしているという立場もあり、今年は無意識のうちに Facebook との距離感を考えていたのでしょう。 そのため、ポストするコンテントも絞り込んでいたのだと思いますが、こうして 2014年の Facebook を振り返ってみると、若さでゴリゴリ押していく企業から、大人の思慮がにじみ出てくる企業へと、そのポジションを引き上げてきた様子が浮かび上がってきます。おそらく、Open Compute Project や Internet.org といった、ノン・プロフィットの活動を生み出し、それを限りなくパブリックなものに変容させていくという Facebook のスタンスに、ある種の落ち着きが感じられるからなのでしょう。

とは言え、一介の企業が、こうした活動を推進していくためには、それを支える経済力が必要であり、また、その経営陣にはマネタイズとボランティアという、相反する局面を平行して推進していくだけの度量が求められます。 その意味でも、モバイル・アドを真っ先に成功させ、そこから生まれる余裕により、いくつかの社会貢献を成功させてきた手腕を評価したいです。

もっと現実的に見ていけば、それもビジネスなのですが、インフラに関する整備と情報共有を推進し、企業としての効率を高めた上で、そこから生まれる余剰を、途上国マーケットへ投資していくという、壮大なビジョンを実施してきたのは、この Facebook と Google だけだったと思います。 そして、一人のアジア人として、有難うと言いたいことなのです。

ーーーーー

01/28: Facebook は OCP のおかげで、この3年で 1200億円も節約できた!
02/04: Facebook が Open Graph の デベロッパー・コレクションを停止した
02/19: WhatsApp:① 買収額の $19 Billion を、歴史の中に位置づけてみる
02/19:
WhatsApp:② 10億人という ユーザー数に、FB よりも早く到達する? 
02/21: WhatsApp:③ Facebook を上回る、ユーザーを惹きつけるパワー
02/20: WhatsApp:④ Skype や Line と、どのように世界を住み分ける?
02/21: WhatsApp:⑤ 今年の試算だと、テレコムたちは $33 B も奪い取られる
02/20:
WhatsApp:⑥ キャリアの SMS ビジネスを、メッセージ・アプリが破壊

ーーーーー

04/01: モバイル・ブラウザは終わったのか? アプリによる 86% の占有
04/04:
Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かう?
04/09: インドの FB ユーザー数が1億人:しかも 84% がモバイル接続だ!
04/22: 快速 WhatsApp は、すでに5億ユーザーに到達している!
04/28:
Google の Before/After で激変したプラットフォーム勢力図
04/30:
Facebook モバイル艦隊の快進撃が始まる
05/15:
Youtube と Facebook がモバイル・トラフィックの 1/3 を占有している
05/20: Google と Facebook で 75% を支配するモバイル広告
05/23:
B2C は Facebook で B2B は LinkedIn:大きく異なるソーシャル・シェア
06/19: Facebook と OCP から、Wedge という名の オープン・スイッチが発表!
06/20: 木曜日の夕方に生じた Facebook のダウンは、中国からの DDoS 攻撃?
06/30: Instagram:200億枚のイメージを AWS から FB Bare-Metal へ!

ーーーーー

07/15: Google と Facebook が支配する モバイル広告の世界
07/17:
Facebook が実験する BUY ボタン:Amazon や eBay の脅威に?
07/23:
Facebook 脅威の Q2 決算:3000 億円の売上げと 48% の粗利率 !
07/24: FB + WhatsApp + Instagram のユーザー数は、世界の総人口の 1/3
07/28:
Facebook Page for iPhone という、Apple にとって悩ましき存在とは?
09/03: Facebook が買収し続けている特許の内容が、とても興味深い
09/05:
Facebook のゴージャスな DC を、15枚の写真で紹介しよう!
09/22:
Facebook が語るモバイル・チューニングの極意:これで途上国も OK!
09/26: ソーシャルと滞在時間:Engagement Index 指標で FB がダントツ!
09/26: 広告:Yahoo と AOL を統合しても、Google と Facebook は止まらない
09/29: Facebook アドが 外の世界へ: Atlas が Google に 本気で挑んでいく

ーーーーー

10/06: クッキーは死んだ: そして Facebook/Google/Apple の広告が激変
10/16: モバイル・アドに苦悩する Google と、答えを見つけ出した Facebook
10/20:
FB アプリ:Push + Delta + Thrift で モバイル帯域を 40% も削減!
10/28: Facebook の 2014 Q3 決算を分析する:モバイル広告の伸びがスゴイ!
10/28: Facebook がビッグ・ウェーブに乗った:収益の 66% はモバイルから
10/30: Facebook の Graph API がアップデート、そして AD API も強化!
11/05:
iOS から Android へ : Facebook は優先順位を切り替えるのか?
11/13:
Facebook と Google によりソーシャル・ログインの 80% を占有

ーーーーー

テック・ジャイアントには、未来を語って欲しいし、夢を見せて欲しいし、ロマンに浸らせて欲しい。 その意味で、2014年は Facebook と Google の、二強の年だったと、個人的に捉えています。そして、2015年は、それが四強に戻り、さらには五強・六強へと、育っていって欲しい年なのです。

ーーーーー

<2014年:マトメの一覧>

2014:Top-20 ポスト 総マトメ(root)

ーーーーー

2014:月曜版 On Monday のマトメ
2014:王者の風格 Google のマトメ
2014:大人になった Facebook の マトメ
2014:新しい動向の マトメ
2014:とっても元気な アジアの まとめ
2014:データセンター と インフラ の マトメ
2014:ディジタル広告の マトメ
2014:ソーシャル関連の マトメ
2014:iOS/Android/iPad/Chromebook の マトメ
2014:日曜版の マトメ
2014:クラウドの一年を 振り返る、チャート の マトメ

ーーーーー

2013: 総マトメ Top-10
2012: 総まとめ ページ

2014 Agile Cat:データセンター と インフラ の マトメ

Posted in .Chronicle, Data Center Trends, Network, Open Compute, Satellite by Agile Cat on December 23, 2014

2015年は アジアへのインフラ投資が盛んになる・・・
http://wp.me/pwo1E-876

今年も、いろいろな話題が満載の、データセンターとインフラ系のマトメです。 まず、1月に開催された OCP Summit では、Mark Zuckerberg が登壇し、Facebook は OCP により 1200億円も節約できたと説明しました。 また、新たなメンバーとして、このサミットで Microsoft の参加が発表され、10月には Cisco も参加しました。とにかく、どんどんと超党派化してきている OCP をみると、OCP Japan のお手伝いをしている Agile Cat としても、嬉しい限りです。また、誰もが注目する DCIM(Data center infrastructure management)に関しては、Dell/HP/Intel/Emerson などが推進する、Redfish という標準化案が気になるところですね。

そして、今年のメガ・データセンターですが、Facebook のスウェーデンとアイオワがオープンし、Google もオランダに大規模 DC を構築すると発表しています。また、Microsoft が韓国に構築するというウワサも流れています。 この、私たちの住むアジアは、爆発的に成長するデータセンター・トラフィックに対して、まだまだ供給が追いついていない地域であり、日本のテレコム勢も大規模な投資を継続しているようです。 そして、海底ケーブルに関しては、シンガポールからインド洋の沿岸を通り、フランスまで伸びていく SEA-ME-WE 5 が注目を集めています。 こんな話を聞くと、北極海経由で、日本とヨーロッパ、そして、日本とアメリカ東海岸をつなぐケーブルが欲しくなりますね。

ーーーーー

01/28: Facebook は OCP のおかげで、この3年で 1200億円も節約できた!
01/28: Blu-ray ディスクを 10000枚:エクサ時代のコールド・ストレージとは?
01/28: Open Compute Project : ついに Microsoft も参加を表明した!
01/29:
AT&T と Equinix:エンタープライズ向けのクラウド・アライアンスを締結
01/29: FB が選んだ CA の DCIM:そのハイパー・スケール管理は?
02/04:
送電網の UPS として機能する次世代バッテリー・テクノロジー!
02/05: Sprint と Nokia が、Spark トライアルから絞り出す 2.6 Gbps とは?
02/05: Cisco:モバイル・トラフィック No.1 は、日本の 1.87GB/月だ!
02/13: Microsoft の巨大データセンターが韓国に構築されるらしい
03/05:
Equinix が新たに展開する Performance Hubs とは?
03/12:
海底ケーブル:SEA-ME-WE 5 がシンガポールとフランスを接続する!
03/28: コロケーションの世界:グローバルの Equinix と アジア NTT を比較する

ーーーーー

04/02: Digital Realty が 北米 4ヶ所の DC で、Open-IX サーティフィケーション
04/03: Green DC:ビジネスでの優位性に加えて、環境への影響も考慮すべき
04/04: Long-Term Low-Cost のコールド・ストレージは 5 PB へと向かうのか?
04/17: Google のインフラ投資は ケタ外れ:それを示す1枚のチャート
04/23:
台湾の Wistron と Inventec が、ARM サーバーの生産に着手する!
04/23: IBM はPower チップのオープン化と、Google の戦略
04/25:
NTT Com の、マレーシア 第4データセンターがオープンした
04/29: Level 3 と Digital Realty が AWS と Azure を取り込む
05/07:
ヨーロッパを 仮想 DC でカバーする、Interoute クラウドが香港に進出!
05/13: SingTel と Telecity は、非インターネットで Azure 接続を実現する
05/14: Google は言う:クラウドの料金も ムーアの法則に従うべきだ!
05/21: DigitalOcean が シンガポールに上陸! それを 支えるのは Equinix だ!
05/27: Data Center の調査: 未来のデータセンターは、小型で手元に置かれる
05/30: 赤道上に浮かべる 180基の衛星:Google は成層圏バックボーンを目指す?
06/01: Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する
06/01: IBM のクラウド戦略:SoftLayer London データセンターが立ち上がる
06/02: SoftLayer の Hong Kong DC がオープン: IBM の $1.2B はアジアへ?
06/11: Google が買収した、Skybox Imaging という衛星スタートアップについて
06/12: Google と Virgin が思い描く宇宙開発の夢とは? 宇宙船を Youtube で!
06/17: Digital Ocean が IPv6 の完全サポートを発表
06:18:
Interoute の 仮想 DC ゾーンは London -NY を 68ms で接続する!
06/18: SSD のビジネスは、2014年に 60% も拡大する : 台湾からのレポート
06/19: Facebook と OCP から、Wedge という名の オープン・スイッチが発表!
06/23: Akamai と OpenDNS が提携:もっと もっと Web を速くしたい!
06/30: Instagram のマイグレ:200億枚のイメージを AWS から FBへ!

ーーーーー

07/01: Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する
07/02: Internap の ベアメタル OpenStack が、Hong Kong DC にも展開!
07/23: Google: 始まりは自作サーバー、そして 5000億円/四半期のDC 資産へ
08/27: KDDI が 東京と大阪に構築する Telehouse DC と超弩級の電力密度!
09/04: Telehouse の New York IX が CoreSite と接続:北米最大の GW を実現
09/05: Facebook のゴージャスな DC を、15枚の写真で紹介しよう!
09/09:
Dell/HP/Intel/Emerson の Redfish は、IPMI 以来の標準に?
09/23: Google が オランダの海岸線に作る、120MW の Eemshaven DC とは?
10/22: Google データセンターの世界:とても豪華な写真集
10/24:
Data Center の調査:大変革を促す4つの要因とは? – Gartner
10/28:
Xiaomi が北京から脱出:インターナショナル・データは 海外 DC へ!
11/11: IDC : 2017年を境に DC数は減少にいたるが、キャパは成長し続ける
11/18: Google:オランダの 62MW 風力発電プロジェクトと大型契約を締結!
12/09: Cloud の調査:DC トラフィックは、2018年の時点で 8.6 ZB に至る

ーーーーー

さて、2015年の IT インフラは、どのように進化していくのでしょうかね? 個人的には、人工衛星を使ったインターネット・バックボーンに興味津々というところです。 Google や Facebook や SpaceX などが名乗りを上げているようですが、衛星が小型化/軽量化されてくると、その打ち上げコストも一挙に低下し、宇宙開発が大きく進歩するはずです。 それが、2015年なのか、まだ先なのか、その辺りが見えませんが、この領域は Agile Cat 2015 で追いかけて行きたいと思っています。

ーーーーー

<2014年:マトメの一覧>

2014:Top-20 ポスト 総マトメ(root)

ーーーーー

2014:月曜版 On Monday のマトメ
2014:王者の風格 Google のマトメ
2014:大人になった Facebook の マトメ
2014:新しい動向の マトメ
2014:とっても元気な アジアの まとめ
2014:データセンター と インフラ の マトメ
2014:ディジタル広告の マトメ
2014:ソーシャル関連の マトメ
2014:iOS/Android/iPad/Chromebook の マトメ
2014:日曜版の マトメ
2014:クラウドの一年を 振り返る、チャート の マトメ

ーーーーー

2013: 総マトメ Top-10
2012: 総まとめ ページ

Facebook のゴージャスな DC を、15枚の写真で紹介しよう!

Posted in Data Center Trends, Facebook, Open Compute by Agile Cat on September 19, 2014

Take A Tour Through Facebook’s Gorgeous Data Centers
http://wp.me/pwo1E-7ST
Dave Smith − Sep. 5, 2014
http://www.businessinsider.com/15-photos-of-facebook-data-centers-2014-9

_ Business Insider

Facebook announced the Open Compute Project in 2011 as a way to openly share the designs for its data centers — "to spark a collaborative dialogue … [and] collectively develop the most efficient computing infrastructure possible."

Facebook がデータセンターのデザインを広く共有する方法として、Open Compute Project についてアナウンスしたのは 2011年のことだった。それにより、コラボレーションが活性化し、最も効率的なコンピューティング·インフラを、協調しながら開発していくという流れが生まれた。

Alan Brandt

Starting in 2009, three Facebook employees dedicated themselves to custom-designing servers, server racks, power supplies, UPS units, and battery backup systems for the company’s first data center in Prineville, Oregon.

2009年に 3人の Facebook 従業員が、 Prineville, Oregon における同社としては初めてのデータセンターのための、サーバー/サーバー・ラック/電源/UPS/バッテリ·バックアップといったシステム対して、カスタムなデザインをコントリビュートした。

By 2011, Facebook’s data center in Prineville used 38% less energy to do the same work as the company’s other data centers at the time, while costing 24% less.

そして、2011年の Prineville データセンターは、38% という消費電力の低減と、24% のコスト削減という、すばらしい結果を残した。

Since then, Facebook has improved on its designs, and last summer, opened another data center in Lulea, Sweden.

その後の Facebook は、そのデザインを改善し、また、昨年の夏には、Lulea, Sweden にも新しいデータセンターをオープンしている。

With the help of Facebook and photographer Alan Brandt, we compiled some photos to show off what Facebook’s data centers look like from the inside and outside. And these are some really gorgeous-looking facilities.

Facebook と、カメラマンである Alan Brandt の助けを借りて、Facebook データセンターの内側と外側を示す、いくつかの写真をまとめてみた。それらは、とてもゴージャスなファシリティであると思える。

↓ クリックで Facebook アルバムへ ↓

ーーーーー

ゴージャスと言っても、フカフカのソファーが置いてあるという意味ではなく、あの巨大なサービスを支えるサーバーやストレージに適したという話なのですが、そこで働くエンジニアにとっては、それこそがゴージャスなのだと思います。 Agile_Cat も、この Prineville DC には、一度 お邪魔したことがあるのですが、何から何まで、想像を絶する規模で構築されていたのが、とても強く印象に残っています。 たまたまですが、昨日の東京では、OCP Engineering Workshop 2014 が開催され、100人以上の人々が集まりました。 朝から夕方まで、ぎっちりと詰まった各セッションで、とても熱い議論が繰り返されていました。 これから、OCP Japan が考えていくことは、アジアという地域のビジネスに適した、データセンターのデザインを考えることに、集約されていくのだろうと思います。(この写真は、林雅之さんのブログからのものです)  

ーーーーー

<関連>

Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
Instagram が達成した史上最大のマイグレーション:200億枚のイメージを AWS から FB DC へ!
Facebook と Open Compute から、ついに Wedge という名の オープン・スイッチが発表された!
Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?

Instagram が達成した史上最大のマイグレーション:200億枚のイメージを AWS から Facebook Bare-Metal へ!

Posted in Bare-Metal, Data Center Trends, Facebook, Open Compute by Agile Cat on July 8, 2014

Instagram moves 20 billion images to Facebook servers
http://wp.me/pwo1E-7E4

Mike Wheatley | June 30th
http://siliconangle.com/blog/2014/06/30/instagram-migrates-20-billion-images-shifted-to-facebooks-servers/

_ Silicon Angle

Instagram announced last week that it’s picked up its billions of images stored in Amazon Web Services (AWS) and dumped them into Facebook’s own servers in one of the largest data migration operations ever undertaken.

先週のことだが、Instagram は史上最大規模のデータ·マイグレーションへの取り組みの中で、Amazon Web Services (AWS)に保存された何百億枚というイメージを取り出し、Facebook が提供する独自のサーバー群に投げ込んだと発表した。

News of the move came from this interview with Facebook infrastructure engineer and Open Compute Foundation program developer Charlie Manese. Manese revealed that the massive migration took about a year to organize and an additional month to carry out. As a result of moving onto Facebook’s infrastructure, Instagram now uses about a third fewer servers, something that significantly reduces its operating costs, Manese notes.

この出来事に関するニュースは、Facebook の Infrastructure Engineer と Open Compute Foundation の Program Developer を兼任する Charlie Manese とのインタビューから得られたものである。Manese の説明から、この大規模なマイグレーションを実施するために、約1年という長い歳月が費やされ、また、収束のために1ヶ月が追加されたことが分かってきた。この、Facebook インフラストラクチャへ移行した結果として、これまでと比べて 1/3 というスケールにサーバー数が集約され、Instagram の運用コストなどが大幅に削減されたと、Manese は指摘している。

Wired later posted an in-depth article on the transition – which has been called the “Instagration” within company circles – and notes that it was unlike any other. With previous migrations – such as with FriendFeeed – Facebook was able to shut the service down before shifting all of its data into its own shop. But Instagram is vastly larger and still growing rapidly. The operation involved shifting images from thousands of virtual machines in AWS’s cloud infrastructure to Facebook’s private data centers without disrupting service.

このマイグレーションに関する詳細な記事が、後になって Wired からもポストされているが、このチーム内では Instagration と呼ばれていたこと、そして、他のケースと異なるものであったことが指摘されている。たとえば FriendFeeed のケースなどの、これまでのマイグレーションにおいて、Facebook はシャットダウンさせてから、すべてのデータを移行することが可能であった。しかし、Instagram の場合は、その規模もきわめて大きく、また、急速に成長している最中にいる。つまり、Instagram の サービスを中断することなく、AWS のクラウド·インフラストラクチャーである数千の仮想マシンの中から、夥しい量のイメージを、Facebook のプライベート・データセンターへ移すという作業が必要であった。

Being on Facebook’s own infrastructure not only saves operational costs but means that Instagram can now take advantage of Facebook’s advertising and analysis tools. That could mean more advertising in the future. Instagram can also benefit from dozens of other tools Facebook has built, such as its spam blocking software.

Facebook のインフラストラクチャで運用することで、Instagram はコストの削減を可能にするだけではなく、Facebook の広告/分析ツールも利用できるようになる。つまり、その将来において、より以上の広告を展開できるようになるかもしれない。さらに Instagram は、すでに Facebook が組み込んでいる、スパム・メール・ブロック・ソフトウェアなどの、数多くのツールからの恩恵も受けることになる。

The sheer complexity of this migration also illustrates how companies can make huge gains in efficiency when they build their own infrastructure – just like Facebook has with its open-source, Open Compute data centers. Facebook’s own data centers run 38 percent more efficiently and are 24 percent less expensive than the average data center, according to the Open Compute website.

このマイグレーションは、かなり複雑なものであるが、独自のインフラストラクチャを構築する際に、きわめて効果的に膨大な利益をもたらす方式を、この両社は示しているのかもしれない。 まさに、それが、Facebook がオープンソースとして有している、Open Compute データセンターである。Open Compute の Web サイトによると、平均的なデータセンターと比較して、Facebook のデータセンターでは、38% の効率化と 24% のコスト削減が達成されているという。

ーーーーー

4月3日の TechCrunch が、「グリーンピース、Amazonを叩き、Apple、Google、Facebookを賞賛」というタイトルで、Greenpeace のレポートを紹介していましたが、その記事の中の図版では、Instagram が Facebook にホストされているように描かれていました。 その他にも、WhatsApp が IBM に居たり、SnapChat が Google に居たりしていて、Greenpeace の調査力に驚いた記憶があります。 それにしても、あの Instagram を止めることなく、別のクラウドへ移行させるのは、並み大抵のことではないでしょう。 そして、VM ⇒ Bare-Metal への移行により、パフォーマンスも大きく変化しているはずです。 まさに、進撃のベアメタルですね!

ーーーーー

<関連>

SAP と HANA が、Open Compute に恋する理由
Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する
IBM のクラウド戦略:SoftLayer London データセンターが立ち上がる
各サービス の モバイル率 を調査する : LinkedIn 22%、Facebook 65%、Instagram 97% など
ソーシャルと、若ものと、ショッピング : FB と TW を Instagram が追撃する!

Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する

Posted in .Selected, Bare-Metal, Data Center Trends, Open Compute, OpenStack, Rackspace, Strategy by Agile Cat on July 4, 2014

Rackspace’s OnMetal service eliminates "noisy-neighbor" problems
http://wp.me/pwo1E-7Dx

By Michael Kassner July 1, 2014
http://www.techrepublic.com/article/rackspaces-onmetal-service-eliminates-noisy-neighbor-problems/

Has VM server technology finally outlived its usefulness? Rackspace and some major clients seem to think so.

仮想サーバーのテクノロジーは、その有用性という観点で、長生きし過ぎているのだろうか? Rackspace と、主要な顧客たちは、そう考えているようだ。

Last year, Dell and HP lost a key customer — Rackspace. Up until then, the two companies supplied Rackspace with upwards of 90,000 servers. Rackspace, like Facebook, now designs its own servers using guidelines from the Open Compute Project. Quanta Computer builds the custom servers for Rackspace.

昨年のことだが、Dell と HP は、重要な顧客である Rackspace を失っている。それまで、この両社は、90,000台以上のサーバーを Rackspace に供給してきた。しかし、いまの Rackspace は Facebook のように、Open Compute Project のガイドラインを用いて、自らのサーバーをデザインしている。 そして Quanta Computer が、Rackspace のためのカスタム·サーバーを構築している。

Image: Rackspace

This past week, Taylor Rhodes, President of Rackspace, announced in this video what was in store for these servers — a new Rackspace offering called OnMetal. Put simply, Rackspace, besides providing customers multi-tenant virtual machine (VM) servers, will now rent single-tenant dedicated servers.

先週のことだが、Rackspace の President である Taylor Rhodes は、彼らの OnMetal という新しいサーバーに、ストアされるものをビデオで発表した。簡単に言うと、これからの Rackspace は顧客たちに、マルチテナントの仮想マシン(VM)サーバーを提供するだけではなく、シングルテナントの専用サーバーをレンタルすることになる。

Why single-tenant servers?

Rhodes listed a whole slew of reasons why multi-tenant VM servers were not meeting customer needs, calling the issues "noisy-neighbor" problems. The predicament was first noticed when one tenant on a VM server co-opted most of the server’s resources. Doing so caused variability in how the other VMs behaved and performed, even to the point where availability was not assured.

Rhodes は、マルチテナントVMサーバーが、顧客のニーズを満たせなかった理由を列挙し、すべてが "noisy-neighbor(迷惑な隣人)" の問題だと切り捨てている。この不具合は、VMサーバー上のテナントが、そのサーバーの大半を共有すると選択したときに、初めて気づくものである。 そのような状況では、他の VM の振る舞いや、その処理の内容に応じて、自身の VM に性能のバラつきが生じることになり、可用性が保証できないレベルに至ることもある。

Rhodes stated that clients, not seeing any other choice, attempted to thwart these issues by over-provisioning their server requirements, aggravating the situation even more. Something else often overlooked is that each VM instance adds what Rhodes considers "virtualization tax." The performance hit each additional VM instance places on the physical server.

Rhodes は、こうしたサーバーのオーバー・プロビジョニングによる問題を、他の選択肢を探すことなく阻止しようとする顧客は、さらに状況を悪化させると述べている。その他で見落とされがちなものとしては、それぞれの VM インスタンスが積み上げていく "virtualization tax” があると、Rhodes は考えている。つまり、物理サーバー上に追加された、それぞれの VM インスタンスにより、パフォーマンスが劣化していくことになる。

Image: Rackspace

One solution that eliminates the noisy-neighbor problem is to place critical services on dedicated servers in colocation centers. However, companies renting dedicated hardware lose a lot in the process. According to Rhodes, "In a colocation center, you lose the simplicity and elasticity a multi-tenant cloud gives you."

この、noisy-neighbor の問題を排除するソリューションとして、コロケーション·センター内の専用サーバーに、重要なサービスを配置するという考え方がある。しかし、専用のハードウェアーをレンタルするプロセスの中で、顧客となる企業は大きなロスを生じる。Rhodes は、「コロケーション・センターにおいては、マルチテナント・クラウドが提供するはずの、シンプルでエラスティックという特性が失われる」と述べている。

Elasticity refers to "how well the datacenter can satisfy the growth of the input VMs resource demands under both the limitations of physical machine capacities." So there’s the trade-off: performance variability vs. ease and quickness of provisioning.

ここでい言うエラスティックだが、「物理マシンのキャパシティという制約の下で、要求に応じて VM リソースを投入し、データセンターの成長を達成する」という意味を持つ。したがって、そこには、” パフォーマンスの変動性 vs 迅速で容易なプロビジョニング ” というトレードオフがある。

With Rackspace’s new service, there’s no trade-off

Rackspace took the best parts of the multi-tenant cloud and colocation services and discarded the parts that weren’t working. To do that, Rackspace took its OnMetal server design, enlisted OpenStack cloud software, (specifically Ironic, a provisioning system built for bare-metal servers), and created a service that lets providers work with non-VM servers (OnMetal) in the same manner and flexibility VM servers are provisioned.

Rackspace が選んだ方針は、マルチテナント・クラウドとコロケーション・サービスからの良いとこ取りである。そのためには Rackspace は、OpenStack クラウド·ソフトウェアを組み入れれる(ベアメタル・サーバー用に構築された Ironic プロビジョニング・システムが特徴)、OnMetal サーバーを自身でデザインすることになった。その結果として、顧客であるサービス・プロバイダーたちは、non-VM サーバー(OnMetal)を動かしながら、VM サーバーのプロビジョニングで実現される方式と柔軟性を手に入れられる。

Rhodes stated OnMetal servers:

Rhodes は OnMetal サーバーについて、以下のように述べている:

  • Are 100% solid-state, no heat (other than the Central Processing Unit), and no vibration as fans are outside the server housing;
  • Can be spun up in minutes, just like VMs;
  • Are Application Program Interface (API) driven and accessible just like VMs;
  • Do not use a Hypervisor; and
  • Are hardware specialized for database services, low-latency caching, or web-request handling.
  • 100% の独立性を持ち、自身の CPU 以外に負荷はなく、他のサーバーからの影響も排除される。
  • VM と同様に、数分でプロビジョニングを完了できる。
  • VM と同様に、API を介した駆動とアクセスを実現する。
  • ハイパーバイザーは使用しない。
  • DB サービス/低レイテンシ・キャッシング/Web リクエスト処理などにハードウェアを特化できる。

To give an example of the hardware specialization, a database-focused OnMetal server would have the following specs:

以下は、データベースに特化した OnMetal サーバーの、ハードウェア仕様のサンプルである:

  • Flash storage: 3.2 Terabytes
  • RAM: 128 Gigabytes
  • IOPS: Greater than 200,000

The Rackspace website offers the following additional details for the OnMetal service:

また、Rackspace は OnMetal サービスに関して、以下のような詳細を、その Web サイトで提供している:

  • Fast provisioning: OnMetal Servers can be provisioned in less than five minutes.
  • Integrated administration: Use the same control panel and API interfaces for both OnMetal servers and virtual-cloud servers.
  • Consistent performance: Single-tenant architecture eliminates "noisy neighbors," and no performance hits to the virtualization layer.
  • Open-source standards: Avoid being locked into a proprietary solution, as hardware and software are both open source.
  • High-performance networking: Each cabinet includes two 10Gb/s network connections in a high availability Multi-Chassis Link Aggregation with minimal over-subscription to help increase throughput and performance for your applications.
  • Fast provisioning: OnMetal Servers は 5分以内にプロビジョニングされる。
  • Integrated administration: OnMetal/VM サーバーに対して、同一のコントロール・パネルと API インターフェイスが提供される。
  • Consistent performance: シングル・テナント・アーキテクチャにより "noisy neighbors” を排除し、また、仮想レイヤによるパフォーマンス劣化も排除する。
  • Open-source standards: ハードウェアとソフトウェアはオープンソースであるため、プロプライエタリ・ソリューションにロックインされない。
  • High-performance networking: それぞれのキャビネットには、2つの 10Gb/s ネットワーク接続が含まれる。この、高可用性 Multi-Chassis Link Aggregation と、最小限の over-subscription により、アプリケーションのスループットとパフォーマンスを高レベルに保つ。

Satisfied clients

During the announcement, Rhodes introduced several Rackspace clients that are onboard with the OnMetal approach. Zach Rosen, CEO and cofounder of Pantheon Systems, said, "We’ve all been trained to think of the cloud as generic virtual machines on demand. VMs have had their decade. The future ‘Cloud’ will be built with containers deployed across bare-metal servers provisioned via API. We believe Rackspace’s OnMetal service is the future of Infrastructure as a Service.”

このアナウンスメントにおいて Rhodes は、OnMetal アプローチに賛同する、何社かの Rackspace クライアントを紹介している。Pantheon Systems の coFounder and CEO である Zach Rosen は、「 私たちの、すべてが、オンデマンドで仮想マシンを生成するものが、クラウドだと教えこまれてきた。そして VM は、その十年を享受した。しかし、これからのクラウドは、API を介してプロビジョニングされたベアメタル・サーバー上に、デプロイメントされるコンテナにより構築されるだろう。 私たちは、Rackspace の OnMetal サービスが、IaaS の未来になると信じている」と述べている。

OnMetal is available now through an early availability program, and will be in general availability by late July 2014. To learn more and to sign up for a test drive, head over to this page at Rackspace.

現時点の OnMetal は、early availability program として利用できる。 そして、一般的な運用は、7月の後半から開始される。 テスト・ドライブについては、この Rackspace のページで確認し、Sign Up してほしい。

ーーーーー

ハードウェアの性能が高まり、それかオープンソース化により低価格で提供されるようになると、サーバーを設計/構築する上での発想が、その根底から刷新されます。 ハードウェアが高価であった時代の改革者であった VM も、最先端のポジションを Bare-Metal に明け渡し、それをサポートするものへと、役割を変えていくのかもしれませんね。 San Antonio の Rackspace HQ で、第2回めの OCP Summit が開催されたのが 2012年 5月ですから、そこから 2年の月日が流れています。 頑張りましたねと、声をかけてあげたくなる、Rackspace です!

ーーーーー

<関連>

Rackspace と CERN が推進する OpenStack ハイブリッド戦略とは?
SAP と HANA が、Open Compute に恋する理由
Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!
Facebook Hardware Labs は、エンジニアにとって夢のような空間だ
Open Compute と Quanta : 台湾の無印サーバーが 米国マーケットを席巻する!
Open Compute Project : ついに Microsoft も参加を表明した!

Facebook と Open Compute から、ついに Wedge という名の オープン・スイッチが発表された!

Posted in .Selected, Data Center Trends, Facebook, Network, Open Compute, Strategy by Agile Cat on June 20, 2014

Facebook to share first Open Compute Switch, the Wedge
http://wp.me/pwo1E-7AG

By Juha Saarinen on Jun 19, 2014
http://www.itnews.com.au/News/388499,facebook-to-share-first-open-compute-switch-the-wedge.aspx

Operates like an FBOSS.

Social networking site Facebook says it has built and is testing its first modular network switch, the Wedge, which it claims will provide the same power and flexibility as a server.

ソーシャル・ネットワーク・サイトである Facebook が言うには、初めてのモジュール式ネットワーク・スイッチである Wedge の構築が終わり、いまはテストの段階にあるようだ。 そして、この Wedge であるが、OCP サーバーと同様の、パワーとフレキシビリティを提供するという。

The work on the Wedge has been done by Facebook as part of the Open Compute Project, alongside vendors such as Broadcom, Intel, Mellanox and Accton which also contributed designs for open switches.

Wedge に関する作業は、 Open Compute Project 一環として、Facebook により完了しているが、いくつかのオープン・スイッチのデザインをコントリビュートした、Broadcom/Intel/Mellanox/Accton といったベンダーとの協業の結果でもある。

Facebook engineers Yuval Bachar and Adam Simpkins say the Wedge switch represents a departure from current networking design paradigms, and aims to run more like the existing OCP servers the company operates already.

Facebook のエンジニアである Yuval Bachar と Adam Simpkins は、この Wedge スイッチについて、現在のネットワーク・デザイン・パラダイムからの旅立ちを表現し、数多くの企業ですでに稼働している、現在の OCP サーバーのような世界を目指していると言う


クリックで拡大 ⇒

Hardware schematic of Facebook’s OCP Wedge switch

To achieve this, Facebook added a "Group Hug" microserver that punts packets inside the Wedge.

このアーキテクチャを実現するために、Facebook は Wedge の内部に、パケットを運ぶための Group Hug マイクロサーバーを追加している。

This is based on a 64-bit ARM-based AMD Opteron A1100 processor that was announced in January this year and is substantially smaller than the switching backplane form the 16 40 gigabit per second ports.

それは、今年の 1月に発表された 64 Bit ARM ベースの、AMD Opteron A1100 プロセッサをベースにしたものであり、16 個の 40 G bps ポートを構成する、既存のスイッチング・プレーンよりも、かなり小型化されている。

Facebook said it wants a proper server in the switch to bring the devices into their distributed management systems and run a standard Linux-based operating environment.

そして Facebook は、自身の分散マネージメント・システムにデバイスを取り込み、また、標準的な Linux を運用するスイッチのための、適切なサーバーを作り上げたいと述べている。

The Linux-based operating system for the switch is aptly named FBOSS and uses existing software libraries and systems that manage Facebook’s servers. This includes initial installation, upgrades, downgrades and decommissioning of systems in data centres.

このスイッチのための Linux ベース OS は、FBOSSという適切な名前を持つものであり、また、Facebook のサーバーを管理するために、既存のソフトウェア・ライブラリやシステムを使用するものとなる。このマネージメントの概念には、データセンター内における、イニシャル・インストールおよび、アップグレード、ダウングレード、システムの廃止などが含まれている。

Both the Wedge and FBOSS are being tested in Facebook’s network at present, ahead of the release of the designs to the OCP so that other members can use them.

いま、Wedge と FBOSS の双方が、Facebook のネットワーク内でテストされており、また、OCP のメンバーたちが利用できるようにするために、そのリリースへ向けてデザインを固めている状況にある。

The Open Compute Project was launched by Facebook in 2011 and aims to innovate open, scalable data centre technologies, with hardware and software that can be modified and replaced by users.

この Open Compute Project とは、2011年に Facebook により立ち上げられたものであり、ユーザーによる改変/置換が可能なハードウェア/ソフトウェアを用いて、オープンでスケーラブルなデータセンター・テクノロジーを革新していこうという目的を持っている。

Beyond server and networking technologies, the OCP is also advancing designs for storage, chassis, power supplies, device racks, energy-efficient, low-loss data centre electricity supplies, as well as cooling of facilities.

OCP の目指すものは、サーバーとネットワークのテクノロジーだけではない。具体的に言うと、最先端のストレージ/シャーシ/パワー・サプライ/ラックをデザインし、さらには、エネルギー効率の良い、省電力型のデータセンターを、クーリングも含めて検討していく。

Facebook is aiming to build all its new data centres with OCP designs, so as to enjoy benefits of economies of scale as well as rapid deployment, and lowered power usage.

Facebook は、すべての新しいデータセンターを、OCP デザインを用いて構築しようとしている。つまり、スケールを達成するだけではなく、デプロイメントの期間を短縮し、電力の消費量を引き下げることで、経済的なメリットを実現しようとしているのだ。

ーーーーー

2013年 1月に Santa Clara で開催された Open Compute Summit では、「モノリスを破壊する」というメッセージが発信されていました。 その中の一つに、この Wedge と命名されたオープン・スイッチの構想も含まれていたのでしょう。 それから、数カ月後に方針が示され、さらに1年を経て、このようなアーキテクチャによるプロダクトが整って来たわけです。この間のヒストリーについては、OCP Japan からコントリビュートされた、OCP News Archive:Open Switch で参照できます。 以下は、Open Compute による、モノリス破壊宣言です。

すべてにおいて、最もエキサイティングなのは一連の新規開発であり、これまでのテクノロジーをさらに有効利用していくための、大きなステップを与えてくれる。 1つの産業として、私たちが直面する課題は、そこで構築/消費されていくハードウェアが、きわめてモノリシックであるという点だ。つまり、私たちのプロセッサは、私たちのマザーボードと不可分であり、さらに言えば、特定のネットワーク・テクノロジーなどとも不可分である。こうした硬直した関係で、すべてが構成されているのだ。 そのため、急速に進化するソフトウェアに追いつくことの出来ないコンフィグレーションが、不完全なシステムへと導かれ、たくさんのエネルギーとマテリアルを浪費してしまう。

ーーーーー

<関連>

Facebook と OCP : オープン・スイッチ仕様を Broadcom と Intel と Mellanox が提出
Facebook は Open Compute のおかげで、この3年で 1200億円も節約できた!
Blu-ray ディスクを 10000枚:Facebook が考えるペタ/エクサ時代のコールド・ストレージとは?
SAP と HANA が、Open Compute に恋する理由
Open Compute Project : ついに Microsoft も参加を表明した!

 

%d bloggers like this: