Agile Cat — in the cloud

Instagram が達成した史上最大のマイグレーション:200億枚のイメージを AWS から Facebook Bare-Metal へ!

Posted in Bare-Metal, Data Center Trends, Facebook, Instagram, Open Compute by Agile Cat on July 8, 2014

Instagram moves 20 billion images to Facebook servers
http://wp.me/pwo1E-7E4

Mike Wheatley | June 30th
http://siliconangle.com/blog/2014/06/30/instagram-migrates-20-billion-images-shifted-to-facebooks-servers/

_ Silicon Angle

Instagram announced last week that it’s picked up its billions of images stored in Amazon Web Services (AWS) and dumped them into Facebook’s own servers in one of the largest data migration operations ever undertaken.

先週のことだが、Instagram は史上最大規模のデータ·マイグレーションへの取り組みの中で、Amazon Web Services (AWS)に保存された何百億枚というイメージを取り出し、Facebook が提供する独自のサーバー群に投げ込んだと発表した。

News of the move came from this interview with Facebook infrastructure engineer and Open Compute Foundation program developer Charlie Manese. Manese revealed that the massive migration took about a year to organize and an additional month to carry out. As a result of moving onto Facebook’s infrastructure, Instagram now uses about a third fewer servers, something that significantly reduces its operating costs, Manese notes.

この出来事に関するニュースは、Facebook の Infrastructure Engineer と Open Compute Foundation の Program Developer を兼任する Charlie Manese とのインタビューから得られたものである。Manese の説明から、この大規模なマイグレーションを実施するために、約1年という長い歳月が費やされ、また、収束のために1ヶ月が追加されたことが分かってきた。この、Facebook インフラストラクチャへ移行した結果として、これまでと比べて 1/3 というスケールにサーバー数が集約され、Instagram の運用コストなどが大幅に削減されたと、Manese は指摘している。

Wired later posted an in-depth article on the transition – which has been called the “Instagration” within company circles – and notes that it was unlike any other. With previous migrations – such as with FriendFeeed – Facebook was able to shut the service down before shifting all of its data into its own shop. But Instagram is vastly larger and still growing rapidly. The operation involved shifting images from thousands of virtual machines in AWS’s cloud infrastructure to Facebook’s private data centers without disrupting service.

このマイグレーションに関する詳細な記事が、後になって Wired からもポストされているが、このチーム内では Instagration と呼ばれていたこと、そして、他のケースと異なるものであったことが指摘されている。たとえば FriendFeeed のケースなどの、これまでのマイグレーションにおいて、Facebook はシャットダウンさせてから、すべてのデータを移行することが可能であった。しかし、Instagram の場合は、その規模もきわめて大きく、また、急速に成長している最中にいる。つまり、Instagram の サービスを中断することなく、AWS のクラウド·インフラストラクチャーである数千の仮想マシンの中から、夥しい量のイメージを、Facebook のプライベート・データセンターへ移すという作業が必要であった。

Being on Facebook’s own infrastructure not only saves operational costs but means that Instagram can now take advantage of Facebook’s advertising and analysis tools. That could mean more advertising in the future. Instagram can also benefit from dozens of other tools Facebook has built, such as its spam blocking software.

Facebook のインフラストラクチャで運用することで、Instagram はコストの削減を可能にするだけではなく、Facebook の広告/分析ツールも利用できるようになる。つまり、その将来において、より以上の広告を展開できるようになるかもしれない。さらに Instagram は、すでに Facebook が組み込んでいる、スパム・メール・ブロック・ソフトウェアなどの、数多くのツールからの恩恵も受けることになる。

The sheer complexity of this migration also illustrates how companies can make huge gains in efficiency when they build their own infrastructure – just like Facebook has with its open-source, Open Compute data centers. Facebook’s own data centers run 38 percent more efficiently and are 24 percent less expensive than the average data center, according to the Open Compute website.

このマイグレーションは、かなり複雑なものであるが、独自のインフラストラクチャを構築する際に、きわめて効果的に膨大な利益をもたらす方式を、この両社は示しているのかもしれない。 まさに、それが、Facebook がオープンソースとして有している、Open Compute データセンターである。Open Compute の Web サイトによると、平均的なデータセンターと比較して、Facebook のデータセンターでは、38% の効率化と 24% のコスト削減が達成されているという。

ーーーーー

4月3日の TechCrunch が、「グリーンピース、Amazonを叩き、Apple、Google、Facebookを賞賛」というタイトルで、Greenpeace のレポートを紹介していましたが、その記事の中の図版では、Instagram が Facebook にホストされているように描かれていました。 その他にも、WhatsApp が IBM に居たり、SnapChat が Google に居たりしていて、Greenpeace の調査力に驚いた記憶があります。 それにしても、あの Instagram を止めることなく、別のクラウドへ移行させるのは、並み大抵のことではないでしょう。 そして、VM ⇒ Bare-Metal への移行により、パフォーマンスも大きく変化しているはずです。 まさに、進撃のベアメタルですね!

ーーーーー

<関連>

SAP と HANA が、Open Compute に恋する理由
Rackspace の OnMetal サービスが、Post-VM 時代のクラウドを提起する
IBM のクラウド戦略:SoftLayer London データセンターが立ち上がる
各サービス の モバイル率 を調査する : LinkedIn 22%、Facebook 65%、Instagram 97% など
ソーシャルと、若ものと、ショッピング : FB と TW を Instagram が追撃する!

 

2 Responses

Subscribe to comments with RSS.

  1. […] Instagram が達成した史上最大のマイグレーション:200億枚のイメージを AWS … […]

  2. agilecat.cloud said, on July 10, 2014 at 2:40 pm

    リンクを有難うございま〜す!


Comments are closed.

%d bloggers like this: