Agile Cat — in the cloud

Facebook が Open Graph の デベロッパー・コレクションを停止した:とても残念!

Posted in Facebook, Open Graph by Agile Cat on April 11, 2014

A Quick Death: Facebook Kills Off New Open Graph Collections For Developers
http://wp.me/pwo1E-7os

Feb 4, 2014 – Greg Finn
http://marketingland.com/quick-death-facebook-kills-open-graph-collections-developers-72973

_Marketing Land

Last March, Facebook announced that they’d be making apps a “bigger part of Timeline” and that developers could create custom collections to help users express themselves. This past Friday, however, they did a 180 and pulled the ability for users to submit new collections; but, existing collections will still function.

昨年 3月のことだが、Facebook は各種のアプリを Timeline の重要なパートにすることで、ユーザーによる表現をサポートするカスタム・コレクションを、デベロッパーたちが作成できるようにしたと発表した。しかし、この金曜日(1/31)に彼らは、その方向性を反転させ、ユーザーが新しいコレクションをサブミットする機能を取り下げてしまった( ただし、既存のコレクションは、いまのところ機能している)。

Collections allowed Facebook users to show custom flair or actions such as the following example from the Green Bay Packers.

このコレクションにより、Facebook ユーザーたちは、この Green Bay Packers の事例のように、カスタムで洗練されたアクションを参照することができていた。

When a user participated, they would then display their collection next to the standard Open Graph elements on their Timeline:

そこに参加するなら、ユーザーたちは自身の Timeline 上で、スタンダードな Open Graph 要素に続いて、自身のコレクションを表示できていた:

Alan McConnell, Engineering Manager at Facebook, made the following comment on Open Graph collections in a bug chain on the Facebook Developers site:

Facebook の Engineering Manager である Alan McConnell は、Facebook Developers サイトの Buf Chain で、Open Graph コレクションについて、以下のようにコメントしている

“We designed collections to help people express what’s important to them on Timeline. However, after testing with users, we’ve found that few wanted to add custom app collections to their Timeline. Similarly, the traffic to apps who have incorporated custom collections has been limited. As a result, we are no longer accepting new collection submissions, although existing custom collections will continue to function.”

私たちが、このコレクションをデザインしたのは、人々が Timeline 上で、自分にとって重要なものを表示できるようにするためだった。しかし、テストを行った後に、少数のユーザーだけが、Timeline にカスタム・アプリのコレクションを追加したがっていることが分かった。同様に、カスタム・コレクションが組み込まれているアプリへの、トラフィックは制限されている。その結果、既存のカスタム・コレクションは機能し続けるが、新しいコレクションのサブミットは受け付けないようになった。

So far in 2014, we’ve seen the disappearance of Sponsored Stories and now the non-paid user activity through Open Graph apps appears to be on the way out. This is a rather surprising change as Open Graph stories for apps have only been available for 10 months. Developers that we’ve spoke to were surprised about the change as they’d seen the inverse of what Facebook had claimed and that collections actually drove a large portion of overall app impressions.

2014年に入ってからというもの、私たちは Sponsored Stories の消失を見てきたし、いまは、Open Graph を介した無償のユーザー·アクティビティが消えようとしている。アプリのための Open Graph ストリーは、わずか 10ヶ月間だけの利用で終了していまうので、大いに驚くべき変化となる。 私たちは、何人かのデベロッパーと話をしたが、彼らは Facebook の主張の逆を見せつける、この変更に対して驚いていた。実際のところ、このコレクションが、全体的なアプリ・インプレッションにおける大部分をもたらしていたのだ。

Hat/tip to Booshaka for notifying us of this change. For more see the official notification on the Developer Bugs thread.

この変更を、私たちに教えてくれた、 Booshaka に敬意を表したい。詳細については、 Developer Bugs スレッドで、オフィシャル情報を参照して欲しい。

ーーーーー

TAG indexとても残念なことです。 このポスト自体は、2ヶ月ほど前のものであり、その後は RSS で Open Graph を追いかけても、何も引っかからなくなってしまいました。 Agile_Cat としても、専用のカテゴリまで作って、今後の展開を期待していただけに、とても残念な思いでいます。 ただ、Open Graph が無くなってしまったということではなく、Facebook を支える基本テクノロジーとして、いまも利用されていると推測します。あくまでも、サードパーティが利用できなくなったということですので、どこかのタイミングで、デベロッパー・コレクションが復活する可能性も残されています。 そして、そんな日が、早くやってくることを期待します。image97

ーーーーー

<関連>

Facebook の News Feed は、どう 変わったのか? なぜ 変わったのか?
Facebook が提供する、Open Graph のベスト・プラクティスとは?
Facebook は Open Graph へと ユーザーを誘う
Facebook の Open Graph を用いる、素敵な 5つのモバイル・アプリとは?
Facebook の Open Graph とは? その歴史から説明しよう

Google の 音楽ナレッジ・グラフが、YouTube や Google Now と連動し始めた!

Posted in Entertainment, Google, Open Graph by Agile Cat on October 27, 2013

Google’s Music Knowledge Graph With YouTube, Google Now, New Carousel & More
http://wp.me/pwo1E-6Pf

Oct 23, 2013 –
Barry Schwartz
http://searchengineland.com/googles-music-knowledge-graph-with-youtube-google-now-new-carousel-more-174893

image

Part of Google’s big birthday event & Hummingbird announcement was that Google has made some serious strides to the knowledge graph. One such example was visible a week or so after the announcement, which was a major improvement and user interface change for musician-related search terms.

Google のビッグな誕生日イベントと、Hummingbird に関する発表の一部は、そのナレッジ・グラフが、いくつかの点で大幅な進歩を遂げているというものだった。その事例となるものが、一週間ほど前というか、その発表の後に見かけられるようになった。 具体的に言うと、ミュージシャン関連の検索用語が大幅に改善され、また、ユーザー・インターフェースも変更されている。

For example, when you search for [neil young] you are given a typical knowledge graph on the right side. If you search for [neil young songs] you are presented with a new songs carousel, displaying the songs Neil Young has published over the years.

たとえば、[neil young] を検索すると、画面の右側に、典型的なナレッジ・グラフが提供される。また、[ neil young songs ] を検索するなら、その新曲が表示されるが、カルーセルを回転させることで、この数年における Neil Young の曲が表示される。

Here is a picture of what I see:

これが、私が参照した、画面のクリップである:

If you click on a song, you are given a rich experience, showing a YouTube video of the song, with more details about the song, the artist, and the song carousel at the top. You can even click on the “keep you updated” link to get Google Now alerts on this artist.

そして、いずれかの曲をクリックすると、とてもリッチなエクスペリエンスが提供される。つまり、その曲の YouTube ビデオが表示され、アーティストなどに関する詳細が説明され、その曲のためのカルーセルがトップに表示される。さらに、 “keep you updated” リンクをクリックすると、そのアーティストに関するアラートを、Google Now が伝えてくれる。

Some readers are reporting not seeing the music carousel, but only seeing the YouTube videos. We cannot replicate that action.

一部の読者は、ミュージック・カルーセルが出てこないので、YouTube の動画だけを見ていると、レポートしてくれた。 そして、私たちも、アクションを再現できないでいる。

ーーーーー

TAG indexそぉかぁ~~~ :) Knowledge Graph + YouTube + Google Now の組み合わせって、言われてみれば、音楽のための、これほど美しいというか、ドンピシャなものは無いですよね。 さすがですという感じで、このところ文句を言わせるスキすら見せない、Google 先生です。 Facebook の Open Graph が、ユーザーによる知の集合体を目指すなら、Google の Knowledge Graph は、もっとフォーマライズされた知の体系を目指すという意味が、だんだんと分かってきたように思えます。 なお、文中にある Hummingbird については、以下の 「検索アルゴリズム」のリンクを、ご参照ください。image

ーーーーー

<関連>

Google の検索アルゴリズムが大幅に変更 : そして、誰も気づかなかった
Google の Knowledge Graph は、スタートレックを目指す!
Google の Knowledge Graph は、映画の画面をタップすれば俳優の名前も教えてくれる
Facebook の Open Graph とは? その歴史から説明しよう
Facebook の News Feed は、どう 変わったのか? なぜ 変わったのか?
Facebook の超高速ストレージ : TAO の詳細を説明しよう

Google の検索アルゴリズムが大幅に変更 : そして、誰も気づかなかった

Posted in .Selected, Google, Open Graph by Agile Cat on October 3, 2013

Google Changed Its Core Algorithm, Affecting 90% Of Search Results — And No One Noticed
http://wp.me/pwo1E-6JC

Jim Edwards Sep. 27, 2013
http://www.businessinsider.com/googles-new-humminbird-search-algorithm-2013-9

_ Business Insider

Google rolled out the most significant change to its core search algorithm a month ago and almost nobody noticed. The change is designed to handle conversation search queries, such as "How do I tie a bow tie?" as well as it handles keyword search queries, such as "White House history." It affects 90% of search results.

Google は、1ヶ月ほど前にコアとなる検索アルゴリズムを大幅に変更したが、ほとんど誰も気づいていないだろう。 そこでの変更点は、" How do I tie a bow tie ? "(ネクタイの結び方)のような会話型サーチ・クエリーに対処し、さらに、" White House history " のようなキーワード・サーチ・クエリーにも対応するためのデザインにある。 そして、これは、検索結果の 90% に影響を与えるものとなる。

sigir2006
Amit Singhal

The company officially unveiled it to the press yesterday in California: "It is really big," said Google search executive Amit Singhal.

同社は、昨日 (9/26) に California で開催されたプレス・カンファレンスで、それをオフィシャルに声明している。 Google の Search Executive である Amit Singhal は、"It is really big" と発言している。

In fact, Singhal said that what Google has done is the equivalent of switching out the core "engine" of Google’s search system for a new one. It’s perhaps the most significant change since 2001, according to the Search Engine Land blog.

実際のところ、Singhal が言うには、Google が完了してことは、Google 検索システムのコアとなる "エンジン" を、全く新しいものi切り替えたのと等しいらしい。 また、Search Engine Land ブログによると、おそらく、2001年以来の最も大きな変更になるという。

But the new algorithm, nicknamed "Hummingbird," has been operative for a month now, and yet few noticed. That means it’s basically a huge success. The last time Google made a slight tweak to its algorithm ("Panda"), in order to weed out spam and scraper sites, many mainstream web publishers screamed in protest as the search traffic they were used to receiving began plunging.

そして、この Hummingbird というニックネームの新アルゴリズムは、すでに 1ヶ月ほど運用されているが、その変更に気づいている人は、ごく僅かである。 つまり、基本的に、大成功を納めているているのである。Google における前回の変更は、Panda というアルゴリズムの微調整であり、spam and scraper サイト取り除くためのものであった。しかし、それにより、検索トラフィックが急落したとして、数多くの主要 Web パブリッシャーは抗議の声を上げていた。

The fact that few have been screaming tells you that the new algo is doing exactly what Google wanted it to do: Work seamlessly.  You can get more details on conversational search here.

気ついた人が少数である事実は、この新しいアルゴリズムが、Google の意図を正確に反映していることを示す。 つまり、シームレスな動作である。ここで、会話型サーチに関する詳細な情報が得られる。

One last thing: At least initially, Hummingbird feels a bit like Facebook’s Graph Search, which is designed to handle more abstract or "latent" search queries such as "What movies do my friends like most?," where users do not necessarily know what they are looking for.

最後に、もう1つ。 Hummingbird を使い始めての、最初の印象であるが、以前よりも抽象的/潜在的な検索クエリーを処理するようであり、また、Facebook の Graph Search にも似たデザインを感じる。つまり、ユーザー自身が必ずしも、何を探すのかを知らなくても構わない、たとえば  " What movies do my friends like most? " といったクエリーが可能なのだ。

Facebook has made a big bet on Graph Search even though may users still remained baffled by it. Google’s move into conversational queries suggests the company thinks Facebook may be on to something.

この 5月に Facebook は、ユーザーの困惑を認めながらも、この Graph Search 大きく賭けるという方針を示した。 そして、今回の会話型クエリーへ向けた移行の背景には、Facebook が何かを掴んだという、Google なりの見方があるのかもしれない。

ーーーーー

google-55a昨年末くらいからでしょうか? 実は Agile_Cat でも、Google からの導線が細くなったような感じで、ちょっと気になっていました。 ところが、このところの Google 先生は絶好調で、それが Agile_Cat 全体を押し上げているように思えます。 それと、ここでは Facebook の Graph Search が引き合いに出されていますが、Google では Knowledge Graph という新しい試みが推進されています。 この両者が、どのように競い合っていくのか、そして BaiduYandex が どのように追いかけていくのか、とても興味があります。image

ーーーーー

<関連>

Google の Knowledge Graph は、スタートレックを目指す!
Google の Knowledge Graph は、映画の画面をタップすれば俳優の名前も教えてくれる
Facebook の Open Graph により、SEO に大変革が訪れる
Facebook の Open Graph により、マーケティングに質的変化が訪れる
Facebook の Open Graph : すでに 4000 億回 の インタラクションを達成

Facebook の News Feed は、どう 変わったのか? なぜ 変わったのか?

Posted in .Selected, Big Data, Facebook, Open Graph by Agile Cat on August 13, 2013

Facebook Just Made A Major Change To What Users See On The Site
http://wp.me/pwo1E-6uh

Nicholas Carlson – Aug. 6, 2013
http://www.businessinsider.com/facebook-just-changed-the-kinds-of-stories-youll-see-when-you-re-load-your-news-feed-2013-8

_ Business Insider

Facebook just changed the most important feature on the site – the "News Feed." The News Feed is the first thing you see every time you go to Facebook.com or open your Facebook app.

Facebook は、同サイトにおける最も重要な機能である、"News Feed" を変更した。この News Feed は、Facebook アプリを介して、あなたの Facebook.com がオープンされるたびに、最初に表示されるものでもある。

This is what the Facebook algorithm looks like. (Not really)

It’s a column of what Facebook calls "stories" photos, status updates, links, and whatever else your friends are sharing or doing. The process Facebook goes through to decide what to show you in that feed is pretty complicated. For the average Facebook user, there are about 1,500 "stories" could go in the column every time they open Facebook.

それは、Facebook が Stories と呼ぶものであり、あなたのトモダチが共有する、フォト/ステータス/リンクといった、あらゆるものをカラムとして構成している。つまり、そこで Facebook が実施するプロセスは、フィードとして何を見せるのかを決定するものであり、また、かなり複雑になり得るものでもある。そして、平均的なユーザーの場合、Facebook を開くたびに 約 1500 の Stories が、カラムの中に取り込まれることになる。

Until today, Facebook sorted those stories for you using the following process.

これまでの Facebook は、以下のようなプロセスを用いて、あなたの Stories をストアしてきた。

  1. It takes all the stories created since your last visit.
  2. It scores these stories based on factors. If the person who posted the story is close to you, it gets a higher score. If it has a lot of comments and likes, it gets a higher score. It’s a photo, which people love to look at, it gets a higher score.
  3. Then Facebook would sort those stories by their score.
  1. 前回の訪問時に作成された、すべての Stories を取り込む。
  2. 続いて、それぞれの Stories は、その要因に基づいてスコアを割り振られる。Stories の投稿者が、あなたと親しい場合には、そのスコアは高くなる。 また、イイネやコメントが、たくさん付いた Stories も、そのスコアが高くなる。 さらに、人々が見たがるフォトは、最も高いスコアを取得する。
  3. つまり、Facebook は、こうしたスコアをベースにして、Stories をソートしているのだ。

If you come back an hour later, Facebook would go through the same process again crucially, starting once more with all the new stories created since your last visit.

あなたが、1時間後に Facebook に戻ってくる場合、このプロセスを再現することが重要だと考えられており、前回の訪問時に作成された全ての Stories から、もう一度 スタートするようになっていた。

The big change Facebook announced today is that now, when you come back, Facebook’s story scoring and ranking algorithm will look at all of the stories you have never seen, not just the stories created since you last visited.

今日、Facebook が発表した、大きな変更が行われると、あなたが Facebook に戻ってくる時に、Facebook Stories におけるスコアとランキングのアルゴリズムが、まだ参照されていない、すべての Stories を探し出すようになる。また、それは、あなたが最後に訪問した以降に作成された、Stories に限定されるというものでもない。

In practice, that means if there was a story in your News Feed before, but you missed it because you didn’t scroll down to see it, Facebook will put it up top the next time you visit the site if Facebook believes that story is more relevant to you than all the new ones created since you last checked the site.

実際のところ、以前にスクロール・ダウンしなかったので、まだ見ていない News Feed が残されている、という場合に、この新しい方式に意味が生じてくる。つまり、あなたが最後にチェックした後に作成された、すべての新しい Stories よりも、あなたにとって重要だと Facebook が判断した Stories が、News Feed のトップに表示されることになる。

Facebook calls this tweak to its algorithm "story bumping."

Facebook は、この新しいアルゴリズムのことを、"Story Bumping" と呼んでいる。

Another change to the News Feed that Facebook announced today is that it will now examine your 50 most recent actions on the site, and promote stories that seem to be your most current interest. If you "like" a specific person’s status updates one morning, you’re more likely to see a bunch more of them the rest of that day. The company calls this tweak "Last Actor."

今日、Facebook が発表した、News Feed に関するもう 1つの変更点は、あなたがサイト上で実行した、最新 50個のアクションが検証されるというものだ。つまり、あなたの最新の関心事と思われる Stories が、それをベースに抜き出されることになる。たとえば午前中に、特定のトモダチのステータスにイイネを付けているなら、その日の午後に、追加されたイイネの固まりを、目にする可能性が高くなる。同社では、この取り組みを、"Last Actor" と呼んでいる。

ーーーーー

TAG index先月は、Facebook の新しいストレージ戦略である TAO について、『Facebook が発表した TAO : これで MySQL と Memcached を接続する』と『Facebook の超高速ストレージ : TAO の詳細を説明しよう』という抄訳でご紹介しました。そこでも説明されていましたが、Facebook では Hot Data と Cold Data を使い分け、この巨大なサービスで取り扱うデータの、整合性を図っているとのことです。 そして、そのベースとなるのが、以下のリンクにある Open Graph であり、そのインフラとしての Open Compute ということになります。 10億人以上のユーザーを抱えながら、News Feed という複雑なインターフェイスを、いとも簡単に切り替えてしまう (簡単ではないですが :) )、Facebook の底力を感じてしまいますね。image97

ーーーーー

<関連>

Facebook の Open Graph とは? その歴史から説明しよう
Facebook は Open Graph へと ユーザーを誘う
Intel の Open Compute にかける意気込みがスゴイ : 100G Photonics だ!
やったぜ! Facebook の Open Compute Project がオープン・スイッチに挑戦だ!
Facebook の 超絶 Web パフォーマンス : その秘密を解析する

 

Facebook が提供する、Open Graph のベスト・プラクティスとは?

Posted in Facebook, Open Graph by Agile Cat on July 24, 2013

Facebook Provides List Of Best Practices For Open Graph Submissions
http://wp.me/pwo1E-6pd
David Cohen on July 18, 2013
http://allfacebook.com/best-practices-open-graph_b122038

_ All Facebook

Facebook continued its efforts to keep its Open Graph clean, providing developers with a list of best practices for their submissions, and informing them that certain Open Graph actions will no longer be approved: listen; content-consumption actions such as browse, discover, and view; actions triggered by joining or registering with an application; and non-English actions.

Facebook は、自身の提案に関するベスト・プラクティスのリストを開発者に提供し、また、Open Graph の概念を明確にしようと努力し続けている。そこには、承認されなくなるだろう、特定の Open Graph アクション も含まれる。それらは、たとえば listen や、browse/discover/view といったコンテンツ消費のためのアクションがあり、また、アプリケーションの結合/登録によりトリガーされるアクション、そして英語以外のアクションなどもある。

Image courtesy of Shutterstock.

The social network announced the best practices list in a post on its developer blog, and key points from the list include:

このソーシャル・ネットワークは、そのデベロッパー・ブログのポストにおいて、ベスト・プラクティスのリストを公表している。 それは、以下のリストを含む、重要なポイントを指摘している:

  • Developers should use common actions whenever possible, and only create custom actions when necessary.
  • Open Graph actions should be different from social plugins, which already write to Open Graph and do not need to be submitted for review.
  • Use an Open Graph test user to generate stories used during reviews.
  • Open Graph actions should express real experiences.
  • Grammar should be correct, including properly conjugated verbs.
  • デベロッパーは、可能な限り Common actions を使用すべきであり、必要な場合にのみ  Custom actions を作成すべきだ。
  • Open Graph actions は、social plugins と異なるものであり、Open Graph のために書かれ、レビューのためのサブミットも必要としない。

  • レビューで用いるストーリーを生成するために、Open Graph test user を用いるべきだ。
  • Open Graph actions は、リアルなエクスペリエンスを表現すべきだ。
  • Verb の適切な結合も含めて、その文法は正確であるべきだ。

Developers: Is this new best practices list helpful?

デベロッパーにとって、このベスト・プラクティスのリストは、役に立つであろうか?

Related Stories

ーーーーー

TAG indexようやく、Graph Search が使えるようになってきた Agile_Cat ですが、あくまでも、人々の関心事を対象とする、ソーシャルのための検索機能であることが、実感できたところです。そして、そのベースとなる Open Graph ですが、このようにシンプルな記法と文法を維持することで、たとえばターゲット広告を作成するマーケッターなどが、容易に利用できるようにしていくのでしょうね。 あまり前面には出てこない Open Graph ですが、これからの Facebook を支える屋台骨になっていくのでしょう。image115

ーーーーー

<関連>

Facebook の Open Graph とは? その歴史から説明しよう
Facebook は Open Graph へと ユーザーを誘う
Facebook の Open Graph を用いる、素敵な 5つのモバイル・アプリとは?
Facebook と Open Graph : 小売業が活用すべき理由
Facebook の Open Graph により、マーケティングに質的変化が訪れる

 

Facebook の超高速ストレージ : TAO の詳細を説明しよう

Posted in .Selected, Big Data, Facebook, Open Graph, Storage by Agile Cat on July 18, 2013

What’s Behind The Door Of Facebook’s ‘Data Store?’
http://wp.me/pwo1E-6nS

David Cohen on June 25、2013
http://allfacebook.com/tao_b120642

_ All Facebook

Facebook offered some behind-the-scenes details about its TAO (The Association and Objects) server, which the social network referred to as its graph data store, in a note on the Facebook Engineering page by Software Engineer Mark Marchukov.

Facebook が提供する、その舞台裏に関する情報には、TAO (The Association and Objects) サーバーの詳細も含まれている。 それは、このソーシャル・ネットワークが、Graph Data のストアとして言及するものだと、Software Engineer である Mark Marchukov の Facebook Engineering ページに記されている

Marchukov described TAO as follows:

Marchukov は、TAO について 以下のように述べている:

Facebook puts an extremely demanding workload on its data back end. Every time any one of more than 1 billion active users visits Facebook through a desktop browser or on a mobile device, they are presented with hundreds of pieces of information from the social graph. Users see News Feed stories; commejnts, likes, and shares for those stories; photos and check-ins from their friends — the list goes on. The high degree of output customization, combined with a high update rate of a typical user’s News Feed, makes it impossible to generate the views presented to users ahead of time. Thus, the data set must be retrieved and rendered on the fly in a few hundred milliseconds.

Facebookはのデータ・バックエンドには、きわめて厳しいワークロードが課される。いつも誰かが、つまり、10億人以上といわれるアクティブ・ユーザーの誰かが、デスクトップの Web ブラウザを介して、また、Mobile Facebook を介して、このソーシャル・グラフから引き出される、数百もの情報を用いて自身を表現している。 そして、ユーザーたちは、News Feed 内で Story/Comment/Like などを参照し、また、トモダチからの Story/Photo/Check-In などを共有し、それらのリストが積み上げられていく。一般的なユーザーの News Feed であっても、その表示は高度にカスタマイズされ、また、高い頻度でアップデートされていく。 つまり、それらのユーザーのためのにビューを事前に生成することは不可能であり、また、それらのデータ・セットを数百ミリ秒のレベルで、空中戦でレンダリングしていく必要性が生じる。

This challenge is made more difficult because the data set is not easily partitionable, and by the tendency of some items, such as photos of celebrities, to have request rates that can spike significantly. Multiply this by the millions of times per second this kind of highly customized data set must be delivered to users, and you have a constantly changing, read-dominated workload that is incredibly challenging to serve efficiently.

この課題をさらに困難にするのは、対象となるデータ・セットのパーティショニングが容易ではなく、また、たとえば有名人の写真などを含むことで、リクエストでピークを生じる傾向があるからだ。高度にカスタマイズされたデータ・セットと、数百万回/秒というリクエストの掛け算の結果を、ユーザーに配信する必要がある。 そして、読み取りに支配されるワークロードを、それぞれのユーザーが頻繁に変更するため、サーバーの効率という側面において、信じられないほどの課題が発生してくる。

Marchukov went on to discuss why the social network implemented the use of memcache in addition to MySQL, as well as the development of the Objects and Associations application-programming interface, and it described a subgraph of objects and associations that is created in TAO after Alice checks in at the Golden Gate Bridge and tags Bob there, while Cathy comments on the check-in and David likes it.

Marchukov は、このソーシャル・ネットワークが、MySQL に加えて memcache を実装している理由と、The Association and Objects の API について説明してくれた。そして、事例として「 Alice が Golden Gate Bridge にチェックインして、それに Bob がタグを付け、それと同時に Cathy がコメントを付け、そこに David がイイネを付けた 」直後の、TAO の内部で生成された、オブジェクトと関連付けのサブ・グラフについても詳述してくれた。

He concluded:

The TAO service runs across a collection of server clusters geographically distributed and organized logically as a tree. Separate clusters are used for storing objects and associations persistently, and for caching them in RAM and flash memory. This separation allows us to scale different types of clusters independently and to make efficient use of the server hardware.

この TAO サービスは、ロケーション的に分散していても、ツリーとして論理的に構成されるサーバー·クラスターのコレクションを、横断するかたちで実行される。それぞれのクラスタは、オブジェクトとの関連付けを永続的にストアするために、また、それらを RAM とフラッシュ・メモリにキャッシュするために使用される。こうしたセパレーションを施すことで、各種のクラスタを個別にスケールすること、そして、サーバー・ハードウェアの効率的な運用が実現される。

We chose eventual consistency as the default consistency model for TAO. Our choice was driven by both performance considerations and the inescapable consequences of CAP theorem for practical distributed systems, where machine failures and network partitioning (even within the data center) are a virtual certainty. For many of our products, TAO losing consistency is a lesser evil than losing availability. TAO tries hard to guarantee with high probability that users always see their own updates. For the few use cases requiring strong consistency, TAO clients may override the default policy at the expense of higher processing cost and potential loss of availability.

私たちは、TAO におけるデフォルトのコンシステンシー・モデルとして、イベンチュアル・コンシステンシーを選んでいる。私たちの選択は、マシンの故障とネットワーク分断が(たとえデータセンター内でも)が確実に起こることを前提とし、その範囲においてパフォーマンスを考慮し、実用的な分散システムで避けることのできない CAP 定理という、2つの側面から推進した結果でもある。Facebook の大半のプロダクトにおいて、TAO により失われるコンシステンシー(一貫性)は、可用性を失うよりも、小さな問題だと解釈されている。ユーザーによるアップデートが常に確認されるという、高度な蓋然性を保証するよう、TAO に対して懸命に取り組んでいるところだ。そして、ストロング・コンシステンシーを必要とするいくつかのユースケースでは、より多くの処理コストと、可用性が失われる可能性を犠牲にして、TAO クライアントはデフォルト・ポリシーを上書きすることになる。

A massive amount of effort has gone into making TAO the easy-to-use and powerful distributed data store that it is today. TAO has become one of the most important data stores at Facebook — the power of graph helps us tame the demanding and dynamic social workload. For more details on the design, implementation, and performance of TAO, I invite you to read our technical paper published in Usenix ATC ‘13 proceedings.

TAO を容易に使いこなし、また、パワフルな分散データストアとするために、いまは修練していく段階にある。TAO は、Facebook における、最も重要なデータ・ストアの1つとなっている。この Graph のパワーは、動的であり暴れまわるソーシャル・ワークロードを飼いならすのに役立つ。TAO に関する設計/実装/性能の詳細については、Usenix ATC ‘13 proceedings で提供されている、私たちのテクニカル・ペーパーを参照して欲しい。

Related Stories

ーーーーー

TAG index先週に、『 Facebook が発表した TAO : これで MySQL と Memcached を接続する 』という抄訳で、この TAO に関する概要をお伝えしました。そこでは、「Facebookは、あなたが参照している情報を、2つの極めて異なるデータ・コレクションから提供している」というふうに説明されていましたが、その2つ目のデータ・コレクションで用いられるのが、この TAO だというわけです。 そして、コンシステンシーよりも可用性を重視すると説明されていますが、このあたりついては、以下の <関連> を参照してください。James Hamilton 先生と、Mike Stonebraker 先生が、たっぷりと語ってくれています。image

ーーーーー

<関連>

イベンチュアル・コンシステンシーはお好き? — by James Hamilton
Stonebraker と CAP Theorem と Databases – by James Hamilton
Database System エラー と Eventual Consistency と CAP Theorem _1
Database System エラー と Eventual Consistency と CAP Theorem _2

Facebook が発表した TAO : これで MySQL と Memcached を接続する

Posted in .Selected, Big Data, Facebook, Open Graph, Storage by Agile Cat on July 9, 2013

The Tao of Facebook: ‘Social Graph’ Takes New Path
http://wp.me/pwo1E-6lI

By
Cade Metz – 06.25.2013
http://www.wired.com/wiredenterprise/2013/06/facebook-tao/

_ WIRED

Ever noticed that certain things on a Facebook page load faster than others? This is often the case with even the simplest of websites, but with a site the size of Facebook’s globe-spanning social network, the divide is in some ways more pronounced. Facebook, you see, serves information from two very different collections of data.

Facebook ページにおける特定のアイテムが、他より素早く読み込まれるようになったことに、気づいるだろうか? それは、多くの点において、Web サイトにおける最もシンプルなケースと同様であるが、この Facebook サイトは世界を横断するソーシャル・ネットワークの規模となり、いくつかの処理系に、分割されているのも明らかである。Facebookは、あなたが参照している情報をを、2つの極めて異なるデータ・コレクションから提供している。

Facebook CEO Mark Zuckerberg.
Photo: Alex Washburn/Wired

Most data is stored inside a good old fashioned database — the open source mainstay MySQL — but the social networking giant also uses a second system to house data that’s accessed with particular frequency. This system is known as Memcached, and it’s a common thing inside the massive data centers that underpin the world’s largest websites. Memcached stores data in the memory subsystems of the servers that drive Facebook, rather than slower hard disks. Facebook engineers call it “hot data.” Basically, this means that the data you’re more likely to visit is more likely to load at speed.

大半のデータは、古き良きデータベースの内部に、つまりオープンソースを主力とする MySQL にストアされている。しかし、このソーシャル・ネットワーキングの巨人は、きわめて頻繁にアクセスするデータのために、2番目のシステムを用いている。このシステムは、Memcached として知られるものであり、世界で最大級の Web サイトを支える、大規模データセンターでは一般的なものである。Memcached は、サーバーのメモリ・サブシステム内にデータをストアし、遅いハード・ディスクに代えて Facebook をドライブしていく。 そして、Facebook のエンジニアたちは、それを Hot Data を呼んでいる。基本的に、これらのデータが、あなたが頻繁に呼び出し、また、高速でロードするものとなる。

The rub is that juggling both MySQL and Memcached isn’t the easiest of tasks for the engineers that build and operate the Facebook machine. But in recent years, the company has built a new system that seeks to ease the use of these two data stores. It’s called TAO, short for “The Associations and Objects,” and it’s been used on the site for “several” years now.

そこでの問題点は、MySQL と Memcached の双方を曲芸のように取り扱い、Facebook のマシンを構築/運用していくエンジニアのタスクが、きわめて難しいということである。しかし、近年では、これらの2つのデータ・ストアの利用を容易にするための、新しいシステムを同社は構築している。それが、TAO という省略形を持つ “The Associations and Objects" であり、すでに、何年かにわたって、そのサイトで利用されている。

“It was important to build something that would help Facebook engineers move fast,” says Facebook software engineer Mark Marchukov. “Before, engineers had to understand the details of how both the cache and the MySQL data stores operated in order to write efficient code, and that slowed down the rate of development. With TAO, we put in an API [application programming interface] that they could use without thinking about the details.”

「 Facebook におけるエンジニアの効率を改善するために、何らかのものを構築する必要があった。以前には、エンジニアたちは効率の良いコードを書くために、Cache と MySQL のデータ·ストアを操作する方式を、詳細まで理解する必要があり、その結果としてし開発スピードが鈍化していた。TAO を用いることで、エンジニアたちが詳細を考えずに利用できる、1つの API の導入が可能になった」と、Facebook のソフトウェア・エンジニアである Mark Marchukov は発言している。

But TAO is more than just a new interface for Memcached and MySQL. According to Marchokov, the company also rebuilt the software that sits behind the API. “We wanted to build something that could do better than a hybrid system consisting of just Memcached and MySQL,” he says. In short, the system is specifically designed for the types of data structures used by Facebook — data structures that define what Facebook calls “the social graph,” the endless tangle of relationships among people and information on the site.

しかし TAO は、Memcached と MySQ Lのための、新しいインタフェースというレベルを超えるものである。Marchokov によると、同社では、この API の背景となるソフトウェアを再構築したとされる。「 私たちは、Memcached と MySQL で構成される、ハイブリッド・システムよりも優れたものを構築したかった」と、彼は言う。 要するに、このシステムは、Facebook で使用されるデータ構造に特化したデザインを持つ。つまり、 Facebook がソーシャル・グラフという名で定義するデータ構造であり、このサイト上で人と情報を、無限に関連付けるものである。

“We wondered what an infrastructure built by Facebook for Facebook would look like,” says Facebook director of engineering Venkat Venkataramani.

「 Facebook が Facebook のために構築するインフラは、どのようになるべきかと、ずっと考えてきた」と、Facebook の Director of Engineering である Venkat Venkataramani は発言する。

The system — which Facebook discussed for the first time this week — is yet another example of the company building entirely new software to streamline and accelerate its ever-growing online empire. Like Google and Amazon and even Microsoft and Twitter, Facebook has reached such an enormous size, it can no longer rely on software originally designed for much simpler sites.

このシステムは、つまり  Facebook が今週に初めて説明したシステムは、その永遠に成長し続けるオンライン帝国を合理化し、加速させていくための、まったく新しいソフトウェア構築の事例である。Google や Amazon のように、さらには Microsoft や Twitter のように、Facebook は巨大な規模に達しており、もはやシンプルなサイトのために設計された、ソフトウェアには頼ることはできないのだ。

Very often, Facebook will “open source” its new software creations, sharing them with the world at large. But the company has yet to share the code behind TAO. Venkataramani says the company is still considering whether it will do so. Though TAO helps drive the live Facebook site, he says, it is still under development.

大半のケースにおいて、Facebook は新たに開発したソフトウェアを "オープンソース" にして、世界規模でその共有を図っていく。 しかし同社は、TAO を支えるるコードについては共有するに至っていない。そのオープンソース化は検討中だと、Venkataramani は発言している。TAO は、Facebook のライブ・サイトを効率よくドライブするが、彼によると、それは開発の途上にあるという。

ーーーーー

TAG indexこの、Facebook インフラに関しては、2011年11月に『 Facebook メッセージを支えるストレージ・インフラを解説 – James Hamilton  』という抄訳で紹介しました。 そして、おそらく、その延長線上にあるものが、今回の TAO(The Associations and Objects)なのだと推測します。 Memory/Flash Memory/HDD といった記憶システムを、適材適所に配置して、それぞのアドバンテージを活かすかたちで構成していく。 さらに言えば、そのためにハードウェア・インフラを再構成していくという、Open Compute Project にまでつながっている話しなのだと思います。image

ーーーーー

<関連>

Facebook の Open Graph とは? その歴史から説明しよう
Facebook の Open Graph により、SEO に大変革が訪れる
Facebook の Open Graph により、マーケティングに質的変化が訪れる
Facebook のスケール感覚に驚愕! _1
Facebook のスケール感覚に驚愕! _2
IBM の Flash Memory アプライアンスは、12T Bytes で 3000万円だ!

Facebook は Open Graph へと ユーザーを誘う

Posted in Facebook, Mobile, Open Graph by Agile Cat on May 31, 2013

Facebook is finally letting us interact with Open Graph updates
http://wp.me/pwo1E-6aN

By Francis Bea — April 9, 2013
http://www.digitaltrends.com/social-media/want-watch-read-open-graph-actions-in-news-feed/

image

Facebook wants to make it as easy as possible to get you to share Open Graph actions since the new Timeline announcement downplayed “Likes.” Action verbs and phrases like “Watch” or “Want to” are just as important as Likes – and much more revealing and specific. Not surprisingly, you’ll start seeing these actions in the mobile app, as Inside Facebook has noticed.

Facebook は新しい Timeline の発表において、“Like“ の役割を軽くすることで、Open Graph アクションの共有を、より簡単にしたいと発言している。 具体的には、“Watch“ という Verb および “Want to“ という Phrase を、“Like“ と同じ重要度で採用することで、情報のさらなる開示および特定を促進していく。驚くべきことではないが、Inside Facebook が指摘しているように、それらのアクションを、モバイル・アプリで確認することが可能だ。

For every Open Graph action-oriented story that pops up in the News Feed inside of Facebook’s mobile app, a “plus” button that sits next to the story’s description enables you to quickly add that book, movie, TV show, or other media right to your own list of interests and experiences. For instance if you tap on the “plus” button from a story that says your friend has read a book, the options for “Read” and “Want to Read” slide open, as you can see in the screenshot at top.

Facebook モバイル・アプリの  News Feed にポップアップされる、すべての Open Graph action-oriented ストーリーに対する説明のところに、“Plus“ ボタンが配置される。 そして、それを用いることで、ユーザーの関心事とエクスペリエンスのリストに、本/映画/TV 番組といったメディアを、追加することが可能となる。たとえば、トモダチが呼んでいる本というストーリーから、その “Plus“ ボタンをタップすることで、上記のスクリーン・ショットにあるように、“Read” および “Want to Read” というオプションがオープンされる。

And for those of you with the new Timeline, you’ll find that your mobile app has been synced with the changes so your “About” page looks pretty similar to the Web app. Not only can friends view the modules for TV-shows, Movies, and Books found inside of the “About” tab on the mobile app, but they can also add your “Watched” movies, or books you “Want to read” to their own collection of media.

そして、新しい Timeline を用いるユーザーから見て、“About” ページと Web アプリは似通っているため、使用中のモバイル・アプリと一連の変更が同期していることが、容易に把握できるようになっている。そして、トモダチは、モバイル・アプリの “About” タブ内の、TV-shows/Movies/Books といったモジュールを参照するだけではなく、“Watched” movies や books you “Want to read” といった Phrase(?) を、自身のメディア・コレクションに加えることができる。

These small additions to the platform should get users to share what they’re watching and reading, and even what they’re listening to since adding this data to your collection is just a tap away. It’s becoming apparent that Facebook is trying to get a better sense of what your interests are. As we’ve reported earlier, “Likes” just aren’t a great indicator for gauging what you actually care about and consume. These specific Open Graph actions and respective modules should, however, should give Facebook far more relevant data to work with.

このプラットフォームにこ加えられた、それらの小さな変更により、単なるタップでデータがコレクションに追加されるようになるため、観ているもの、読んでいるもの、聴いているものを、確実に共有できるようになる。それにより、ユーザーの関心事が、どこにあるのかという感性を、Facebook がうまく取り扱おうとしていることが、明らかになってきた。 以前にレポートしたように、あなたが実際に気にしてことや、消費しているものを測定するのに、 “Likes” が適切な指標になることは無い。 しかし、これらの Open Graph アクションと、それぞれのモジュールにより、さらに適切なデータのハンドリングが、Facebook に与えられることになるだろう。

ーーーーー

TAG indexAgile_Cat 的には、この Open Graph が最大の関心事なのですが、正直なところ感触的につかみにくい部分もあります。 でも、こうして具体的な応用例が出てくると、そのような懸念も簡単に払拭できそうでうね。ここでは Verb と表現していますが、他の文献では Action と言っているものもあります。 そこでは、以下のような例が示されていました。

それぞれの Action は、ユーザーがアプリ上で実行できるものであり、それを実行する対象が Objectである。たとえば、“Mark (user) listened (action) to The Beatles (object) on Spotify (app)” という例が挙げられる。

そして、『Open Graph のコアは、人々が Facebook にポストしたストーリーとアクションの集合である 』とも紹介されていました、 面白そうですね!image

ーーーーー

<関連>

Facebook の Open Graph とは? その歴史から説明しよう
Facebook の Open Graph を用いる、素敵な 5つのモバイル・アプリとは?
Facebook の Open Graph により、マーケティングに質的変化が訪れる
Facebook の Open Graph により、SEO に大変革が訪れる
Facebook の Open Graph : すでに 4000 億回 の インタラクションを達成

 

%d bloggers like this: