Agile Cat — in the cloud

【速報】 Hadoop Summit – Jun 29 2010

Posted in Cloudera, Events, Hadoop by Agile Cat on July 1, 2010

Yahoo Rolls Out Hadoop Enhancements
June 30th, 2010 : John Rath
http://www.datacenterknowledge.com/archives/2010/06/30/yahoo-rolls-out-hadoop-enhancements

image

Yahoo announced significant enhancements to the open source Hadoop software Tuesday at the third annual Hadoop Summit in Santa Clara. Yahoo said the new features will accelerate the potential for enterprise-wise adoption by mainstream businesses. Apache Hadoop is an open source project for developing reliable, scalable, distributed computing.

6月29日の火曜日に Santa Clara で開催された三回目の Hadoop Summit で、Yahoo は オープンソースである Hadoop に関する相当量の拡張について発表した。 これらの新機能について Yahoo は、主要な企業のための適切なエンタープライズ・システムの、導入を加速させる可能性を持つと発言している。 言うまでもなく、Apache Hadoop とは、信頼性とスケーラビリティを備えた分散コンピューティングのオープンソース・プロジェクトである。

hadoop-logo

Over the years that Yahoo’s use of Hadoop has evolved from applied science projects to an enterprise-class platform being used across a 35,000 server infrastructure to develop personalized content for tens of millions of users.

この数年の間に、Yahoo における Hadoop の利用は、科学を応用するためのプロジェクトから、エンタープライズ・クラスのプラットフォームにまで発展してきた。現在では、数千万人のユーザーのためのパーソナライズされたコンテントを開発するために、35,000台のサーバー・インフラストラクチャとして用いられている。

“Hadoop is where science meets big data – it’s the technical underpinning that powers our innovative consumer and advertiser products on the world’s most advanced digital canvas,” said Blake Irving, Executive Vice President and Chief Product Officer at Yahoo. “Yahoo’s cloud and Hadoop make it possible for Yahoo to rapidly personalize our content and advertising, and deliver highly relevant experiences, while maintaining the trust of our 600 million users.”

「Hadoop の立ち位置は、科学と大量データが出会うところにある。そして、世界で最先端のデジタル・キャンバス上で、革新的な消費者のためのアド・プロダクトをパワーアップする技術的な基盤となっている。そして、Yahoo におけるクラウドと Hadoop は、そのコンテントと広告をパーソナライズし、また、きわめて適切なエクスペリエンスを提供する一方で、6億人のユーザーによる信頼を確かなものにする」と、Yahoo の Executive Vice President and Chief Product Officer である Blake Irving は発言している。

At the Summit Yahoo announced the beta release of Hadoop with Security and Oozie, Yahoo’s workflow engine for Hadoop. Yahoo reported that it has tested these two releases and deployed them across tens of thousands of servers.

このサミットで Yahoo は、SecurityOozie を備えた Hadoop および、Hadoop 用のワークフロー・エンジンのベータを発表した。 Yahoo は、これらの 2つのリリースをテストする一方で、何万というサーバー群の中にディプロイしていると報告した。

Yahoo has also partnered with the global academic and scientific community as both a founding member of the Open Cirrus Testbed, which is advancing cloud computing research at an international scale, and the Open Cloud Consortium, a testbed for systems research on large-scale data clouds.

さらに Yahoo は、Open Cirrus Testbed の創設メンバーである、global academic および scientific community と連携し、国際的なスケールにおけるクラウド・コンピューティング研究を推進している。 また、Open Cloud Consortium とは、大規模データ・クラウドのシステムを研究するためのテストベッドを推進している。

Several other companies announced Hadoop-related news at the summit:

このサミットでは、その他の企業も Hadoop に関連するニュースをアナウンスしている:

Cloudera’s Hadoop Version 3

Hadoop-based data management software and services company Cloudera announced the third version of Cloudera’s Distribution for Hadoop (CDH).  As a complete Hadoop-based data management platform, CDH version 3 contains core Apache Hadoop and eight additional open source projects in an easy to install and use package.

Hadoop ベースのデータ・マネージメント・ソフトウェアとサービスを提供する Cloudera は、CDH(Cloudera’s Distribution for Hadoop)の Ver.3 を発表した。Hadoop ベースの 完全な データ・マネージメント・プラットフォームとして、CDH Ver.3 は Apache Hadoop をコアとして取り込み、容易なインストールと利用を可能にするための、8種類のオープンソース・プロジェクトを追加している。

“Cloudera has gained deep experience in the market working with customers to deploy Hadoop in their organizations and has learned how to use Hadoop effectively,” said Doug Cutting, creator of Apache Hadoop and Architect at Cloudera. “CDH v3 is our response. It includes the most appropriate enterprise-grade add-on projects that enhance the core Apache Hadoop framework and make it easier for any organization to use.”

「Cloudera は、Hadoop をディプロイする顧客との共同作業において、このマーケットにおけるエクスペリエンスを深め、また、効果的な Hadoop の用法を学んできた。CDH v3 は、Cloudera からの回答である。 そこには、最適なエンタープライズ・クラスののアドオン・プロジェクトが取り込まれ、コアである Apache Hadoop の フレームワークを拡張し、あらゆる組織において容易な利用を可能にしていく」と、Apache Hadoop の Creator であり Cloudera の Architect である Doug Cutting は発言している。

Two additional open source projects have been added as a part of CDH.  Flume, Cloudera’s data loading infrastructure and Hadoop User Environment (HUE) code will be released under the Apache V2 open source license.

2つのオープンソース・プロジェクトが、CDH の一部として追加されている。 Cloudera のデータ・ローディング・インフラストラクチャとしての Flume と、Hadoop User Environment(HUE)のコードが、Apache V2 オープンソース・ライセンスのもとにリリースされるだろう。

Cloudera also announced Cloudera Enterprise, the first product specifically designed to help organizations fully leverage the Apache Hadoop platform in a production environment, enabling them to cost-effectively store, manage and analyze all of their data.

さらに Cloudera は、プロダクション環境で Apache Hadoop プラットフォームを活用するために設計された、最初のプロダクトである Cloudera Enterprise を発表した。それにより、すべてのデータに関するストア/マネージ/アナライズの、費用対効果が改善される。

“Businesses across all sectors are looking for ways to leverage the vast quantities of data they are accumulating, and Apache Hadoop is an efficient solution for processing data at scale,” said Melanie Posey, research director at IDC Research. “Hadoop has matured and is now becoming an enterprise-ready cloud computing technology with the addition of Kerberos authentication.”

「すべての分野における企業が、蓄積された膨大なデータを活用するための方式を求めている。 そして、このスケールにおけるデータ処理にとって、Apache Hadoop は効果的なソリューションになる。 Hadoop は成熟してきており、また、Kerberos 認証を付加しており、エンタープライズが利用できるクラウド・コンピューティング・テクノロジーになってきた」と、IDC Research の research director である Melanie Posey は発言している。

MicroStrategy announced Hadoop Support

Business Intelligence software company MicroStrategy (MSTR) announced that MicroStrategy 9 offers seamless access to Hadoop as a data source.  The MicroStrategy 9 integration with Hadoop uses Hive, a data warehouse infrastructure that is a subproject of Hadoop. MicroStrategy’s extended data access architecture allows application developers to submit queries using HiveQL, the Hive query language.

Business Intelligence software の企業である MicroStrategy (MSTR)は、そのMicroStrategy 9 において、データソースとしての Hadoop に対する、シームレスなアクセスを提供するとアナウンスした。 MicroStrategy 9 と Hadoop の統合では、Hadoop のサブ・プロジェクトであるデータウエアハウス・インフラストラクチャとして Hive が用いられる。MicroStrategy の拡張されたデータ・アクセス・アーキテクチャンにより、アプリケーション・デベロッパーは HiveQL(Hive query language)を用いたクエリーをサブミットできるようになる。

“The combination of MicroStrategy’s enterprise-class BI software with Hadoop’s data scalability enables a broader range of users, such as business analysts and non-technical users, to gain valuable insights from data stored in Hadoop,” said Amir Awadallah, co-founder and CTO at Cloudera.

「MicroStrategy のエンタープライズ・クラス BI ソフトウェアと、Hadoop のデータ・スケーラビリティを結合することで、たとえばビジネス・アナリストやノン・テクニカルなどの広範囲におよぶユーザーが、Hadoop にストアされたデータから、貴重な洞察を得ることになる」と、Cloudera の創設メンバーで CTO である、Amir Awadallah は発言している。

ーーーーー

<関連>
Hadoop Summit : 6月に Santa Clara で開催!
Hadoop で スマートグリッドを、図とデータで見る!
Microsoft readying Hadoop for Windows Azure の対訳
HDFS のスケーラビリティを考察する _1
Gridmix3 : Apache Hadoop の実運用負荷をエミュレート _1
Hadoop による Web 広告システムの構築と運用 :ヨーロッパでの事例_1
Apache ZooKeeper による分散並列キューの構築 _1
Observers と ZooKeeper _1

Comments Off on 【速報】 Hadoop Summit – Jun 29 2010

%d bloggers like this: