Agile Cat — in the cloud

Container の調査: エンタープライズ DevOps を実現するためにも、コンテナは不可欠なテクノロジーとなる!

Posted in Container, DevOps, Enterprise Social, On Monday by on February 1, 2016
Containers: Enabling Build-Once-Run-Anywhere Applications
By Dick Weisinger – January 28th, 2016
_ formtek
Containers are stand-alone lightweight packages that provide a isolated environment for an application and its configuration complete with all needed dependencies and libraries.  Containers are easily provisioned in real-time and typically use far fewer resources than virtual machines.
Chagall_5Robert Stroud, Forrester analyst, wrote that “Containers are all the rage!… Container adoption is being driven by the promise that containers deliver the ability to build once and run anywhere, allowing increased server efficiency and scalability for technology managers.”
Forrester のアナリストである Robert Stroud は、「コンテナは、誰もが熱望するものである。そして、コンテナが約束する Build Once and Run Anywhere の能力により、その採用が促進されている。つまり、テクノロジーの管理者から見ると、サーバーを利用する際の、効率性とスケーラビリティが増大することになるのだ」と記している
The results of a survey by Robin Systems being announced today, found that:
今日 (1/28)、Robin Systems がアナウンスした調査結果の、以下の項目に注目したい:
  • Adoption of containers for running enterprise applications is growing.  More than half of enterprises are using containers in production or are experimenting with containers
  • Containers are being used for both stateless and stateful applications
  • Nearly three-quarters of respondents say that containers are the preferred method for running databases, and 40 percent say that it makes sense to use containers to run Big Data applications like Hadoop and Spark.
  • エンタープライズ・アプリケーションを実行する際の、コンテナの採用が増えきてきている。半分以上のエンタープライズが、実運用もしくは実験の環境で、コンテナを利用しているという。
  • コンテナは、ステートレスおよびステートフルのアプリケーションで利用できる。
  • 回答者の約 3/4 が、データベースを実行する際に、コンテナは好ましい手法になると述べている。また、回答者の 40% が、Hadoop や Spark といった、Big Data アプリケーションを運用する際に、コンテナの利用は理にかなっていると述べている。
Partha Seetala, chief technology officer at Robin, said that “containers are a natural platform for running performance sensitive applications such as databases, as they enable consolidation without compromising performance or predictability.  This aligns perfectly with our vision of providing enterprises a high-performance and elastic containerized platform for stateful and mission-critical applications.”
Robin の CTO である Partha Seetala は、「たとえばデータベースなどの、パフォーマンスを考慮しなければならないアプリケーションを実行する際に、コンテナは自然なプラットフォームとなる。予測の能力と性能を犠牲にすることなく、コンテナによる統合が実現されていくにつれて、このような見方が広まってきた。つまり、ステートフルでミッション・クリティカルなアプリケーションのための、高性能で弾力性のあるプラットフォームを、エンタープライズに提供することが不可欠になるという、私たちのビジョンと完全に一致しているのだ」と述べている。
On Monday別件で、5 cloud computing predictions for 2016 という長いドキュメントを訳したのですが、その中でも、エンタープライズにおけるコンテナの利用が、今年のトレンドになると解説されていました。つまり、今年はエンタープライズも、クラウド・ネイティ・ブアプリケーションに突入すると予測しているのですが、そうなるとアップデートのサイクルが、年に数回というレベルから、日に数回というレベルに加速していくと述べているのです。この Dick Weisinger さんのポストでも、コンテナの効率が指摘されていますが、大きく変化していく開発/運用の形態を前提に考えると、その重要性がさらに強く感じられます。 つまり、DevOps にとって、コンテナが不可欠なのです。 _AC Stamp
Business Disruption の調査: すべての企業を破壊していく5つの圧力とは?
Enterprise の調査: クラウド効果により、エンタープライズ・アプリが中小企業に舞い降りてきた
AI の調査: Facebook の 人工知能 について、Mark Zuckerberg は 何を考える?
IoT の調査: この時代に生まれたなら、マック・バーガーの累計表示も頓挫しなかったはずだ!
Social Media の調査: ヘルスケア・ビジネスと、ユーザー接触と、コンプライアンス

Comments Off on Container の調査: エンタープライズ DevOps を実現するためにも、コンテナは不可欠なテクノロジーとなる!

Enterprise の調査: クラウド効果により、エンタープライズ・アプリが中小企業に舞い降りてきた

Posted in .Selected, Enterprise Social, On Monday, Research by on January 18, 2016
Enterprise Software: Enterprise Software no longer Just for Enterprises
Dick Weisinger – January 14th, 2016
_ formtek
It used to be that enterprises were the main users of enterprise software — that seems logical enough.  But no longer.  A recent survey of businesses by Tech Pro Research found that businesses too small to be classified as enterprises are adopting “enterprise” software.  Enterprise software could soon just become “business software”.
これまで、エンタープライズ・ソフトウェアの主たるユーザーは、エンタープライズとされ、また、言葉の意味としても、それは明らかに正しいものであった。しかし、そのロジックが、すでに崩れているようなのだ。 Tech Pro Research の最新調査によると、エンタープライズとして分類するには、あまりにも小規模な企業が、エンタープライズ・ソフトウェアを採用しているという実態が見えてきた。エンタープライズ・ソフトウェアが、単なるビジネス・ソフトウェアへと、あっという間に変容していく可能性すらあるのだ。
vangogh_2The report found that 98 percent businesses with more 1000 employees use enterprise software.  Among all companies surveyed, more than two-thirds said that they are using at least one enterprise software application.  Enterprise apps include software for asset management, business intelligence, CRM, document management, data processing, databases, financial applications, identity management, retail software, process management and resource planning.
このレポートは、1000人以上の従業員を持つ企業のうち、98% の企業がエンタープライズ・ソフトウェアのユーザーであることを明らかにしている。調査の対象となった、すべての企業のうちの 2/3 以上が、少なくとも1種類以上のエンタープライズ・ソフトウェア・アプリケーションを使用していると、答えているのだ。ここで言うエンタープライズ・アプリケーションに含まれるのは、アセット管理/ビジネス・インテリジェンス/CRM/ドキュメント管理/データ処理/データベース/財務アプリケーション/ID 管理/小売ソフトウェア/プロセス管理/リソース計画などである。
A major factor driving the widespread use of enterprise apps has been the rise of the cloud.   Cloud-based apps often come with user-based pricing, making adoption affordable to smaller companies.  In that way, the cloud has become an equalizer between what software enterprise-size and small-size businesses can afford.
Frank Gens is senior vice president and chief analyst at IDC, said that “what’s happening now with cloud technologies is that we’re seeing a democratization of the ability to create competitive advantage with IT. We’re seeing companies of all sizes—not just the big guys—being able to digitize every bit of value they create and then bring that value to the marketplace.”
IDC の Senior VP and Chief Analyst である Frank Gens は、「クラウド・テクノロジーが広まることで、いま、何が起こっているというなら、IT が作り出す競争優位の民主化であり、それを、私たちは目の当たりにしている。大手企業だけではなく、すべてのサイズの企業を、私たちは見ている。そして、それらすべての企業は、自ら生み出したすべての数値をデジタル化し、その価値をマーケットに展開できている」と述べている
Chris Neumann, CEO of  data analysis vendor DataHero, said to “expect vendors to continue driving this trend, as it allows them to target functional areas within companies, regardless of their size.”
データ分析ベンダーである DataHero の CEO Chris Neumann は、「実質的なターゲット・エリアが、企業のサイズに関係なく広がるにつれて、ベンダーたちは、このトレンドが継続していくことを期待している」と述べている
On Monday訳していて、とても嬉しくなるポストです! これまで、ソフトウェアが高額なだけではなく、それらを走らせるためのハードウェアの購入も、含めて考えなければならなかった、いわゆるエンタープライズ・アプリが、クラウド上で安価に利用できるようになってきたのです。もっと上手い翻訳や日本語があるとは思うのですが、「競争優位の民主化」というのは、なかなかイイ感じです。 企業の経済規模に関係なく、テクノロジーが平等に降り注ぐ時代になるなら、アイデアと情熱に優る中小企業が、大手に一泡吹かすという場面も増えてくるでしょうし、下からも突きあげられる大手も、自身のビジネスをさらに洗練させていくことになるでしょう。クラウドにより、世界が変わったと、実感させてくれるトピックだと思います。 _AC Stamp
AI の調査: Facebook の 人工知能 について、Mark Zuckerberg は 何を考える?
IoT の調査: この時代に生まれたなら、マック・バーガーの累計表示も頓挫しなかったはずだ!
Social Media の調査: ヘルスケア・ビジネスと、ユーザー接触と、コンプライアンス
SaaS の調査: 中小プロバイダーの 40% が AWS を使い、このマーケットを急成長させている
Cloud の調査:ハイブリッドをパスして、パブリック・オンリーで攻めるエンタープライズとは?

Comments Off on Enterprise の調査: クラウド効果により、エンタープライズ・アプリが中小企業に舞い降りてきた

Big Data を 美味しくいただくための、クッキング・ブックを作ろう

Posted in Big Data, Hadoop, MapReduce, NoSQL by Agile Cat on March 9, 2011

The Big Data Cookbook
Posted in
Main on March 8th, 2011
by Pingdom 

_ pingdom

Big data has become one the new buzzwords on the Internet. It refers to the massive amounts of data that many modern web services deal with. This post will list some of the more useful software available to web developers for working with big data.

Big data は、インターネット上の新しいバズワードになっている。 この用語は、数多くのモダンな Web サービスが取り扱う、大規模なデータのことを指す。 そして、このポストでは、ビッグ・データの分野で働くWeb デベロッパーにとって有益な、いくつかのソフトウェアをリストアップしていく。


You don’t have to operate at the scale of Google or Facebook to enter into big data territory. Web analytics services, monitoring services (like our very own Pingdom), search engines, etc., all process and store massive amounts of data.

ただし、この領域に参加するからといって、Google や Facebook のスケールを考える必要はない。 そこまでいかなくても、Web 分析サービスおよび、モニタリング・サービス(Pingdom など)、サーチ・エンジンなどの全てが、大量データの処理と保存に対応している。

To quote Wikipedia (Wikipedia からの引用):

Big data are datasets that grow so large that they become awkward to work with using on-hand database management tools. […] Though a moving target, current limits are on the order of terabytes, exabytes and zettabytes of data.

Big data ビッグ・データは、成長が著しいデータセットであるため、手製のデータベース・マネージメント・ツールを用いた作業は厄介になってしまう。 [中略]その上限が定まっているわけではないが、現時点におけるデータの限度は、テラバイト/エクサバイト/ゼッタバイトの並びの上にある(つまり、ペタということ?)。

At this scale, many traditional approaches for handling and processing data are either impractical or break down completely.


That’s why the web development community has been turning to alternative ways to handle all this data, developing new software that scales to these extremes. You may have heard about NoSQL databases, but that’s just a small piece of the puzzle.

そこに、Web 開発のコミュニティが、それら全てのデータを取り扱うための、代替案を探し求めてきた理由がある。つまり、それらを大幅にスケールするソフトウェアの開発である。 NoSQL データベースの情報を持っていると思うが、それはパズルにおける小さい小片である。

So what are the various ingredients available for handling big data? We’ve divided them into four categories:

そして、このビッグデータを取り扱うために利用できる、各種の構成要素とは、何なのだろう?私たちは、それを を4つのカテゴリに分けてみた:

  • Storage and file systems
  • Databases
  • Querying and data analysis
  • Streaming and event processing

We figured this could be a good starting point, and we’re hoping that you’ll help us add to the list in this post by making your own suggestions in the comments. In other words, read the list, and help us add more useful ingredients!


ーーーーー とりあえず、訳はココまで ーーーーー

Here we go…

Storage and file systems

When you need to store massive amounts of data, you’ll want a storage solution designed to scale out on multiple servers.

  • HDFS (Hadoop Distributed File System) – Part of the open source Hadoop framework, HDFS is a distributed, scalable file system inspired by the Google File System. It runs on top of the file system of the underlying OSs and is designed to scale to petabytes of storage. The Hadoop project (you’ll see several of the other components further down) has several high-profile contributors, the main one being Yahoo. Hadoop is used by Yahoo, AOL, eBay, Facebook, IBM, Meebo, Twitter and a large number of other companies and services.
  • CloudStore (KFS) – An open source implementation of the Google File System from Kosmix. It can be used together with Hadoop and Hypertable. A well-known CloudStore user and contributor is Quantcast.
  • GlusterFS – A free, scalable, distributed file system developed by Gluster

While classics like MySQL are still widely used, there are other options out there that have been designed with “web scalability” in mind, many of them so-called NoSQL databases (speaking of buzzwords…).

  • HBase – A distributed, fault-tolerant database modeled after Google’s BigTable. It’s part of the Apache Hadoop project, and runs on top of HDFS.
  • Hypertable – An open source database inspired by Google’s BigTable. A notable Hypertable user is Baidu.
  • Cassandra – A distributed key-value database originally developed by Facebook, released as open source, and now run under the Apache umbrella. Cassandra is used by Facebook, Digg, Reddit, Twitter and Rackspace, to name a few.
  • MongoDB – An open source, scalable, high-performance, document-oriented database. It’s used by, among others, Foursquare,, Shutterfly, Etsy and Chartbeat.
  • Membase – An open source, distributed, key-value database optimized for interactive web applications, developed by several team members from the famous Memcached project. Users include Zynga and Heroku. A month ago, the Membase project merged with CouchDB, creating a new project called Couchbase.
Querying and data analysis

All that data is of no use without the ability to access, process and analyze it.

  • Hadoop MapReduce – Open source version of Google’s MapReduce framework for distributed processing of large datasets.
  • Hive – An open source data warehouse infrastructure with tools for querying and analyzing large datasets in Hadoop. Supports an SQL-like query language called Hive QL.
  • Pig – A high-level language used for processing data with Hadoop. Funny aside: the language is sometimes referred to as Pig Latin.
Streaming and event processing

When you have massive amounts of data flowing into your system, you will often want to process and react on this data in real time.

  • S4 – A general-purpose, distributed, scalable platform for processing continuous streams of data. Developed by Yahoo and released as open source in 2010. It’s apparently not quite ready for prime time yet, although Yahoo is using a version of it internally.
  • Esper – An event-processing platform from EsperTech for handling continuous streams of incoming data.
  • StreamInsight – Microsoft’s entry in the EST/CEP field, included with SQL Server.

A small aside when speaking of streaming and event processing, you’ll hear two industry terms repeated over and over again: EST, Event Stream Processing, and CEP, Complex Event Processing. Just in case you were wondering what that actually stood for.

The Google legacy

It’s interesting how influential Google has been in the big data field in spite of having released very little actual software to the public.

Much of the open source big data movement is centered around Apache’s Hadoop project, which essentially has tried to replicate Google’s internal software based on the various whitepapers Google has made available. (More specifically, Hadoop has replicated GFS, BigTable and Mapreduce.)

Here is a list of some of Google’s proprietary software relating to big data:

  • GFS (Google File System) – Google’s scalable, fault-tolerant, distributed file system. Designed from scratch for use with data-intensive applications.
  • BigTable – A distributed, high-performance database system built on top of GFS.
  • Mapreduce – A framework for distributed processing of very large data sets.
  • Pregel – A framework for analyzing large-scale graphs with billions of nodes.
  • Dremel – Meant as a faster complement to Mapreduce, Dremel is a scalable, interactive, ad-hoc query system for large data sets. According to Google, it’s capable of running aggregation queries over trillion-row tables in seconds and scales to thousands of CPUs.

If we may be so bold as to bring out our crystal ball, there will most likely be several open source implementations of Pregel and Dremel available soon. For example, there’s already an OpenDremel project in the works.

Help us add more ingredients!

What excellent big data software did we leave out? Let’s make this post a true resource, so please give us a hand in the comments.


なかなか面白い試みで、さすがは Pingdom です。 それと、Google legacy というカテゴリがユニークですが、さまざまな基盤を提供してくれて有難うと、言いたくなる実績ですね! では コメント欄から、ご意見など、ぜひ ど~ぞ! ーーー __AC Stamp 2


Mollom アーキテクチャは、毎秒 100回のリクエストを発行し、3億 7300万のスパムを退治する
プロジェクト Piccolo は、スピードで Hadoop を凌駕する
Real World NoSQL シリーズ – Netflix における Amazon SimpleDB
Real World NoSQL シリーズ – Openwave における Cassandra
Real World NoSQL シリーズ – 4PB を処理する Trend Micro の HBase
Google の発想 – リクエストとレスポンスを Tree で制御する
TOPSY の Twitter 分析 API は、5 億クエリー/月 を処理する!

Comments Off on Big Data を 美味しくいただくための、クッキング・ブックを作ろう

%d bloggers like this: