Agile Cat — in the cloud

Machine Learning の調査: ビッグデータと機械学習と人工知能の、ちがいを簡単に整理する

Posted in AI ML, Big Data, On Monday by agilecat.cloud on March 7, 2016
Machine Learning: A Stepping Stone in the Big Picture of Artificial Intelligence
Dick Weisinger – March 4th, 2016
http://formtek.com/blog/machine-learning-a-stepping-stone-in-the-big-picture-of-artificial-intelligence/
_ formtek
Big Data focuses on being able to extract information and insight from massive amounts of information.  The results of Big Data are then usually paired with visualization and analytics reporting to enable understanding of the information.  A step beyond that is to develop machine learning algorithms that automate prediction of behavior based on information and that are able to make decisions.
 
ビッグ・データは、膨大なデータから必要な情報を抽出し、そこから洞察へと展開することにフォーカスするものである。ビッグ・データから得られた結果は、可視化と分析のレポートを伴い、情報としての理解を容易にするのが一般である。それを超えたレベルにおいて、機械学習アルゴリズムを開発することで、対象となる情報をベースにした最適な振舞いの、マシンによる予測が可能となり、また、意思決定が実現されていく。
 
Sisley_3Machine learning is closely related to work done in the field of artificial intelligence.  While the goal of artificial intelligence is to get machines to ‘think’, a more realistic goal of machine learning is to get machines to be able to learn and to predict outcomes based on previously collected information.
 
機械学習について説明するなら、人工知能の分野で実施される作業に、密接に関係するものとなる。人工知能の目標が、マシンによる思考であるのに対して、機械学習の目標は、より現実的なところにある。つまり、以前に収集した情報をベースにして、結果の予測を可能にするための、マシンよる学習を実現することである。
 
Michael Schmidt, CEO at Nutonian, said that “machine learning is a small part of AI.  We actually call it machine intelligence. We don’t call it AI because that is such a broad term.”
 
Nutonian の CEO である Michael Schmidt は、「機械学習は、人工知能における、小さなパートである。現実に、私たちは、それを機械知能 (machine intelligence) と呼んでいる。しかし、それを人工知能と呼ばないのは、より広義な意味をカバーするものでは無いからだ」と述べている
 
Joshua Saxe, senior principal research engineer at Invincea Labs, said that “there are proven applications of machine learning that will continue to grow as the underlying machine learning algorithms mature… As academically oriented work improves the accuracy and efficiency of computer vision, natural language processing and network analysis algorithms (which these application areas depend on) these applications will benefit and improve.”
 
Invincea Labs の Senior Principal Research Engineer である Joshua Saxe は、「すでに、機械学習の用途は実証されており、その根本となる機械学習のアルゴリズムは、成熟へと向けて成長している。学術指向の試みが、コンピュータ・ビジョンにおける正確性と効率性を改善するにつれて、自然言語処理およびネットワーク解析のアルゴリズムが向上している。それらのアプリケーションは、将来においてメリットをもたらし、また、改善されていくだろうが、依然として応用分野は限定されている」と発言している
 
ーーーーー
On Mondayビッグ・データと機械学習の違いは、コンピュータが目的を知っているかいないかの、違いなのでしょうかね? そして、機械学習は、目的/目標を知っているからこそ、新たに収集したデータに、これまでとは異なる何かを見つけたときに、それに応じた振る舞いを試みると、言っているように聞こえます。 Agile Cat が毎日のように利用する、Google 翻訳も機械学習なのだと思います。 だから、フィードバック送信というボタンがあり、エディタ上で人間が訳した結果を、送ってくれと言っているのでしょう。 そして、そのフィードバックの内容から、新しい何かを見つけだし、アルゴリズムに修正を加えていくのだと推測します。 つまり、正解は何かという目標を、データ・ドリブンで手さぐりしている状況なのでしょう。 いまは、Evenote にコピーしてから、そこで翻訳という手順なので、上手くフィードバックが送れないのですが、少し手順を考え直そうかと思っています。 この記事を訳して、ガンバレ機械学習と言いたい気分になってきました:)  そして、人工知能ですが、機械学習の延長線上にも登場するでしょうし、また、まったく異なる形もあり得るのでしょう。 しかし、まだまだ時間が必要なのだとも思えてきます。_AC Stamp
ーーーーー
<関連>
IT Spending の調査:グローバル IT 総支出が 6% も低下! 2014年のレベルに戻るのは 2019年!
Shadow IT の調査: 膨大な数の未承認クラウド・サービスが、大手企業で利用されている
Software-Defined X の調査:ソフトウェアが世界を飲み込んでいく 2016年
Cloud の調査:勝利宣言の 2015年を振り返り、大進撃の 2016年を予測する
Container の調査: エンタープライズ DevOps のためにも、コンテナが不可欠だ!
 

Comments Off on Machine Learning の調査: ビッグデータと機械学習と人工知能の、ちがいを簡単に整理する

Apple と Alibaba が連携し、中国版 Apple Maps をビッグ・データでドライブする!

Posted in .Selected, Alibaba, Apple, Asia, Big Data, Mobile by agilecat.cloud on January 28, 2016
Apple Maps service provider in China stores core businesses in Alibaba-owned cloud
Liu Jiayi – January 26, 2016
http://www.zdnet.com/article/apple-maps-service-provider-in-china-stores-core-businesses-in-alibaba-owned-cloud/
 
_ zdnet normal
 
AutoNavi Software Co., Ltd, a Beijing-based mapping company which provides data to Apple Maps in mainland China, is reported to have put its core business system in the cloud owned by technology giant Alibaba.
 
China 版の Apple Maps を提供している、Beijing ベースのマップ作成会社である AutoNavi Software Co., Ltd だが、その事業のコアとなるシステムを、テック・ジャイアント Alibaba のクラウドに展開するようだ。
 
HongKong Apple StoreWikimedia
 
According to industry website Lieyunwang.com, AutoNavi, a company worth dozens of billions of yuan with more than 400 million users, will use Alibaba’s cloud computing technology and increase its service usability fivefold.
 
この業界の Web サイトである Lieyunwang.com のレポートによると、4億人のユーザーから 二桁の Billion Yuan を売り上げている AutoNavi が、Alibaba のクラウド・コンピューティング・テクノロジーを使用することで、そのサービスの有用性を何倍にも向上させるという。
 
Meanwhile, by utilising cloud computing and big data technology, AutoNavi is now digging real-time data at various dimensions and providing Elastic Compute Service to be able to host a huge number of users and handle exploding visits within a short period of time.
 
クラウド・コンピューティングと Big Data テクノロジーを活用する AutoNavi は、現時点においても、多次元のリアルタイム・データをマイニングしている。そして、この Elastic Compute Service を提供することで、膨大な数のユーザーをホストし、また、処理能力の向上を図るという。
 
Established in 2002, American-listed AutoNavi has been issuing analytical reports on major Chinese cities during the past two years. It also publishes monthly, weekly, and daily traffic estimates for 45 cities across the country while providing real-time traffic information for more than 364 cities via its mobile application AMAP.
 
2002年に設立され、US マーケットで上場した AutoNavi は、これまでの 2年間で、China の主要都市に関する分析レポートを提供してきた。そして、全国 45都市の交通量を Monthly/Weekly/Daily で予測すると同時に、同社のモバイル・アプリ AMAP を介して、364 以上の都市に関する交通情報をリアルタイムで提供している。
 
The report also said that, according to third party data, monthly active users and daily active users of AMAP increased by 130 percent and 174.5 percent respectively in 2015.
 
今回のレポートは、サードパーティのデータを引用することで、2015年における AMAP のユーザー数が、MAU (monthly active users) で 130% の、DAU (daily active users) で 174.5% の成長を見せていると、伝えている。
 
Apple chose AutoNavi as the mapping service provider for iPhones and iPads sold in the Chinese markets, as 36kr.com reported in July 2012. Less than two years later, ecommerce giant Alibaba purchased AutoNavi for $1.5 billion, according to Chinese-language website 163.com.
 
2012年7月にリリースされた 36kr.com のレポートによると、China マーケットで販売される iPhone と iPad のマッピング・サービス・プロバイダーとして、Apple は AutoNavi を選択したとされる。そして、China Web サイトである 163.com によると、それから2年も経たないうちに、コマース・ジャイアントである Alibaba が、$1.5 billion で AutoNavi を買収したようだ。
 
ーーーーー
Alibaba 2いまや、Apple にとっての中国は、最重要マーケットになっているはずです。そして、凄まじいスケールを誇る Alibaba/Aliyun のクラウドを用いて、中国版 Apple Maps を強化していくという、とても興味深いトピックです。 中国の自動車保有数ですが、グローバル・ノートのデータによると、2013年の時点で米国に次ぐ二位にあり、その数は 1.26億台とされています。 2014年と2015年で、どれだけ成長しているのか分かりませんが、おそらく、かなりのペースで増やしているはずだと推測できます。今後の展開が、とても楽しみですね! _AC Stamp
ーーーーー
<関連>
iPhone の3台に1台は中国で売れている? iPhone 6S でも中国は伸び続けるのか?
iPhone 6S の 浸透率でアジアが Top-3 を独占: それを示す1枚のチャート!
Apple が Foxconn と提携して、中国本土にデータセンターを構築か?
中国のオンライン・リテールは 2020年までに $1.6 trillion にいたる
Alibaba が夢見るもの:私たちの E コマースで 中国の 13億人をつなげたい!
 

Comments Off on Apple と Alibaba が連携し、中国版 Apple Maps をビッグ・データでドライブする!

Data Warehousing の調査: あの Bob Muglia が率いる Snowflake が、Azure と AWS にガチンコ勝負を挑む

Posted in Amazon, Big Data, Data Warehousing, IoT, Microsoft, On Monday by agilecat.cloud on July 6, 2015
Cloud-based Data Warehousing: Snowflake, Microsoft Azure and Amazon Redshift
Dick Weisinger – June 25th, 2015
http://formtek.com/blog/cloud-based-data-warehouse-snowflake-microsoft-azure-and-amazon-redshift/
_ formtek
Data warehousing traditionally required a company to extract and download huge volumes of data from various business software systems into a central repository for analysis.  The process to prep the data was slow which meant that the analysis was always run against data that was already partially stale.
 
データ·ウェアハウスの概念は、多様なビジネス·ソフトウェア·システムから、膨大なデータをダウンロードした後に、分析のためのセンター・リポジトリに展開するものとなる。 そして、それを実現する企業が、常に待ち望まれてきた領域である。つまり、データを準備するプロセスに時間がかかり、そこでの分析といっても、すでに意味を失ったデータまでが含まれてしまうという状況であった。
 
Vermeer_3But recently we’re seeing a new generation of data warehousing, one based on cloud computing.  This week saw the announcement of general availability of Snowflake.  Snowflake is a cloud-based data warehouse running on Amazon AWS.  The company is led by Microsoft veteran Bob Muglia.  Snowflake received $26 million in funding in October 2014 and has received another round of $45 million this past week.
 
しかし、最近は、クラウド·ベースのデータ・ウェアハウスが、新しい世代の到来を告げているようだ。今週は、Snowflake が、一般への提供が始まったと、アナウンスメントを発している。Snowflake とは、Amazon AWS 上で走る、クラウド・ベースのデータ・ウェアハウスのことである。そして、同社は、Microsoft で数々の実績を築きあげてきた、あの Bob Muglia により率いられている。なお、Snowflake は 2014年10月に $26 million のファンドを獲得し、さらに先週には、別のラウンドで $45 million の資金を得ている。
 
The Snowflake data warehouse is in direct competition with Microsoft’s Azure SQL Data Warehouse and Amazon’s Redshift cloud data warehouse.
 
もちろん、Snowfake のデータ・ウェアハウスは、Microsoft の Azure SQL Data Warehouse と Amazon の Redshift クラウド・データ・ウェアハウスに対して、ダイレクトなコンペを挑むものとなる。
 
What’s unique about Snowflake among the crowd of other recent data-focused startups is that it isn’t based on Hadoop and it was built from scratch with the cloud in mind. Features of Snowflake include:
 
このところ、データにフォーカスしたスタートアップたちが、かなりの勢いで登場してきているが、それらの中で Snowflake がユニークなのは、Hadoop をベースにしていない点である。つまり、クラウドを念頭に置いて、ゼロ・スタートで構築されているのだ。Snowflake の特徴とされる点は:
 
  • Native support for structured, machine-generated and semi-structured data
  • Scalability of data, workloads and users for multi-dimensional elasticity
  • Self tuning of data distribution and storage, and query execution
  • Security. Uses authentication, granular access control and data encryption
 
  • 構造化データ/機械生成データ/半構造化データを、ネイティブでサポート
  • データ/ワークロード/ユーザーをスケーラブルにすることで、多次元弾性を確保
  • データ配信/ストレージ/クエリー実行における、セルフ・チューニング
  • セキュリティ:ユーザー認証/緻密なアクセス・コントロール/データの暗号化
 
ーーーーー
On Monday誰が、何を、必要としているのかを、的確に理解している人が、自信作を世に問うというストーリーですね。 お久しぶりです、Bob Muglia さん。こうして、その後の活躍を知ることができて、とても嬉しい気分です。 そして、機械生成データをネイティブでサポートというのは、まさに IoT 時代のデータ・ウェアハウスという感じで、とてもイケていますよね。 Snowflake の活躍を期待しています! _AC Stamp
ーーーーー
<関連>
Bob Muglia の辞任は、Windows Azure にとって悲運の呪文に?
Bob Muglia 氏の Microsoft 離脱に関する報道
PDC と Silverlight について – Bob Muglia
Amazon の Redshift がスタート! 警戒する HP、IBM、Teradata、Oracle など・・・
Google の DataFlow は、MapReduce の正当な継承者になり得るのか?
 

Comments Off on Data Warehousing の調査: あの Bob Muglia が率いる Snowflake が、Azure と AWS にガチンコ勝負を挑む

Big Data と エボラ:医師たちは支援を必要としている

Posted in .Chronicle, .Selected, Big Data, Strategy by Agile Cat on October 28, 2014

Ebola And Big Data: A Call For Help
http://wp.me/pwo1E-7YT
The Economist – Oct. 24, 2014
http://www.businessinsider.com/ebola-and-big-data-a-call-for-help-2014-10

_ Business Insider

Mobile-phone records are an invaluable tool to combat Ebola. They should be made available to researchers.

モバイル・フォンの通話記録は、エボラに対抗するための貴重なツールになり得る。 研究者たちが、それらを利用できるようにする必要がある。

ーーーーー

With at least 4,500 people dead, public-health authorities in west Africa and worldwide are struggling to contain Ebola. Borders have been closed, air passengers screened, schools suspended. But a promising tool for epidemiologists lies unused: mobile-phone data.

少なくとも 4500人が命を失い、西アフリカと世界における公衆衛生の権威は、エボラの封じ込めに苦慮している。国境は閉じられ、航空機の乗客は検査を受け、学校も休校している。しかし、疫学者のための有望なツールが、活用されないままになっている。 それは、モバイル・フォンのデータである。

Reuters/Andrea Comas

Juan Manuel Parra, a doctor who treated Spanish nurse Teresa Romero Ramos who contracted Ebola, talks on a mobile phone by the window of the isolation ward

When people make mobile-phone calls, the network generates a call data record (CDR) containing such information as the phone numbers of the caller and receiver, the time of the call and the tower that handled it–which gives a rough indication of the device’s location. This information provides researchers with an insight into mobility patterns. Indeed phone companies use these data to decide where to build base stations and thus improve their networks, and city planners use them to identify places to extend public transport.

人々がモバイル・フォンで電話をかけるとき、対象となるネットワークは、CDR(Call Data Record)を保存している。そして、この記録には、発信者と受信者の電話番号および、通話に費やした時間、それを処理した基地局などの情報が含まれているため、対象デバイスが使用された大まかな位置が分かる。つまり、この情報が研究者に提供されるなら、感染の可能性のある人々の、移動パターンを洞察することが可能になる。実際のところ、テレコムたちは、それらのデータを活用して、基地局の構築や、ネットワークの改善を行い、また、都市計画に携わる人々は、公共交通機関を拡張していく場所を特定している。

But perhaps the most exciting use of CDRs is in the field of epidemiology. Until recently the standard way to model the spread of a disease relied on extrapolating trends from census data and surveys. CDRs, by contrast, are empirical, immediate and updated in real time. You do not have to guess where people will flee to or move.

しかし、CDR の最も際立った用途は、流行疫学の分野にあるだろう。これまでの標準的な手法というと、国勢調査などのデータから推定される傾向に依存し、病気の広がりをモデル化するというものだった。それとは対照的に、CDR は即時的な実証データであり、また、リアルタイムに更新されていく。つまり、避難すべき場所や、移動すべき場所を、推測する必要がなくなる。

Researchers have used them to map malaria outbreaks in Kenya and Namibia and to monitor the public response to government health warnings during Mexico’s swine-flu epidemic in 2009. Models of population movements during a cholera outbreak in Haiti following the earthquake in 2010 used CDRs and provided the best estimates of where aid was most needed.

研究者たちは、Kenya と Namibia における、マラリアの流行範囲をマップするために、それらのデータを使用している。また、2009年の Mexico で、豚インフルエンザが流行したときにも、政府の公衆衛生に関する応答をモニタリングしていた。さらには、2010年の Haiti 地震の後に、コレラが流行した時には、人口移動のモデルを CDR を用いて構築し、最も支援が必要とされる場所について、最善の推測を提供していた。

Reuters/Susan Vera

Unidentified patients talk on the phone as they cover their heads and faces while leaning out of their windowsat an isolation ward on the fifth floor at Madrid’s Carlos III Hospital

Doing the same with Ebola would be hard: in west Africa most people do not own a phone. But CDRs are nevertheless better than simulations based on stale, unreliable statistics. If researchers could track population flows from an area where an outbreak had occurred, they could see where it would be likeliest to break out next–and therefore where they should deploy their limited resources.

エボラに対して、同じことを行うにしても困難が伴うだろう。 なぜなら、西アフリカの大半の人々が、モバイル・フォンを所有していないからだ。しかし、それにもかかわらず、古くさく信頼性の低い統計に基づいたシミュレーションよりも、CDR は優れている。エボラが発生していた地域から、移動していった人々を、研究者たちが追跡できるなら、次に発生しやすい地域を、彼らは見出すだろう。それが実現すれば、限られたリソースを、必要とされる場所へ配備できるはずだ。

Yet despite months of talks, and the efforts of the mobile-phone operators’ trade association and several smaller UN agencies, telecom operators have not let researchers use the data (see "Ebola and big data: Waiting on hold").

数ヶ月におよぶ議論にもかかわらず、また、モバイル通信事業者の業界団体と、国連の出先機関の努力にもかかわらず、テレコム事業者たちは、研究者にデータを使わせていない(参照:"Ebola and big data: Waiting on hold")。

One excuse is privacy, which is certainly a legitimate worry, particularly in countries fresh from civil war, or where tribal tensions exist. But the phone data can be anonymised and aggregated in a way that alleviates these concerns. A bigger problem is institutional inertia. Big data is a new field. The people who grasp the benefits of examining mobile-phone usage tend to be young, and lack the clout to free them for research use.

その根拠として、プライバシーの問題がある。たしかに、内戦が頻発する国や、部族に緊張が生じるか国では、正当な懸念である。しかし、モバイル・データを匿名化することで、こうした懸念を軽減する方法で、データを集めることができる。それよりも大きな問題は、慣性化してしまった制度である。Big Data は、新しい分野だ。しかし、モバイル・データを利用するメリットを理解できる人々は、若い世代に集約される傾向にあり、それらを研究用途のために解放させるだけの、影響力を欠いている。

It’s an old problem

This needs to change. Governments should require mobile operators to give approved researchers access to their CDRs. The data will obviously not by themselves prevent this outbreak from turning into a disaster. That will take an extraordinary combination of new drugs, careful prevention and patient care, among other things. But the health workers dealing with Ebola on the ground need all the help they can get.

まず、変化が必要だ。承認された研究者たちが、CDR にアクセスできるよう、政府はモバイル通信事業者に要求すべきだ。この種のデータが、彼らに対して明らかにされないなら、迫り来る大流行を防げない。様々なことが必要になるが、その中において、新薬の投入と、慎重な予防、患者のケアを、きわめて適切に組み合わせなければならない。現実のフィールドで、エボラに取り組む医療従事者は、彼らが手にすることが可能な、すべての助けを必要としている。

Click here to subscribe to The Economist.

ーーーーー

昨日は、ついに日本でも、エボラの可能性のある人が出てしまいました。 なんでもなければ良いのですが、数多くの人々が国境をまたいで行き交う現代において、こうした疫病が世界中に広まるのは、時間の問題なのかもしれません。 文中にもあるように、命をかけてエボラと戦う医師たちには、ありとあらゆる支援が必要です。 その中でも、Big Data によるトラッキングは、 すべての国々で、早急に検討/準備されるべきことなのだと思えます。

ーーーーー

<関連>

Big data becomes tool in Ebola battle
Rules for returning Ebola health workers need coordination: US official
Two US states to quarantine health workers returning from Ebola zones
Ebola – stop the virus at its source
UK to boost funding for fight against Ebola
Doctor with Ebola in New York hospital after return from Guinea
First Ebola case hits New York: report

px

Comments Off on Big Data と エボラ:医師たちは支援を必要としている

Google Maps は、あなたの行動を記録している:心配な人は Location History をチェックしよう!

Posted in Big Data, Google, Mobile by Agile Cat on August 15, 2014

Use This Trick To See A Map Of Everywhere Google Knows You’ve Been
http://wp.me/pwo1E-7L3

Steven Tweedie – Aug. 12, 2014
http://www.businessinsider.com/see-what-google-knows-about-my-location-2014-8

_ Business Insider

If you have a Gmail account or use any of Google’s apps, there’s a good chance Google has some of your location data stored in its systems.

あなたが Gmail アカウントを持っている場合や、何らかの Google アプリを使用したとき、Google には、あなたのロケーション・データを貯めこむチャンスが生じている。

Business Insider

Google’s location data from my move to New York.

Luckily, there’s an easy way to see exactly what Google knows about where you’ve been, and you can even see a map of past locations you have visited.

ただし、幸いなことに、あなたの行動を、どのように Google が把握しているのかを、しっかりと確認するための、簡単な方法も提供されている。 つまり、過去にさかのぼって、あなた自身の移動履歴をマップの中で参照できるようになっているのだ。

This all depends on whether you have enabled two settings tied to your Google account: location reporting and location history. Of course Google lets you turn these settings off at any time, and it even offers step-by-step instructions.

この履歴であるが、あなたの Google アカウントに関連付けられる、Location Reporting と Location History という2つの設定が、有効になっているかどうかにより、その結果は異なるものになる。 もちろん Google は、これらの設定を、いつでも OFF にできるようにしている。 そして、必要があれば、Step-by-Step の説明も参照できる。

But you’re interested in seeing what has already been recorded. First, sign in to whichever Gmail or Google account you use the most. Then head on over to this little-known Google Maps website, where you’ll be greeted by a screen like this.

とは言え、あなたの行動が、どのように記録されいるのを知りたいだろう。 まず、いつも使っている Gmail もしくは Google のアカウントに Sign In する。 続いて、あまり知られていない、この Google Maps の Web サイトをオープンするのだが、そこへ行くと、[Location History]という表記が目に入ってくる。

Business Insider

You could see some data points pop up immediately, or you might see nothing; it all depends on if and when your phone recorded your location for apps like Google Maps.

いくつかの、あなたのデータ・ポイントが、直ちにポップアップ表示されるだろう。 もし、何も表示されないなら、先ほどの説明を思い出して欲しい。つまり、あなたのデバイスから、たとえば Google Maps のようなアプリに、ロケーションを記録しているのか、いつ記録したのか、という点に依存しているのだ。

The easiest way to thoroughly search your location history is to change the "Show" ticker from 1 Day to 30 Days, which will let you see all of your location data by the month. You can then work backward by the month until you start to see the red data points and lines pop up.

最も簡単に、あなたのロケーション履歴を、しっかりと把握したいなら、カレンダーの下に付いている[Show:表示]の設定を、1日から30日に変更してみて欲しい。 そうすれば、この1ヶ月間の、すべてのロケーション・データが表示される。カレンダーで月を特定して、その間の行動を確認することも可能である。 そこへカレンダーを移行させ、その内側をタップして反転表示させれば、その間のデータ・ポイントが赤く表示される。

Here, for example, you can see all the places I walked around my college campus this May. Because I used Google Maps during my move to New York, I can see my exact trip:

例として、この5月の個人的なデータをお見せする。 私の、キャンパス内の移動履歴である、すべてのロケーション・データが参照できるだろう。この時は、New York への移動があったので、Google Maps を使っていたのだ。 その結果として、自分の足取りを、正確に参照できるようになっている:

Business Insider

If you still can’t find anything, don’t worry — it just means that you probably haven’t authorized Google or any of its apps to report and record your location.

なにも表示されなくても、気にする必要はない。 おそらく、あなたが Google を承認していないか、ロケーションを記録/報告するアプリを承認していないだけである。

You’ll notice that Google offers a quick way to "Delete all history" or to "Delete history from this time period," so you can eliminate or alter your location history accordingly.

また、記録されていることが気になるなら、Google が提供している[Delete All History]と[Delete History From This Time Period]という機能を利用すればよい。 それにより、全履歴の削除もしくは、一定期間の履歴の削除が可能になる。

And remember, if you want to turn off location reporting and location history from your Google account and apps, you can follow the official instructions over here.

もう一度、確認しておくが、あなたの Google アカウントおよびアプリから、ロケーションの記録/報告を取り除くことが可能である。 その場合には、このオフィシャル・インストラクションを参照して欲しい。

NOW WATCH: If You Are Not Using These Google Maps Hacks, You Are Totally Lost

ーーーーー

まいりました! 降参です! Agile_Cat も、しっかりと足取りを捕捉されていました。抜き足、差し足、忍び足、、、を是とするネコが、ここまでトラッキングされてしまうと、もう、面目まるつぶれです。 ちなみに、このマップ(クリックで拡大)は、この1月の OCP Summit の時のものですが、Hide さんが強引に誘うので会場をは早めに抜け出し、Apple Store で Tシャツとボールペンを買った時の足取りが、記録されてしまっています。 マズイです:) でも、まぁ、Google が何を知っているのかを、こうしてユーザーに知らせてくれるのは、とても良いことだと思いますし、プライバシーは自分で管理すべきと、しっかりと認識させてくれるのも、とても良いことです。 ただ、こうして BI の記事を読まないことには、何が記録されているのかを、具体的にイメージ出来ないというのは、ちょっと困りものです。 せっかく、Gmail のような通知手段があるのですから、月に一度くらいは、「いまの、あなたの設定だと、コレと、コレが、記録されています」という感じの、確認メールなどを送って欲しいものだと思います。

ーーーーー

<関連>

Google Maps は Big Data を使いこなすが、Apple Maps には それが出来ない
Google Maps の底力:膨大なデータを用いて、目的地までの時間を予測する!
Google への 忘れてほしいリクエスト:初日だけで 12000 件が集まる – from EU

Comments Off on Google Maps は、あなたの行動を記録している:心配な人は Location History をチェックしよう!

Big Data の調査:Google の DataFlow は、MapReduce の正当な継承者になり得るのか?

Posted in Big Data, Google, Hadoop, MapReduce, On Monday by Agile Cat on July 28, 2014

Data Cloud/Big Data: Google Introduces DataFlow as Successor to MapReduce
http://wp.me/pwo1E-7HE

By Dick Weisinger – July 25, 2014
http://formtek.com/blog/data-cloudbig-data-google-introduces-dataflow-as-successor-to-mapreduce/

_ formtek

Do you feel left behind when it comes to technologies like Hadoop and MapReduce?  The great thing about the rapid speed that technology is changing and obsolescing is that if you miss one trend it’s not long before it’s been superseded by something else.  That lets you leapfrog directly into the newer technology without having wasted time and resources on the older technology.  Although you’ve got to jump in sometime!

Hadoop や MapReduce といったテクノロジーの話になると、時代に取り残されていると感じるだろうか? そして、それらのテクノロジーにおける素晴らしいスピードは、それ自身を変化させ、また、旧式化させていく。 したがって、何らかのトレンドを見逃したとしても、それほど時間を置くことなく、それらに取って代わるものを見出すことができる。 つまり、古いテクノロジーに時間と資源を浪費することなく、新しいテクノロジーへ向けて、ダイレクトにジャンプすることが可能なのだ。 どんなタイミングでジャンプするのかという、課題は残されるのだけどね!

 Google announced in June that they’ve long ago dropped MapReduce technologies like Hadoop.  And in fact they’re even going to open up their ‘better way’ of analyzing Big Data sets to the public.  It’s part of the Google Cloud Platform.  And the components of the new Google technology called DataFlow have cool names like Flume and MillWheel.

Google が 6月に発表したのは、ずっと以前に MapReduce(Hadoop の原型)テクノロジーを廃止していたことである。実際のところ、Big Data の分析を開かれたものにするために、Google としての Better Way に取り組もうとしているのだ。それは、Google Cloud Platform の一部も構成する。この、Google における新しいテクノロジー・コンポーネントは、Flume MillWheel のようにクールな、DataFlow という名前を与えられている。

The limitation of MapReduce strategies are that they are run as batch jobs.  To use MapReduce and standard Hadoop, all the data needs to already exist and to have been collected before the job begins.

MapReduce ストラテジーにおける制約は、バッチ・ジョブとして実行される点にある。MapReduce や標準的な Hadoop を使用するには、そのジョブの開始する前に、存在すべき全データが揃っていなくてはならない。

Greg DeMichillie, Director of Product Management, wrote that ”a decade ago, Google invented MapReduce to process massive data sets using distributed computing.  Since then, more devices and information require more capable analytics pipelines—though they are difficult to create and maintain.  Cloud Dataflow makes it easy for you to get actionable insights from your data while lowering operational costs without the hassles of deploying, maintaining or scaling infrastructure. You can use Cloud Dataflow for use cases like ETL, batch data processing and streaming analytics, and it will automatically optimize, deploy and manage the code and resources required.”

Director of Product Management である Greg DeMichillie は、「 Google は 10年前に発明した MapReduce は、分散コンピューティングを用いて、大規模なデータセットを処理するためのものである。それ以来、より高機能な分析パイプラインが、数多くのデバイスと情報のために必要とされてきたが、それらを開発/維持していくのは困難なことであった。Cloud Dataflow を用いれば、それらのデータから、実用的な洞察を容易に得られるようになる。 その一方で、インフラストラクチャのディプロイ/メンテナンス/スケーリングに煩わされることもなく、運用コストを削減できる。この Cloud Dataflow は、ETL/バッチ・データ処理/ストリーミング分析のようなユースケースに対して、用いることが可能になっている。そして、必要とされるコードとリソースを、自動的に最適化し、展開し、管理していく」と述べている

Brian Goldfarb, Google Cloud Platform head of marketing, said that with Big Data that “the program models are different. The technologies are different. It requires developers to learn a lot and manage a lot to make it happen.  It [Google DataFlow] is a fully managed service that lets you create data pipelines for ingesting, transforming and analyzing arbitrary amounts of data in both batch or streaming mode, using the same programming model.”

Google Cloud Platform の Head of Marketing である Brian Goldfarb は、Big Data との対比について、「 プログラム·モデルが異なり、また、テクノロジーも異なる。それを実現するためには、デベロッパーが必要とするのは、より多くのことを学び、より多くのことを管理することである。Google DataFlow は、バッチとストリーミングのモードにおいて、同じプログラミング・モデルを用いて、大量のデータを洞察/変換/分析する、データ・パイプラインを作成するための完全なマネージド・サービスである」と発言している

Urs Hölzle, senior vice president of technical infrastructure Google, said that ”Cloud Dataflow is the result of over a decade of experience in analytics.  It will run faster and scale better than pretty much any other system out there.”

Google の Senior VP of Technical Infrastructure である Urs Hölzle は、「 Cloud Dataflow は、分析における、私たちの 10年以上にもおよぶ経験から生まれたものである。 それは、他のシステムと比べて、高速で動作し、スケーリングにも優れている」と、述べている

ーーーーー

Todd Hoff さんの、「Google Instant では、リアルタイム検索のために MapReduce を排除!」というポストによると、Google が MapReduce を止めたのは 2010年ということになります。 それから、すでに、4年が経っているのですね。 Hoff さんは、「 Google の 3つの世代を振り返る – Batch, Warehouse, Instant 」という素晴らしい記事も書いています。 どちらも、読み応え 十分の記事ですが、よろしければ ど〜ぞ!

ーーーーー

<関連>

Cloud の調査:マイグレーションの期間は終わり、クラウド・ネイティブ・アプリの時代が始まる
SaaS and ECM の調査:クラウドは何も失わず、メリットだけを提供する
Cloud の調査: Docker によるアプリのパッケージ化は、大きな実績を残し始めている!
Cloud の調査: すべては Hybrid へと集約されていくのか?
Big Data の調査:未来においても Hadoop の支配は続くのか?

Comments Off on Big Data の調査:Google の DataFlow は、MapReduce の正当な継承者になり得るのか?

Big Data の調査:未来においても Hadoop の支配は続くのか?

Posted in Big Data, Hadoop, On Monday by Agile Cat on June 23, 2014

Big Data and Hadoop: Will Hadoop Continue to Dominate?
http://wp.me/pwo1E-7Ba

By Dick Weisinger – June 19, 2014
http://formtek.com/blog/big-data-and-hadoop-will-hadoop-continue-to-dominate/

_ formtek

When people talk Big Data today, often they’re talking about Hadoop, a technology first created by Doug Cutting in 2005.  Forrester Research says that “Hadoop is unstoppable as its open source roots grow wildly and deeply into enterprises.”

現時点において、人々が Big Data について語るとき、大半の場合、Hadoop の話になる。そのテクノロジーは2005年に Doug Cutting により作り出されたものである。Forrester Research は、「 オープンソースをルーツに持つものが成長し、エンタープライズにも強引に入り込んでくるにつれて、Hadoop も止められないものになる」と発言している

The following are just some of the vendors have built solutions around Hadoop: Amazon Web Services (AWS), Cloudera, Hortonworks, IBM, Intel, MapR Technologies, Microsoft, Pivotal Software, and Teradata.

この流れに従う形で、いくつかのベンダーが、Hadoop に関連するソリューションを構築している。 具体的には、Amazon Web Services (AWS)/Cloudera/Hortonworks/IBM/Intel/MapR Technologies/Microsoft/Pivotal Software/Teradata などの名前が挙げられる。

Analysts like Allied Market Research estimate that the Hadoop market will grow from $2.0 billion in 2013 to $50 billion in 2020.  The forecast includes software, hardware and services.  Today services represent about half of the Hadoop market.  But how realistic are estimates for a product market-size five-years out?

Allied Market Research などのアナリストたちは、Hadoop のマーケットが、2013年の $2.0 billion から、2020年は $50 billion にまで成長すると推定している。

そして、この予測には、ソフトウェア/ハードウェア/サービスが含まれる。 今日の Hadoop マーケットにおいては、サービスの割合が、全体の約半分を占めている。しかし、このマーケットの規模に関する、5年の推定値はというと、どの程度まで現実的なのだろうか?

Forrester ticks off the following four reasons as to why Hadoop is so hot today:

Forrester は、いまの Hadoop がホットな理由として、以下の 4つの理由を挙げている:

  • Provides lower cost storage
  • Based on open source innovation
  • Scales well
  • Provides businesses a way to squeeze profits from their data

Allied Market Research attributes the growth in Hadoop to a strong interest in managing structured and unstructured data and big data analytics.

また、Allied Market Research は、構造化/非構造化データと Big Data 分析の運用において、Hadoop が強い関心を引き寄せているとしている。

But Hadoop is a platform and forecasts about how Hadoop will grow don’t or can’t factor in the appearance of new competing technologies.  Estimates for how technologies will play out six years hence are very difficult to predict.  Consider the effect of the iPad and the fact that the first iPad was sold less than five years ago.   Things can change quickly.  When Big Data is considered as an umbrella category of technologies, it is almost certain to see huge growth between now and 2020, but whether Hadoop will continue to be the center of Big Data in 2020 is less clear.

しかし、Hadoop はプラットフォームであり、また、Hadoop の成長を予測するにあたり、それと競合する新しいテクノロジーを、考慮することは困難である。つまり、これから 6年の間に、どのようなテクノロジーが登場するかと予測することは、きわめて難しいことなのだ。考えて欲しいのは、iPad の出現による変化と、最初に iPad が販売されてから、まだ 5年も経ていないという事実である。すべては、素早く変化していく。Big Data が、テクノロジーの傘下にあると考えた場合、いまから 2020年までの間に、ほぼ確実に大きな成長が見られるだろう。しかし、2020年においても、Hadoop が Big Data の中心に居続けるかというと、明確な根拠があるわけでもない。

James Kobelius, IBM Big Data evangelist, says that “Hadoop’s footprint will continue to grow for some time in the big data arena, especially as the core open-source technologies evolve and enterprises invest more heavily in the technology.  However, Hadoop will be neither the dominant platform nor the architectural centerpiece of most enterprise big data deployments. But that also applies to any other big data platforms, current or emerging, that you might name.”

IBM の Big Data evangelist である James Kobelius は、「 Hadoop の実績は、Big Data という分野において、しばらくの間は成長していくだろう。 とりわけ、コア・オープンソース・テクノロジーが進化し、エンタープライズがテクノロジーに多額の投資を行う世界で、それは顕著になる。しかし、大半のエンタープライズが Big Data をディプロイしていくとき、Hadoop は支配的なプラットフォームではなく、アーキテクチャ上の中心に座ることもないだろう。つまり、いまは名前もない、新しい Big Data プラットフォームの適用もありえるのだ」と、発言している

ーーーーー

Hadoop といえば、その大元は Google の MapReduce になるのですが、Agile_Cat が敬愛する High Scalability の Todd Hoff さんが、「Google Instant では、リアルタイム検索のために MapReduce を排除!」という記事を、2010年 9月の時点で書いていました。 これは、Google がインクリメント・サーチを開始した時期と同じころの話であり、すでに違う世界でチャレンジしているのだなぁ・・・ と関心した記憶が蘇ってきました。 いまの Google 先生はというと、BigQuery というサービスを提供していますが、それと GCE 上の Hadoop の関係など、いったい、どうなっているのでしょうか? いろいろと、興味の尽きないフィールドですね。

ーーーーー

<関連>

IoT の調査: 依然として見えてこない、セキュリティとプライバシーの方向性
Digital Universe の調査: データの生成は、人間からマシンへ、そして先進国から途上国へ
Data Center の調査: 未来のデータセンターは、小型で手元に置かれるものになる
IoT の調査:ベンダーごとの呼び方があるが、やはり IoT は IoT だ!
Cloud Computing の調査:クラウドはオンプレミスを置き換えるものへとシフトしている

Comments Off on Big Data の調査:未来においても Hadoop の支配は続くのか?

Big Data と 音楽:Google Play の Music Timeline が スゴイ!

Posted in Big Data, Entertainment, Google by Agile Cat on March 27, 2014

Google analyzed our MP3 libraries to visualize the evolution of music
http://wp.me/pwo1E-7m1
By Derrick Harris – JAN. 16, 2014
http://gigaom.com/2014/01/16/google-analyzed-our-mp3-libraries-to-visualize-the-evolution-of-music/

_ Giga Om
Summary: Google knows a lot about what people listen to because its Play Music service knows what’s in users’ MP3 libraries. A new tool lets people investigate which albums, artists and genres are most popular over time.

Summary: Google は、人々が聴いている音楽について、たくさんのことを知っている。なぜなら、その Play Music サービスを介して、ユーザーの MP3 ライブラリの内容を調べられるからだ。新しいツールが提供されたことで、最も好まれてきたアルバム/アーティスト/ジャンルなどを、一定の時間軸の中で調べられるようになった。

ーーーーー

Google Play knows a lot about what its users listen to, and on Thursday Google shared some of those insights via a new tool called Music Timeline. It’s an interactive feature that shows the popularity of genres over time, as well as the popularity of subgenres and artists within them. It’s also a great way to show off Google Play as a worthy competitor to more widely used streaming services such as Spotify or Pandora, or more popular MP3 stores such as iTunes.

Google Play は、人々が聴いている音楽について、たくさんのことを知っている。 そして、この木曜日(1/16)には、Music Timeline と呼ばれる新しいツールを用いて解析した、一部の情報を Google は開示している。それは、インタラクティブな機能を持ち、経過する時間の中で、人々に好まれているジャンルを示し、さらには、人気のサブ・ジャンルやアーティストなども示してくれる。それは、Spotify や Pandora などの著名なストリーミング・サービスに対して、さらに言えば、iTunes などの一般的な MP3 ストアに対して、Google Play を強力なライバルとして誇示する、素晴らしい方法でもある。

This type of knowledge is a big deal. As I explained earlier this month, the battle to become the world’s dominant streaming service is heating up as more listening goes digital. Google is a late-comer, but one with some serious potential.

この種のナレッジは、きわめて価値のあるものとなる。 今月の初めに説明したように、音楽のデジタル化が進むにつれて、この世界を支配しようとするストリーミング・サービス間での戦いが激化していく。 その意味で、Google は後発であるが、いくつかの、強力なポテンシャルを秘めたチャレンジャーである。

I don’t know how Google Play’s recommendation algorithms work, but it seems like Google could make a pretty good first hack at classifying someone’s taste just by comparing his or her MP3 library against the aggregate data it has gathered as a part of Timeline. If the Metal line on my graph is disproportionately thick, it probably says something about what I like to hear. Add to that information about what I stream, and the picture becomes clearer.

Google Play のリコメンデーション・アルゴリズムが、どのように動作しているのか、理解しているわけではない。しかし、Timeline の一部として収集されたデータと、自分の MP3 ライブラリを比較することで、好まれているものを分類するという点で、Google は最初から、かなり良い仕事をしているように思える。私のグラフにおいて、Metal の項目が不釣り合いに分厚いなら、おそらく、私が知りたいことについて、何かを言っていることになる。そして、私がストリーミングしている楽曲を追加するにつれて、それを示すチャートが鮮明になっていく。

Across all industries, companies are figuring out how to turn the data they’re collecting into better products. In fact, that’s one of the driving themes of our Structure Data conference in March.

あらゆる産業において、それぞれの企業は、収集してきたデータを、より良い形でプロダクトに転化する方式を考え出そうとしている。実際のところ、昨年の 3月に開催した Structure Data カンファレンスにおいても、それは重要なテーマであった。

Anyhow, here are some screenshots of Music Timeline to highlight the types of things it will let you dig into. Overall, rock and pop music are very popular.

以下に並べていくのは、各種の情報をハイライトで表示する、Music Timeline のスクリーン・ショットであり、そこから深堀りしていくことが可能になる。 全体的に見ると、Rock と Pop に、人気が集まっている。

_  space

_  space

In thrash metal, one of my favorite genres, Metallica dominates.

私の、お気に入りジャンルである、Thrash Metal では Metallica が支配的である。

_  space

_  space

Here’s the career arc of one of my favorite bands, Corrosion of Conformity. I must be the only one who bought its last album.

以下は、私の好きなバンドである、Corrosion of Conformity の勢力を示す曲線である。その最後のアルバムを買った1人として、私がいるはずだ。

_  space

_  space

Of course, this is what a long, successful career looks like. I only wish Music Timeline featured relative comparisons, so we could compare the Rolling Stone to less-popular artists like, well, Corrosion of Conformity to see how they stack up. I suspect even Voodoo Lounge is much more popular overall than COC’s most-popular album. Guess there’s no accounting for taste.

もちろん、このチャートは、長期間における成功のキャリアを示すものである。私が Music Timeline に望むのは、相対的な比較のための機能である。したがって、メジャーな Rolling Stone と、マイナーな Corrosion of Conformity を、並べて比較してみた。私の疑念は、Voodoo Lounge の方が、COC で最も人気のアルバムよりも、売れているだろうというものだ。推測するに、好みに関する正確さというものは、存在しないのだ。

_  space

_  space

Related research

How the consumer space battled licensing issues in the fourth-quarter 2013
How to compete with Facebook in 2013

ーーーーー

TAG indexこの、MP3 の再生回数に関するチャートは、すでに いくつかのメディアで取り上げられていますが、やはり Google の Big Data は強いなぁ、、、と感じさせられますね。 そして、音楽ですが、最近の Youtube の充実ぶりは素晴らしく、それと、このような分析が加わると、iTunes もウカウカしてはいられなくなりそうです。 なんというか、この領域だけは、Google 先生には攻め込んでほしくないという気持ちもありますが、逆に iTnunes が更に充実という展開になるかもしれません。 いろいろな局面で起こっている AG 対決ですが、ここも注目ですね!image

ーーーーー

<関連>

YouTube が 30分もダウンした : しかし、世界は いつも通りだった
Google の 音楽ナレッジ・グラフが、YouTube や Google Now と連動し始めた!
iTunes の収益構造を解析する
Final Fantasy VI が、この秋には iOS に登場する!

Comments Off on Big Data と 音楽:Google Play の Music Timeline が スゴイ!

%d bloggers like this: