ホーム
お役立ち
Google Service
常にビッグデータを扱う Google だからこそ提供できる GCP のビッグデータ向け機能を、企業はどう使っているのか？

常にビッグデータを扱う Google だからこそ提供できる GCP のビッグデータ向け機能を、企業はどう使っているのか？

BigQuery
GCP活用事例
ビッグデータ

公開年月日: 2018.08.20

更新年月日: 2024.09.26

この記事は2017年8月・12月頃に Google Cloud Japan 公式ブログ、日経 xTECH Active 、 TechTarget ジャパンで公開された記事をもとに編集・執筆しています。

はじめに

クラウドサービス Google Cloud Platform (以下、 GCP)を導入する企業が増えています。特に GCP の導入理由として、データ分析機能が備わっていることを挙げる企業が多く見られます。
今回は、 GCP のビッグデータ向け機能を、導入企業はどのように使っているのかを紹介します。

リクルートライフスタイルの事例

リクルートライフスタイルは、飲食店オーナー向けの経営支援システム「Airメイト」を提供している企業です。 Airメイトは、店舗ごとの売上げ、客数、客単価、人件費率、原価率の日別推移を可視化し、売上げや客数の減少要因、メニューごとの最適価格を分析して経営改善策を提案するシステムです。このシステムのデータ分析基盤として、 GCP の Google Cloud Storage 、 BigQuery や Cloud Dataflow などのクラウドによるビッグデータ分析サービスを使っています。

同社では、Airメイトを数十万店舗の規模で展開したいと考え、大量データを扱う拡張性のあるサービス基盤として GCP を採用することに決めました。 Airメイトが提供する経営データの導出には、フルマネージドの DWH 「 BigQuery 」を中心に、データ処理ワークフローを定義・実行するマネージドサービス「 Cloud Dataflow 」、 DataRobot 社の機械学習サービス「 DataRobot 」を採用しています。

GCP 上にデータベース環境を構築することでサービス品質を確保

Airメイトのデータは、ホットペッパーグルメ、じゃらん、Airレジ、レストランボードなどのサービスから連携して収集されており、それぞれサービスでデータベースを持っています。しかし、それぞれのサービス側のシステム上でデータ分析をすると、サービスの品質に影響が出るという懸念から、サービスのデータベースとは別に、 GCP 上にデータ分析用のデータベース環境を構築することに決めたそうです。

各サービスのデータベースから BigQuery へデータを吸い上げ、 BigQuery やDataRobotの分析エンジンでデータを加工するようにしています。そして、 BigQuery から DataRobot へのデータ処理フローの連携などは Cloud Dataflow で行うようになっているそうです。

BigQuery は、フルマネージドであるため、データベースやインフラの管理が不要となり、専業のエンジニアでなくても書ける簡単なSQLコードで十分な処理性能を発揮するシステムとなりました。

リクルートライフスタイルでは、膨大なデータを拡張可能な状態で運用できるクエリサービスとして、 BigQuery の価格は各段に安いと評価しています。同社は、別サービスで Amazon Redshift も活用しているそうですが、 Redshift と比較して BigQueryは大幅に価格が安いそうです。

メルカリの事例

フリーマーケットアプリの「メルカリ」は、2013年7月にサービスを開始して以来、わずか4年で日米合わせて7500万ダウンロードを記録するまでに成長しました。現在では、1日に100万点以上の商品が出品され、月間100億円以上の流通額を誇るサービスとなっています。

メルカリでは、データ分析基盤にクラウドサービス GCP をはじめ、 Google のサービスを多数採用しています。中でも積極的に活用しているのがデータ分析サービス「 Google BigQuery 」（以下、 BigQuery ）です。メルカリでは、エンジニアではないスタッフも含め、全メンバーが BigQuery を使用できる環境を整えています。

データ検索時間の短縮が目的

メルカリでは BigQuery を使う前、オンプレミス環境で Hadoop クラスタを構築してデータ分析をしていました。しかし、サービスの急激な成長に伴いデータ量が急激に増加し、クエリ結果の返答に時間がかかるという課題が発生していました。

処理時間短縮のために、2015年に BigQuery を試したところ、クエリを実行してから1時間かかっていた分析処理が、遅くとも2、3分で終えられることが分かったため、　BigQuery に移行することを決めました。

メルカリでは、各クライアントアプリで発生したユーザーの行動記録は全て一度ログサーバに集約し、BigQuery へ送る仕組みになっています。また、 API サーバのログも、ログサーバに集約した後にストレージサービス「 Google Cloud Storage 」（以下、 GCS ）を経由して BigQuery に届けるようになっています。

メルカリは、エンジニア以外のスタッフにも BigQuery が使える環境を整えています。こうすることでエンジニア以外のスタッフが、逐次エンジニアに作業を依頼することなく分析データを得られるようになっています。 BigQuery をエンジニア以外のスタッフも使えるようにしたことで、例えばサーバエンジニアは、障害やユーザーアクティビティーの調査に、カスタマーサービススタッフでは顧客対応のための調査など、様々な活動に BigQuery を活用するようになりました。

ソニーネットワークコミュニケーションズの事例

ソニーネットワークコミュニケーションズ株式会社クラウド＆アプリ事業部門は、ソニー製品・サービスに対するクラウド開発・運用や、アプリケーション開発を行う部署です。データビジネスの生産性を向上させるために、そこで得られたビッグデータを活用しデータ分析を通じて、製品・サービス内容や、ユーザーエクスペリエンスを向上させることも当部署の大きな役割の 1 つとなっています。

データ量が増えつつもデータ分析できる環境作り

クラウド＆アプリ事業部門では、データ分析活動を数年前から本格化させていましたが、オンラインサービスやアプリの普及に比例して、月間 100 億レコードを超えるまでに増え続けているデータ量をしっかりと分析できる環境作りが課題となっていました。

データの質・量を増やしつつもクエリは速くすることでデータ運用を効率化し、価値ある分析業務に集中できる仕組みを構築することによって、ビジネスの PDCA サイクルのパフォーマンス向上を図りたいと考えていたそうです。さらに、データサイエンティストが満足できるような高度な分析環境を整備するだけでなく、データサイエンティスト以外のビジネス担当者などにもデータ分析業務に取り組めるよう利用者を広げていくことが、ビジネス基盤としての必要であると考えていたそうです。

しかし、こうしたビジネス環境を整備したいと考えつつも、データ分析の業務において問題となる 80：20 ルールに悩まされていました。80：20 ルールとは、作業時間の 8 割が分析ではなく、その準備に割かれてしまう状況のことです。データを集めたり、それを変換・加工したりするデータ分析の事前準備にほとんどの時間を費やしてしまい、肝心なデータ分析作業には 2 割の時間しか割けていませんでした。

そこへ、マネージドサービスである BigQuery を導入したところ、データ分析業務における準備やインスタンスの容量・性能設計業務から開放されただけでなく、同部署の運用作業負荷を軽減することになりました。

このBigQuery 導入により大きな効果があったことを受けて同部署では、データの効率的運用や処理時間の短縮、そして費用削減などを目的に2016 年より GCP を本格導入しました。BigQuery を中心に、Cloud Dataflow や Cloud Pub/Sub、そして、Google Container Engine（GKE）などといった Google のテクノロジーを駆使して、複数アプリ・サービスの商用データ分析基盤を構築しました。

具体的には、ユーザセントリックに分析し理解すること、セグメントを作りビジネスに活用することなど、これらの目的のために必要な全てのデータは BigQuery に投入して管理するようにしています。 BigQuery は、安価なストレージとクエリ課金モデルとなっているため、目的に必要なボリュームのあるデータを躊躇なく扱えるようになったそうです。データをシンプルに 1 つの場所に格納できることで、データ管理、分析、集計、BI（Business Intelligence）ツールも含めて環境が一元化され、データ分析チームの作業効率は大きく向上することになりました。

まとめ

今回は、 GCP 導入企業におけるビッグデータ機能をどのように扱っているか紹介しました。 GCP の BigQuery は、レスポンスが早いだけでなく、拡張性も高いことが評価されています。 BigQuery という機能は、 GCP の重要な特徴の一つに挙げられます。ビッグデータの活用を考えている企業の方は、ぜひ、 GCP の BigQuery を検討してみてください。