LayerX エンジニアブログ

LayerX の エンジニアブログです。

Looker Studioのデータ抽出(Extract data)機能を利用してスキャン量を減らす

こんにちは!LayerX バクラク事業部 機械学習・データ部 データチームの石橋(@saaaaaaky)です。

Looker Studioのカスタムクエリが1日300回以上実行される課題

弊社ではBIツールとしてLooker Studioを利用しています。

データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。
ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。

スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。

ヒアリングしたところ、リアルタイムのデータが必要とされる利用要件ではなかったため、「データの抽出(Extract data)」機能を用いてスキャン量の課題を解決したので紹介します!

データの抽出(Extract data)機能

Looker Studioの「データの抽出(Extract data)」は、既存のデータソースから特定のフィールドだけを含む「抽出済みデータソース」を作成することができる機能です。

簡単に手順を説明します。
Looker Studioのヘルプページはこちら

  1. データ追加画面から「データの抽出(Extract data)」を選択

    データの抽出(Extract data)を選択

  2. Select a data sourceからデータを抽出したいデータソースを選択する。(カスタムクエリを作成している場合は、この選択肢にカスタムクエリが表示されます。)

    データを抽出したいデータソースを選択

  3. 利用したいディメンションや指標を選択する。ここでフィルタや期間を適用することにより、データ量をさらに絞ることもできます。

  4. 自動更新をONにし、日次、週次、月次での自動更新を選択。

    自動更新をON

  5. 「保存して抽出」ボタンで設定完了です。他のデータソースと同じようにグラフや表の作成に利用できます。

注意点

気をつけることとしては、抽出済みデータソースのデータ量の上限が 100 MB であることです。
自動更新にしている抽出が上限を超えデータの抽出が止まった際にアラートが出てこないのも注意です!

弊社でも100MB超える抽出済みデータソースが出てきたので、解決策を模索しています。
こうやって解決したよ、という方法がある方は教えていただけると嬉しいです!

おわりに

Looker Studioでのデータ抽出を使ったスキャン量削減について書きました。
現在は、データマートを作成しそもそもカスタムクエリを使わなくて良い未来を目指しています!
事業周りのデータやプロダクトのデータのEnablingに取り組まれている方や興味ある方、カジュアル面談からでもお話ししましょう!

jobs.layerx.co.jp

データアナリストの応募はこちらから

open.talentio.com