「BigData-JAWS 勉強会#20」 #bdjaws 受講メモ

jawsug-bigdata.connpass.com

QuickSight 勉強中なので気になるとこだけメモ。

セッション

グノシーにおけるデータ分析基盤移行と Amazon QuickSight 導入について

グノシー 楠さん

QuickSight 導入利用

• SaaS 版 Redash を使っていたがサービス終了
  • QuickSight 導入へ

Gnunosy の データ基盤

• Data Source : RDS, DynamoDB
  • embulk で Data Lake へ
• Data Lake : S3, Glue Data Catalog, Lake Formation
  • Athena で BI へ
• BI : Redash

Gunosy におけるデータ分析

• Redash が2021/11/30で終了
• 利用用途は大きく2つ
  • ダッシュボードでのKPIモニタリング：改善するので QuickSight へ
    • 全社で情報を受動的に得る
  • SQLを用いたアドホック分析：維持するために Redash を社内ホスティングで
    • 仮説に基づいて能動的にインサイトを得る

QuickSight 導入

• コスト面で優位と判断
  • セッション課金なので利用しなければ安い
  • Editor /Reader アカウント切り分け可能
  • AWS サービスである
• ダッシュボードクエリ書き直し
  • Athena View 利用、Athena に登録できる集計処理
    • 実態データない、ロジック共通化、低コスト
• Lambda で共有設定、権限管理自動化
  • QuickSight の分析/ダッシュボードなどの作成はユーザー単位
    • QuickSight イベントで発火する Lambda で SQ のグループ利用して共有

今夜、Serverlessくらべてみました

NTTデータ 野口さん

• レイクハウスアーキテクチャ
  • データレイク＋ DWH のアーキテクチャ
    • Redshift + S3 や Lake Formation
• Redshift Serverless vs Athena
  • DWH としては Redshift
    • ◎：PostgreSQL ベース
    • ◎：Materaized View 対応
    • ◎：RESULT CACHE機能あり
    • ○：LOAD, DMS で実行
    • ○：Federated query : Redshit, RDS, S3
  • Athena は対応データ豊富、取り込み容易
    • △：Presto 0.172準拠、基本的な SQL
    • ○：View 対応
    • △：RESULT CACHE機能なし
    • ◎：Glue Data Catalog 取り込み
    • ◎：Federated query : CloudWatch Logs, DynamoDB, DocumentDB, RDS, JDBC

Amazon Athena Federated Query コネクター紹介

AWS 林田さん　藤沢さん

• スキャンしたデータ量に対しての課金、サーバーレス
  • 圧縮していれば圧縮した容量で計算
• Lake Formation 新機能サポート
  • カラム/行/データベース/テーブルでの権限管理
  • Governed Tables によって、ACID トランザクション可能
• Athena Federated query
  • S3 以外もクエリできる
  • クロスアカウントも対応

所感

QuickSight 難しい...
Glue Data Catalog はある程度できるようになって、Athena で見る分には困らなくなってきたけど、QuickSight で思った通りの表示にするのはまだまだ難しいです。
この当たりは取り上げてもらえなかったので、ビジュアライズを上手にするにはどうやって勉強したらいいんだろう？