まるクラ勉強会 ONLINE #1
セッション
20分で大体わかる！AWS Glue Data Qualityによるデータ品質検査
niinoさん
- Glue にデータ品質検査を伴う Glue Data Quality が追加された
- 設定場所
- Glue Data Catalog のテーブル内で設定
- ETL Job の中に組み込み
このあたり Q が勝手にやってくれる世界がきそう。
いやむしろ来てほしい。LLMに丸投げしたい。
人人人〜データを作り、使い、示唆を得る〜
ほりもとさん
- データ分析関連ツール
- 30カテゴリー633ソリューションでめっちゃたくさんある
- https://www.moderndatastack.xyz/ より
- データアセットのドキュメントを残すのが大事
- データ分析ツールはちゃんと使う
- dbt
- SQL知ってればデータ変換が容易に可能
- データパイプライン化可能
- Data Mart層から部署やチームに渡せるのが理想
- Raw Data層 -> Staging層 -> Data Warehouse層 -> Data Mart層
- Data Warehouse まではエンジニアリングのお仕事
- 層分けは組織によって変わっていい
おじさんだから「人人人」が分からぬ...
Tableauでやってみるデータ可視化やBIについて
投埜さん
はるか昔に Tableau 触ったのを思い出しました。
本格的に使うことはせず QuickSight にしたので、Tableau と比べれないんだけど QuickSight は Tableau を追っかけてることだけは何となく知ってる。
