omuronの備忘録

個人的な備忘録

「JAWS-UG東京 ランチタイムLT会 #4」 #jawsug_tokyo 受講メモ

JAWS-UG東京 ランチタイムLT会 #4

jawsug.connpass.com

LT 大人気!

セッション

LT① Terraform v1.6.0で始める単体テスト入門

堀尾 諒平さん(株式会社大和総研

speakerdeck.com

  • Terraform v1.6.0 の主な更新内容
    • ライセンス MPL2.0 -> BSL1.1
    • terraform test コマンド GA
  • Terraform の単体テストとは?
    • 構築された各リソースが想定通りの設定値となっているか確認すること
    • デフォルトの command = apply ではテスト用リソースがプロビジョニングされてテスト完了後削除される

実際にリソースを作って壊すというのが他の IaC のテストと違うところかな?

LT② JAWSで配信してみませんか?

前原 良美さん(JAWS-UG配信部)

speakerdeck.com

  • 配信は AWSJ の沼口さん依存
    • SPOF 問題発生
  • JAWS-UG 配信部とは
    • 沼口さんの弟子になって配信を手伝い
    • 沼口さん不在でも自分たちで配信
  • 配信構成
    • Amazon Chime -> OBS -> YouTube Live
    • WorkSpaces 利用
      • ノートPC壊れても大丈夫なようにしている
      • AZ フェイルオーバーできるので DR 対策もできる

沼口さんと配信部のおかげで地方組でも見れて助かってます!

LT③ cdk migrate触ってみた(仮)

佐藤 亨さん(デロイトトーマツウェブサービス

speakerdeck.com

  • cdk migrate
    • cdk migrate は実験的な機能
    • CloudFormation から CDK を生成できる
    • CFn から CDK 利用に移行することも自動でできる
  • cdk migrate 制限
    • ネストスタック、カスタムリソース、Fn::ForEach はサポートされていない
    • L1 コンストラクトだけ作られる

CFn は得意だけど CDK 苦手民としてはとても期待できるやつなのでは?

スペシャルセッション:パフォーマンスとコスト制約から考えるアーキテクチャ設計

佐々木 拓郎さん(NRIネットコム株式会社)

speakerdeck.com

  • データ分析基盤の例
    • RAW データレイク に保存して以下の処理へ
      • ETL (整形処理)して中間データレイクへ
      • ETL (ビジネス加工)して構造化データレイクへ
      • ETL (用途別加工)して DWH へ
    • データレイクは S3、それ以外は規模用途に応じて使い分け
  • アーキテクチャ検討の基準
    • 機能要件・非機能要件を元に考える
      • 要件に対して十分な性能ある?
      • コストはビジネス上の制約に収まるのか?
    • ダッシュボードの使い方によって設計は変わる
      • 利用頻度・利用者数
        • 頻度が少ないなら Redshift は時間課金されるので高くなる
        • 頻度が多いなら Athena は従量課金で高くなる
      • データ量
      • どういった属性の人が使うか?
    • 計測が大事
      • Athena の性能を測定してみる
        • ファイル数が多くなると遅くなる、100,000件超えると顕著

Parquet 使ってようが Athena の場合は、10万件超えでかなり遅くなると。
こういうデータになるなら Redshift とかの検討も必要になりそうか。

所感

スペシャルセッションも含めてどれも勉強になりました。
測定大事ですが、調べるだけで300ドルぐらいかかってるっぽい。
S3 へのアクセスが大量にあるとどうしてもお金かかりますね。