AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」 #regrowth_osaka に参加してきた

AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」

AWS re:Invent ふりかえり勉強会「クラスメソッド re:Growth 2024 大阪」 - connpass

re:Inventの振り返り勉強会ですね。
早速開催してくれて助かります！

セッション

ついに来た！Amazon Elastic VMware Serviceの爆速キャッチアップ

arapさん

• VMWare買収に寄るポートフォリオ削減、Broadcomによるライセンス規約変更
  • レパートリー削減、実質値上げ、AWS再販停止
• Amazon Elastic VMware Service
  • VMware Cloud Foundationを展開できるサービス
  • ユーザーのVPCに展開
  • i4i.metal x 4hostsの構成（EC2代が5,700万円/年から。RI使えばやすくなりそう）
• Amazon Q Developer transform for VMware
  • VMWare仮想マシンをEC2に移行するために何をすべきかを立案してくれるサービス

なお、値段...

これでLambdaが不要に？！Step FunctionsのJSONata対応について

岩田さん

• SFnに変数のサポートとJSONataのサポートが追加
• JSONata
  • JSONをクエリ・変換するための言語
    • クエリ、正規表現、文字列操作、日付操作、簡単なPG...
  • JSONata Exercisnerで簡単にWebで検証できる
  • LocalStack V4.0.1で対応済み
  • Lambdaなしで整形処理ができるようになった！

AWSの料金通知をLambda使わずにSFnだけで実装できるようになったと。

cross-VPC構成が変わる！？VPC LatticeとPrivateLinkのアップデートをご紹介

丸毛さん

• VPC Lattice：VPCでL3レイヤーを意識せずにマイクロサービス間を連携できる
  • アプリ開発者はネットワークの達人である必要はない
  • TCPでの接続が可能にアップデートされた
    • リソースゲートウェイを作って接続可能になった
• PrivateLinkアップデート
  • NLBやGateway Load Balancer不要で接続できるようになった
    • リソースゲートウェイを作って接続可能になった
  • できることはVPC Latticeと同じで、VPC Latticeと統合された
• VPCエンドポイントへの追加
  • リソース型：単一リソースの場合に利用
  • サービスネットワーク型：複数リソースの場合に利用
• 基本的に単方向通信なのでTransitGatewayの置き換えにはならない
  • サービス間連携にネットワークレベルで接続が必要なときに使う

開発者がやるものではないのはその通りですが、ネットワーク周りは面白いですね。
たまにしか触らないからレベル上げるのが難しい。

祝！Iceberg祭開幕！re:Invent 2024データレイク関連アップデート10分総ざらい

niinoさん

• データレイク：構造化・非構造化を問わず生データを大量に保存する
  • Iceberg：データレイクで使うデータフォーマット
    • クエリでデータの編集削除やトランザクション、タイムトラベル機能、パーティショニングなどDWHのように利用できる
• Iceberg関連のアップデート
  • Data FirehoseのS3Icebergテーブルへのレプリケーション
    • MySQL/PostgreSQLの変更をIcebergテーブルへリアルタイム変換
      • データマートで最新データの分析が可能になる
  • Icebergに最適なS3 Tables
    • 従来より3倍のクリエ性能と10倍のトランザクション処理
      • 自動でコンパクションも実行
    • 自動でテーブルをメンテ
      • VACUUMやOPTIMIZEのメンテコマンドがいらない
    • ストリーミングデータやログなど大量の小さいファイルが断続的に作られるケースに使える
  • S3 Metadata
    • S3のメタデータを自動でIceberg形式にしてくれる
    • Lake Formationの権限設定必要
    • S3の大量なデータにメタデータをキーにした検索などができるようになる
      • QuickSightで可視化もできる

Icebergのアップデート熱い！
ZeroETLとかとあわせてデータ分析がやりやすくなりそう。

目玉アップデート！のSageMaker LakehouseとUnified Studioは何たるかを見てみよう！

那由多さん

• 次世代のSageMakerの登場
  • SageMaker Lakehouse
    • データレイクとデータウェアハウスのデータを統合
    • データレイクとデータウェアハウス双方にアクセスし統合できるIceberg APIによるI/F提供
    • ZeroETL、フェデレーテッドクエリ
    • カタログに対する管理が容易に（特定データのアクセス権の制御など）
  • Unified Studio
    • 分析用のドメインを作って利用を開始する
      • プロジェクトを作成、ノートブックなど起動ができる

統合環境便利だけど、SageMakerという時点で「お高いでしょ」というので試すハードルが高い。

たくさんあるBedrockアップデートをなんとか10分でお伝えするLT

かずえさん

• 基盤モデルAmazon Nova
  • テキスト：安い早い、性能そこそこ
• Bedrockマーケットプレイス
• LLM-as-a-judge
• Bedrock Data Automation
  • 動画や画像などを読み込んで処理、要約とかできる
• Bedrock Knowledge Basesのマルチモーダル対応
  • BDA使って処理してくれる
• Bedrock Knowledge Bases構造化データ取り込みサポート
  • 自然言語をSQLに変換とか
• Bedrock Knowledge Basesストリーミングレスポンス対応
• Bedrock Knowledge Bases自動生成クエリフィルター
  • フィルター機能をラクして作れる
• Bedrock Knowledge Basesバイナリ埋め込み
  • 読み込みデータを圧縮できる
• Kendra GenAI
• Bedrock Agents multi-agent collaboration
• Bedrock Agents InvokeInline Agent
  • 事前に作らずに呼び出し時にエージェント作れる
• Guardrails自動推論チェックサポート
  • 組織のルールなどを食わしてチェックさせれる

全部のメモ無理！気になるとこだけチェック。
Knowledge Basesが楽に使えるようになった。

Amazon Bedrock Knowledge BasesがGraph RAGに対応！！ ・・・それってつまりどういうコト！？をチョット深堀ってみる

とくやまさん

• RAGが苦手なケース
  • Aさんの子どもはBさん
  • Bさんの子どもはCさん
  • Aさんの孫は？ <-- 答えれない
  • GraphRAGなら単語同士の関係が入るので、このケースに答えれる（可能性がある）
• GraphRAG
  • チャンク分割した後LLMでノードと園児を識別して、LLMを使って抽出してようやく結果を作る

通常のRAGで辛いケースでも、GraphRAGで回答精度が上がるパターンがあると。

セキュリティ系アップデート全体像とAWS Organizationsに登場した新ポリシーを紹介

川原さん

speakerdeck.com

• 追加されたポリシー
  • Resource control policy
    • APIレベルで設定
  • Declarative policy
    • 宣言的ポリシー、何がしたいのか目的だけ説明
      • 「EBSをパブリックにしない」だけで済む
      • サービスレベルで指示

SCP使ってない状況なので、今回のDeclarative policyぐらい使えるようになったほうがよさそう。

AWS IoT SiteWiseを使った製造現場の最新データ活用方法をご紹介

よなみねさん

IoT SiteWise使ってる人向けのAIアシスタントがつかされてで、自然言語で問い合わせできると。
モデルはClaude3 Haiku固定。

懇親会

今回のイベントは懇親会付きでした！
おいしいおにぎりに唐揚げなども準備していただき、ありがとうございました。
クラスメソッドの方々とゆっくり交流できて、とても勉強になりました。

帰り、御堂筋ライトアップしていました。