omuronの備忘録

個人的な備忘録

「JP_Stripes 大阪 Vol.6」 #JP_Stripes 登壇＆受講メモ

AWS 勉強会

jpstripes.connpass.com

コロナ禍で止まっていた JP_Stripes 大阪のリブートです！

セッション

「Stripeのおさらい（または、初めてのStripe）」

Stripe・小島さん

speakerdeck.com

  • カード情報透過式
    • カード流出とか心配しなくていい
  • クレカだけじゃない！
    • Apple Pay や Google Pay も使える
    • 電車とかひと目があるとこでも使いやすい
    • カードと違って貸し借りできずセキュア
  • サブスク対応
  • 多通貨対応
  • Stripe Tax で税周りも対応
  • API 充実
  • 開発早い！入金早い！状況把握が早い！
  • 3.6%のカード手数料
  • バーチャル口座での自動消込

小島さんの生プレゼン久しぶりに聞きました。
間の取り方とか声のトーンとか本当に上手に引き込む話をしてくれますね。
内容的には Stripe 知ってる人にはご存知の内容ですが、初めての人には決済サービスがここまで簡単に色々できるかわかるような内容でした。

「ノーコード・ローコードツールでサブスク運用をより効率化する方法」

Stripe・岡本さん

  • サブスクの後のお話
  • 契約してからが本番
    • 機能、需要、サポートなど色んな理由で解約される
  • 運用の効率化ができる
    • 契約内容確認、変更が Customer Portal のマイページでできる
      • リダイレクトされるのでデザインなどはちょっと制限あり
    • メールの自動送信
    • 3DS3, Radar などの不正対策
    • API 検索、レポート機能
    • ダッシュボードはURLクエリパラメータになるので共有もできる
  • ノーコードでサービス自動化
    • IFTTT / Zapier / Yoom
    • AWS(EventBridge, SFn) / GCP / Power platform
  • シャドーITにならないように
    • WF の目録や Wiki は準備しよう

Stripe って API の凄さばかりに目が引かれていたのですが、ローコードでもここまでできるんですね。
個人開発や MVP の開発ではローコードでサクッと作るのは全然アリだと思います。

「3種の神器でサブスクサービスを構築した話」

モリサワ・小室

Stipe + Auth0 + CircleCI を使ってサブスクサービスを作った話をしました。
内製化にチャレンジするために SaaS を使ってコアコンピタンスに集中して開発しました。
資料は次週の Stripe x Okta イベントの後に公開したいと思います。
東京の方はぜひこちらもどうぞ。
これから SaaS を始めるための、ログイン・認証・ユーザー管理・決済システム入門セミナー

「kintone×Stripeで某有名SL列車の予約から決済まで一元管理！」

ジョイゾー・大竹さん

  • Web予約したけどこない、年間30万人の窓口決済大変
  • Stripe, omise, GMO の決済サービスを比べた
    • API ドキュメント読みやすい、サンプル豊富
  • kintone と Stripe 連携してシステム構築
    • キャンセルは手作業、イレギュラーにはコストをかけない
  • 予約と決済はどっちが先？
    • ライブとかは予約して決済
      • フローが2段階に分かれるので煩雑
      • 今回はこの実装
        • 予約システムがあったからその延長にもなる
      • Stripe Checkout がそのまま使えた
    • 映画とかは決済してから予約
      • 決済完了後に予約取れなかったらめんどくさい

プレゼンめっちゃうまい！
Kintone と Stripe を連携したデモとか、「選ばれたのはどちらでしょう...? 綾鷹です！」みたいな定番ネタまでぶっこんできて惹きつける内容でした。
大竹さんの後のプレゼンじゃなくてよかった。
ライブ方式か映画館方式か予約と決済にこのような考え方のパターンがあるのは知りませんでした。

タイトル未定（でメモるの忘れてました）

Fusic・清家さん

  • AWS とサクッと連携
    • EventBridge 使うとできる
    • Stripe のイベントタイプは大量にある
      • イベント眺めると知らないサービスも知ることできる

API のイベントタイプから、Stripe で何ができるか調べるというのは、いいやり方ですね。
膨大なドキュメントを順に探すより効率いいかも。

「君もStripeトレーナーにならないか？」

トレノケート・山下さん

今からますます Stripe が流行り、使いたい人が増えるだろうから Stripe のトレーナーにならないか？というお話。
ゴールドラッシュでスコップ屋さんが安定して設けた逸話と同じく、使う人が増えると講師のほうが上手く設けれるかも？
17:30 に新宿を出て、駆けつけてくれました。
懇親会の途中で盛り上がってる中、聴衆が話すのを止めて聞き入る惹きつけてくれる内容でした。
さすがトレーナーなのでおしゃべり上手ですね。

さいごに

オフラインは懇親会や2次会からが本番！と言われるように、懇親会も盛り上がりました。
2次会も盛り上がってたようですね。

登壇すると話しかけてくれる方がいるのは助かりますね。
一方、オフラインだと話しかけるのも難しく孤立する人が出るというのもなんとかしたい課題です。
初めて参加してくれる人たちがいる中で、このような経験をすると次回につながらなくなってしまいますしね。

2次会にも参加したかったのですが、インフルエンザなどが流行ってることもあり、「出歩いて病気をもらわないように」と釘を刺されたので、都会から離れて田舎で一人さみしく打ち上げをして帰ったのでありました。

「JAWS-UG朝会 #41」 #jawsug_asa 受講メモ

AWS 勉強会

JAWS-UG朝会 #41

jawsug-asa.connpass.com

寒いと MacBook が起動しないので朝まで付けたままにしておきました。

セッション

セッション① RDS/Auroraバージョンアップのポイント

hmatsu47(まつ)さん

speakerdeck.com

  • 完全性を保って移行は難しい
    • 長い時間止めるならできるけど
    • マネージドで準備されているサービスにもたまにバグがある
  • バージョン間の差異
    • SQL 文の非互換
    • バージョン前後で動作確認しておきたい
  • 性能低下の可能性
  • 切り戻し計画
    • 新DBのデータは消えてもいいか？
  • アップデート手法
    • インプレースアップグレード：時間が不定なので注意
    • バックアップ＋インプレースアップグレード：バックアップ分時間がかかる
    • Blue/Green デプロイ：MySQL 系ならフルマネージドあり、データ不整合に注意
    • 新旧 DB へ同時書き込み：アプリの改修で対応、バグや不整合に注意

十分に事前に準備してから作業を行い、DB エンジニアとアプリエンジニアの押し付け合いにならないように責任分界点を明確にした上でセクショナリズムは避けましょうとのこと。

セッション② EC2にてDisk枯渇が発生した場合に何が起きるのかと対応方法

ハンズラボ株式会社 中川皓紘さん

speakerdeck.com

  • Disk 管理しているか？EC2 がいっぱいになった場合は？
    • 接続できなかったり、起動できなくなることもある
  • EC2 が起動できないとき
    • EBS デタッチして復旧用 EBS つくって復旧してから元の EBS アタッチ
    • 新規 EBS はマウントする必要あり
      • Disk の UUID が重複してマウント不可になったりする
      • mount -o nouuid で行う
  • 意図的にディスク枯渇を試した
    • dd コマンドでディスクをフルにする
    • 再起動すると起動不可
    • 起動してもセッションマネージャで接続もできない、ミドルウェアが起動できてない

EC2 を止めて復旧が必要なので満タンにならないように監視など注意が必要ですね。
立ち上げ時のコマンドで EBS を拡張させる方法もあるとのこと。ただマウントされてないと意味がなかったりします。

LT① Amazon Forecast 触ってみた

株式会社モリサワ 小室貴史

speakerdeck.com

簡単に試せますが、やっぱり AI/ML の知識は必要です。

LT② 統合CloudWatchエージェントとCloudWatch Logs エージェントの違いを深掘ってみた

クラスメソッド株式会社 おつまみさん

  • CloudWatch エージェントは、EC2内部のログやメトリクスを収集するためのエージェント
  • CloudWatch エージェントは2種類ある
    • CloudWatch Logs エージェントが旧（2014/7廃止）
      • Python でできている
      • ログ
      • Linux のみ
      • 構成ウィザードでインストール
      • ini ファイルで設定
    • 統合 CloudWatch エージェントが新（2017/12）
      • Go でできている
      • ログとメトリクス
      • Linux 以外に Windows など複数プラットフォーム対応
      • 構成ウィザードでインストール、設定値をパラメータストアに保存可能（再利用できる）
      • json ファイルで設定

旧エージェント廃止が2014年ってめっちゃ古いですね。
知ってる人の方が少なそう。

LT③ [図解]Transit Gateway(TGW)利用時における専用サブネットの必要性

積田 優生さん

speakerdeck.com

  • TGW : VPC をつなぐ Hub みたいなもの
  • TGW アタッチメントは必須じゃないが /28 みたいな小さいサブネットを作る場合に有用

参考ブログ ： [図解]TGWアタッチメント専用サブネットの必要性

/24 とか大きめの CIDR を切って無駄にしないための設定が TGW の専用サブネットでできるよ！という話だったのかな...

所感

EC2 のディスクがいっぱいになって起動できないトラブルはありそうですね。
クラウドなんで拡張は簡単にできても、仮想環境に反映させるためにいろいろコツがいるので、ちゃんとエージェントで監視しておく必要を改めて感じました。
そして、古い CloudWatch エージェントが 2014年に廃止されてたことを知ったのですが、そんな昔に変更されてしかも新しいのは Go で作られてたんですね。

「nakanoshima.dev #33 - LT Night !」 #nakanoshima_dev 登壇＆受講メモ

AWS 勉強会

nakanoshima-dev.connpass.com

久しぶりのオフラインオンリーのイベントです！

セッション

  • 転職1年で社内認知度が50%になった話 Ryo MUKAI さん
    • 社内で勉強会を主催したりとにかくアウトプットしたお話
    • 雑談大事！アウトプット大事！
  • Lambda で Scala 庄司 重樹さん
    • Lambda SnapStart のお話
    • Scala も早くなった
  • HashicorpVaultでAWSクレデンシャルの管理を楽にしたい 黒野 雄稀さん
    • クレデンシャル管理してくれるサービス
    • Terraform を作っている会社
    • 一時クレデンシャルを発行してくれる
  • Amazon Inspector v2で脆弱性管理運用始めてみた chocopurinさん
    • サポート切れのインフラやソフトがある
    • EC2 の管理者が不明だったり
    • スキャンツール Amazon Inspector v2 を使って脆弱性確認
      • スキャン結果を S3 に CSV 履いてくれる
      • SSM agent 必要だけど入らないサーバーがあったり
  • 介護業務支援プラットフォーム：ヘルスケアDXのためのAWS IoTの活用 増田　健司さん
    • AWS IoT は APIG に比べてリーズナブル
    • ジャストインタイム登録がサポートされている
      • デバイス初回接続時に自動でプロビジョニング
  • あなたと「|」したい はまーんさん
    • エゴサ結果が辛いときに「でもそこが好き」とつけて解決
    • EventBridge Pipes の話
      • Kinesis 経由で SFn に流す
      • Comprehend で感情分析
  • 自己紹介用のwebページを作ってawsでデプロイするまで 田中 将斗さん
    • S3 バケット作って、パブリックにして、put 権限付与して、s3 cp
  • おすすめ育児グッズ向け SNS を AWS 新人が作ってみた 佐山 朝葉さん
    • Twitter ライクな SNS を作成
    • Working Backwords に従って1月で作成
      • 5つの質問、プレスリリース書く、FAQ練る、ビジュアルで体験をクリアに
    • AWS Cloud Practitioner Essentails コース受講
  • VPCを細かく切りすぎて失敗した話 三原俊介さん
    • 200台のオンプレを tcpdump でどのサーバーがどのサーバーとつながってるか調べるのつらかった
    • サブシステム単位で VPC 切って移行、TGW で接続
    • 月額$7,158請求、無料じゃなかった？
      • VPCE が高い、TGW 高い、VPC の数だけ課金されてしまった
  • RDS を Serverless v2 移行にして料金が上がった話 小室貴史
  • Salesforce と kintone と Slack と AWS CDK で SalesChatOps はじめました Takuya Oketaniさん
    • Slack を中心に動いていることがわかった
      • Slack にくるメッセージをひたすら解析してソリューションを構築
    • Slack Bolt を採用
    • JSforce
      • JS から Salesforce にアクセスする Library
  • お金のはなし yukahiさん
    • EMR + Spark で作成
    • EMR は EC2 + EMR の料金、スポットインスタンスが使える
    • マスターノードだけは落とさないように
    • スポットインスタンス
      • 中断率10%以下はほとんど落ちない、10-15%はたまに落ちるぐらい
      • 09:00(JST)は落ちやすい
  • AWS Copilot with AWS CDK 藤原 吉規さん
    • Elastic Beanstalk や OpsWork から脱却
    • CDK で VPC など周辺をつくって、copilot でコンテナアプリと CI/CD 構築
    • ORM の DataBase Migration もできる

資料

speakerdeck.com

speakerdeck.com

speakerdeck.com

www.docswell.com

speakerdeck.com

speakerdeck.com

所感

オフラインでの登壇は難しいですね。でも、楽しかった。
初登壇の人も何人かいましたが、みんな落ち着いててめっちゃ上手でした。
LT で言いたいこと言って気持ちよく年越しスペシャルだったので、お金の話が多めでした。

「Qiita Night～AWS～」 #QiitaNight 受講メモ

AWS 勉強会

increments.connpass.com

Qiita のイベントだけどはてなでメモる。

セッション

LT「CDK for Terraform ことはじめ」

山田 司さん

  • IaC といえば一般的には Terraform、AWS だけなら CDK
  • Terraform -マルチプラットフォーム
    • AWS/GCP/Azure, Datadog/New Relic, Auth0...
    • 言語が DSL でつらい
  • CDK
    • 言語が汎用
    • CloudFormation の辛さがそのまま
      • リージョンまたぎだめ
      • ドリフトで検出された差分の解決が辛い
  • CDK for Terraform
    • 言語が汎用
    • GA からまだ3ヶ月でまだまだだけど今後に期待

LT「AWS CDK (TypeScript) を継続的にメンテ可能にするために取り入れているノウハウ集」

渡辺 道和さん

speakerdeck.com

  • IaC コードは陳腐化しやすい
    • ライブラリは毎週のようにアップデートされる
  • renovate で自動更新
    • レビュー者をランダムにアサイン
    • 更新が激しいが影響が確実に無いものは automerge
  • snapshot テストによる差分確認
    • CFn テンプレートに影響しないか確かめる
    • ノイズ差分は snapshot serializer で無視
  • GitHub Actions の workflow に落とし込み
    • reusable workflow を導入して CI 内容を一元管理
      • 軽微な際は package.json で吸収

LT「AWSにおけるコンテナサービスの移り変わりと利用ユーザに求められることとは？」

小板橋 由誉さん

speakerdeck.com

  • ECS だと Code シリーズや ALB などたくさん準備大変
  • App Runner なら全部準備される
    • ECR に push すれば App Runner にデプロイ可能
    • コードを GitHub に push すればコンテナファイルかかなくても App Runner にデプロイ可能
    • 責任共有モデルとしてもアプリケーションのみが責任範囲
      • Fargate だと Runtime とかみないとダメだけどそれすらない
  • コンテナイメージ作成補助ツール
    • hadolint
    • Dockle
    • Trivy
    • Amazon Inspector

LT「マルチテナントとAurora Serverless V2」

大久保 和彦さん

  • Aurora Serverless v1
    • スケール速度が遅い
    • スケールアップの上限256ACU
    • スケール中にコネクション切れ発生
    • Reader レプリカなし
    • Performance Insights 未対応
  • Aurora Serverless v2
    • 高速スケーリング
      • 段階に上がるのでスパイクがあるなら最低 ACU を上げておく
    • Read レプリカ最大15インスタンス
    • Performance Insights 対応
    • xlarge 以上だとコスト効果あり

LT「CloudWatch LogsからGrafana Lokiにログ基盤を移行」

川合 拓央さん

  • CW Logs の PutLogEvents のコスト比率が高い
  • Grafana Loki
    • ログ収集検索、低コスト、スケーラブル
    • 運用コストは増える、金額コストは70%削減
    • S3 を Backend として使える

LT「CloudWatch Logs,SSM Session Managerを使って快適なコンテナ開発」

安藤 裕紀さん

  • ECS から CW Logs にログは出せるがお金はかかる
    • FluentBit -> S3 で費用削減
      • Athena での解析になり不便
    • FluentBit の環境変数で S3 or CW を切り替え
      • 開発は量が少ないしすぐみたいから CW
      • 本番は量が多いので S3
  • コンテナデバッグを Dev 環境でも IDE でやりたい
    • ECS タスクを1にする
    • タスク定義に mountPoints : readonly readonlyRootFilesystem : false
    • ポートフォワードするシェルスクリプト書いて SSM 経由で接続

所感

やっぱり Aurora Serverless v2 は large から置き換えるとコスト増えちゃいますよね。
この話は次回のプレゼンネタとして nakanoshima.dev に申し込んだ。

「re:Invent 2022 re:Cap 3rd Nightt」 #awsbasics 受講メモ

AWS 勉強会

awsbasics.connpass.com

メモるだけで精一杯。

セッション

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Announce on 30th

データ駆動型ビジネス

  • データドリブンな組織は毎年平均30%以上の成長
  • 68%の組織がデータから価値を見いだせないと回答
  • データ戦略を策定しているのは28%のみ

「データ駆動しようね」という前置き。

機械学習

  • 初期のMLでは試行錯誤が大変でできるだけ学習タスクを手軽に立ち上げることが重要だった
    • 現在MLの発展に伴い書学者の学習コストが問題になってきた
    • できるだけノーコード/ローコード化することが主眼に
  • 過去のアップデート
    • Amazon SageMaker Autopilot 2019
    • Amazon SageMaker Canvas 2021
    • Amazon SageMaker Groud Truth 2019
    • Amazon SageMaker Groud Truth Plus 2021
    • Amazon SageMaker Studio Notebooks 2021
    • Amazon SageMaker Infrastructure Innovation 2021
      • Amazon SageMaker Training Compiler
      • Amazon SageMaker Inference Recommender
      • Amazon SageMaker Serverless Inference
    • Amazon SageMaker Neo 2019
    • Amazon SageMaker Data Prallelism / Model Parallelism 2020
    • Amazon SageMaker Clarify 2020
      • 学習データと特徴量がずれていても推論する
    • Deep Profiling for SageMaker Debbugger 2020
    • Amazon SageMaker Edge Manager 2020
      • 出来上がったモデルをエッジ環境に配置
    • Amazon SageMaker Jump Start 2020
      • 15+の利用シーン、150+のモデルを OSS で提供
      • 転移学習でモデルを育成
    • New on Amazon SageMaker 2020
      • SageMaker Data Wrangler : 学習データの可視化と操作
      • SageMaker Feature Store : 特徴量の管理
      • SageMaker Pipeline : ML OPS
  • 今年のアップデート
    • SageMaker Role Manager
      • ガバナンス強化
    • SageMaker Model Cards
      • モデルのライフサイクルを通してドキュメントの集中化および標準化を提供
        • データサイエンティストがモデルにコメントできる
    • SageMaker Model Dashboard
    • Geospatial ML with Amazon SageMaker
      • 地理空間をサポートし、地理空間データを作ったモデルの構築やトレーニング、デプロイを簡単に
      • オープンデータを使うことも自身のデータ持ち込みも可能
    • Amazon SageMaker Shadow Testing
      • 次期モデルと現モデルとの比較検証を可能に
    • Amazon SageMaker AutoPilot Pipeline integration
      • Auto Pilot が Pipeline に対応して CI/CD への組み込み可能に
        • Auto Pilot : 構造化データに対する Auto ML の実現
        • Pipeline : 機械学習専用 CICD パイプラインを管理 (MLOps)
    • Amazon SageMaker JumpStart Updates
    • Amazon SageMaker Studio Updates
      • 自動でバックアップを取って自動でコンテナ環境を作ってくれる
      • リアルタイムペアプロ対応

Keynote

  • AWS Glue Data Quality
    • 品質管理ルールのマネージドサービス
      • データを自動的に分析して自動でアップデートしてくれる
      • NULL が多いデータを弾いたりできる
  • Athena for Apache Spark
    • SQL だけではなく Spark で問い合わせできるように
  • DocumentDB Elastic Clusters
    • パフォーマンスやストレージの自動拡張
      • Aurora みたいなストレージになった
    • with MongoDB がいつのまにか外れてる
  • Redshift Multi-AZ for RA3
    • Redshift が Multi-AZ 対応した
      • RA3 インスタンスにてストレージとコンピュートリソースが分離したので Multi-AZ に対応できた
  • Redshift Data Sharing
    • Rdshift クラスター間でセキュアに簡単にデータを共有
      • 同じストレージをみる別のクラスターができあがる
  • Redshift auto-copy from S3
    • S3 から Redshift へのデータロードを簡素化
    • パスを追跡し新しいファイルを自動的に読み込むための継続的な取り組みルールを設定可能に
  • PostgreSQL on Aurora and RDS Trusted Language Extentions
    • PostgreSQL が持っていた機能が RDS に対応
      • 任意の言語で PostgreSQL を拡張できるようになった
  • Guard Duty RDS Protection
    • RDS のログインなどに怪しいのがあると検出

その他

  • S3 Access Points Cross account access points
  • AI Service Cards
    • AI サービスを使うお客さんが知っとくといいことの資料集
    • Rekognition, Textract, Transcribe からサービス開始
  • AppFlow 22 new connectors
    • 新しく22のサービス追加
  • DataExchange for LakeFormation / S3
    • Data をコピーして取得するのではなく、先方が持っているデータにアクセスできるようになる
    • マーケットプレイス経由のサービス

昨日時間切れしたその他内容の続き

  • FSx for OpenZFS Updates
    • パフォーマンス向上
  • FSx for NetApp ONTAP Updates
    • パフォーマンス向上
    • Multi-AZ デプロイが簡単に
  • Nitro Enclaves EKS and k8s support
    • EKS や k8s の設定が簡単になった
  • Redshift Real time data ingresion from Kinesis Data Stream from Amazon MSK
  • Redshift Dynamic Data Masking
    • 事前ルールに沿ってデータをマスキングしてクエリが戻る
  • Key Management Service External Key store
    • 外部の鍵管理システムに保存された暗号鍵でデータ保護が可能に
  • EC2 I4i Torn Write Prevention
    • 書き込み中に落ちてもなくならないように
  • Amazon Verified Access
    • VPN 不要で企業アプリへの安全なアクセスを実現
  • Amazon VPC Lattice
    • クロスアカウント、クロスVPC接続、アプリケーション層のロードバランシグを実現
  • Kinesis Data firehose / OpenSearch Data delivery
    • データストリームの先に OpenSearch が指定可能に
  • Contact Lens for Amazon Connect + Call Summarization Chat Support
    • 通話終了後にまとめて通話メモを自動作成、チャットに対応した

所感

データ駆動の波に乗り遅れること無く、今年始めれたのが良かった。
おかげで Glue などのアップデートも理解しやすいです。

「re:Invent 2022 re:Cap 2nd Night」 #awsbasics 受講メモ

AWS 勉強会

awsbasics.connpass.com

Keynote も始まったのでキャッチアップが大変になってきました。

セッション

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Announce on 29th + Latest major updates

Monday Night

  • Nitro v5 発表
  • EC2 C7gn インスタンス
    • コンピュート特化型、第7世代、Graviton3E、ネットワーク最適化インスタンス
    • 200Gbps, 64vCPU, 128GiBメモリ
  • Graviton3E
    • AWS の ARM ベースプロセッサ
    • 浮動小数点とベクトル演算のパフォーマンスに最適化
  • EC2 HPC7g インスタンス
  • SRD(Scalable Reliable Datagram)
    • Nitro 内で利用している謎プロトコル、詳細は非公開、TCP の衝突問題を回避
    • Placement Group Network、ピラミッド型のネットワークではなくメッシュ型のネットワーク特化
  • EBS io2 SRD
    • SRD を EBS に適用してパフォーマンス向上
  • ENA Express
    • SRD を採用したネットワークインターフェースで安定性と高スループットを提供
    • SRD テクノロジーを一般的なワークロードで活用可能に
    • 同じ AZ に存在するインスタンス間の高速化
  • EC2 Trn1n インスタンス
    • Trn1(トライリウム) の800Gbps をもったインスタンスの拡張版で1600Gbps
  • Lambda SnapStart
    • コールドスタートレイテンシを劇的に削減、追加費用無し
    • Corretto(Java11) ランタイムのみ、最大90%待ち時間削減
    • Firecracker のスナップショット機能などで改善された

KeyNote

  • OpenSearch Service Serverless
    • Aurora や Redshift と同じくコンピュートリソースを Serverless 化
  • Aurora Zero-ETL integration with Redshift
    • Aurora からリアルタイムで Redshift と連携してクエリを投げれるように
  • Redshift integration Apache Spark
    • Redshift 上で Apache Spark アプリのシームレスな構築が可能に
  • Amazon DataZone
    • 大規模なデータの共有、検索、発見を実現
    • データ分析ポータルを通じて他のデータカタログに検索などできる
  • QuickSight Q 2 Updates
    • QuickSight Q は自然言語でグラフをつくるサービス
    • 2つの質問に対応
      • forcast で3つの指標の予測
      • why で貢献度分析
  • Security Lake
    • セキュリティ系のログを保存する専用のサービス
    • AWS 以外からも保存できる
    • Open Cybersecurity Schema Framework(OCSF) を採用
  • EC2 Inf2
    • Inferentia 推論専用チップの第2世代
  • EC2 Hpc6id
  • SimSpace Weaver
    • 大規模な空間シミュレーションをクラウドで展開するマネージドサービス
  • Connect 2 updates
    • step-by-step guides in agent workspace : 関連する FAQ を自動で出す
    • forecasting, capacity planning, and scheduling : 需要予測してエージェント配置を実現
  • Supply Chain
  • Clean Rooms
    • データクリーンルームを作るマネージドサービス
      • データクリーンルームとはプライバシー保護のため個人情報保護したセキュアなデータ操作環境の場所
        • 個人情報をクレンジングしてくれる
  • Omics
  • EC2 M6in, M6idn
  • QuickSight 3 Updates
    • Expanded API capability : API で SDK を使って QuickSight ダッシュボードや分析にプログラムでアクセスが可能に
    • Pagenated Report : 複数ページの分割レポートをつくるときに綺麗にしてくれる
    • Q Automated data preparation : Q を作るためのデータ事前準備作業が対話型インターフェースで動的に行えるように

その他

  • Inspector AWS Lambda Support
  • Compute Optimizer External metric support
    • EC2 のメモリの利用指標を特定することで削減の提案ができるように
    • Datadog など外部ツール利用者向けの機能にメモリも追加された
  • ELB Updates
    • ターゲットグループ単位でクロスゾーン負荷分散切り離し対応
      • AZ を切り離すことはできなかったができるようになった
    • NLB Helth Check 改善 : ヘルスチェックの詳細設定が増えた
    • ALB/NLB Minimum Healty ターゲット : 健全な最小ターゲット数を指定可能に
    • Zonal shift for ALB and NLB : クロスゾーン負荷分散をオフにして、ゾーン単位で切替可能に

所感

KeyNote で熱かったのは Aurora Zero-ETL integration with Redshift かな。
Redshift 使う気になる。

「re:Invent 2022 re:Cap 1st Night」 #awsbasics 受講メモ

AWS 勉強会

awsbasics.connpass.com

Keynote 前なのにすごい量ですね。

セッション

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

2021 re:Invent re:Cap + 2022 Major updates

  • CodeWhisperer : 一般提供開始、自然言語でコメントを読み取ってコードを補完/補助してくれる、プラグインを VSCode などに入れて利用する、Python/Java/JavaScript/C#/TypeScript
  • RDS Optimized Reads/Writes : MySQL のみ Aurora 未対応、EBS からインスタンスストアのテンポラリ領域にクエリを移動させて実行させることで高速化させる
  • RDS Blue/Green Deployment : RDS クラスターの B/G デプロイを実現、本番環境のミラーリングのステージを簡単に作れる
  • IoT Core Device Location : GPS を使わない、いくつかの推測できる情報から GPS の代替として地理座標を取得、IP や WiFi や セルラー三角測量など利用
  • IoT Core MQTT v5 : MQTT v5 対応
  • IoT Device Management Job Scheduler : Job 機能が Schedule 実行に対応
  • CloudWatch Internet Monitor : インターネットの問題がアプリのパフォーマンスと可用性にどのような影響を与えるか可視化、異なる地理的な場所やネットワークにいるユーザーが経験するインターネット上で発生する問題を認識
  • CloudWatch データ保護機能の強化 : パターンマッチングと機械学習を使って機密情報の検出と保護
  • Elastic Desaster Recovery automated Failback : フェイルオーバーが行われた後任意のタイミングでファイルバック処理を自動化
  • ECS Service Connect : ECS に対障害性のレイヤーを追加してトラフィックに関する洞察を確認、ALB/AppMesh 不要でロードバランシングできるようになる、Cloud Map の論理名で ECS にアクセスできる
  • EFS Elastic Throughput : 必要なスループットを従量課金で提供
  • EFS New LifeCycle Policy : IA へ移動させるライフサイクル設定が 7,14,30,60,90日に加えて1日の設定が追加
  • EFS パフォーマンス改善 : 読み込み60%、書き込み40%(64KB以下のみ) 改善
  • Backup - CloudFormation stack : データ保護ポリシーに CFn スタックをアタッチ可能に、IaC 基盤のバックアップができるようになった
  • Backup - Amazon Redshift support : Redhift 対応、Backup で一元管理できるように
  • Organization 管理者権限の委譲 : サブ管理者をたてて委譲できるように
  • Macie Automated Data Discovery : バケット単位のサンプリングで機密情報を含むバケットを特定、フルスキャンしなくてよくなった、監視対象を自動でチューニング
  • Glue 4.0 : 後方互換性の無い OSS を含むためユーザーが明示的にバージョンを指定できるように、Python 3.10 Apache Spark 3.3.0 で2-3倍の高速化、Spark 向け Cloud Shuffle Service プラグイン対応、Adaptive Query Execution に対応、Pandas 対応、新データフォーマット Apache Hudi, Apache Iceburg, Delta Lake サポート
  • Glue for Ray : 小規模なワークロードは Python のシングルノード処理エンジンを使用していたが Ray は Python ワークロードをスケールできる OSS フレームワーク、マルチノード分散クラスターで Python 実行
  • Glue Custom Visual Transform : Glue Studio の追加機能、独自の ETL ロジックや Studio 上の入力規則を作成して共有、マスター管理者が他の管理者向けに作業効率を向上させることが可能
  • Wicker : 音声チャットビデオに対応、Chime のセキュリティ強化版みたいなもの
  • EKS Marketplace Direct Deployment : コンテナを一旦 ECR などのリポジトリに保存する必要がなくなった
  • Verified Permission : Frontend など AWS の外側で認証認可を実現する
  • EC2 Microsoft Officel AMI : MS Office が入った AMI、月額課金なので注意
  • EC2 R7iz : 4th Generation Intel Xeon Scalable プロセッサー
  • Redshift Updates : MERGE クエリサポート、ROLLUP/CUBE/GROUPING SETS クエリサポート、半構造化データの読み込みが16MBに
  • Config Rules Proactive Compliance : リソースが起動される前に違反したリソースを中止する
  • Control Tower Comprehensive Controls Management : CFn がプロビジョニングされるタイムングでコンプラ違反のリソースをブロック
  • Control Tower Account Factory Customization : 管理対象 AWS 作成時に Service Catalog に登録した CFn テンプレートを実行
  • VPC Reachability Analyzer AWS Organization 経由のマルチアカウント対応
  • S3 Multi-Region Access Points Failover control : Global Accelerator を活用して障害児に別リージョンにレプリケーションされている S3 バケットへルーティング、手動切替でテスト可能に
  • Braket Algorithm Library : よくあるアルゴリズムの Python 実装を Github で OSS 公開
  • Network Manager Real-time performance monitoring : ネットワークのレイテンシーを集約、通信のレイテンシーを取りやすくなった
  • CLoudTrail Lake config integration : config に合致してない操作が CloudTrail のどの操作で引き起こされたかの特定が容易に

所感

自分的に熱いのは ECS Service Connect かな。
ALB 抜けるなら、費用的に削減できそう。