omuronの備忘録

個人的な備忘録

「re:Invent 2022 re:Cap 3rd Nightt」 #awsbasics 受講メモ

awsbasics.connpass.com

メモるだけで精一杯。

セッション

講師:アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Announce on 30th

データ駆動型ビジネス

  • データドリブンな組織は毎年平均30%以上の成長
  • 68%の組織がデータから価値を見いだせないと回答
  • データ戦略を策定しているのは28%のみ

「データ駆動しようね」という前置き。

機械学習

  • 初期のMLでは試行錯誤が大変でできるだけ学習タスクを手軽に立ち上げることが重要だった
    • 現在MLの発展に伴い書学者の学習コストが問題になってきた
    • できるだけノーコード/ローコード化することが主眼に
  • 過去のアップデート
    • Amazon SageMaker Autopilot 2019
    • Amazon SageMaker Canvas 2021
    • Amazon SageMaker Groud Truth 2019
    • Amazon SageMaker Groud Truth Plus 2021
    • Amazon SageMaker Studio Notebooks 2021
    • Amazon SageMaker Infrastructure Innovation 2021
      • Amazon SageMaker Training Compiler
      • Amazon SageMaker Inference Recommender
      • Amazon SageMaker Serverless Inference
    • Amazon SageMaker Neo 2019
    • Amazon SageMaker Data Prallelism / Model Parallelism 2020
    • Amazon SageMaker Clarify 2020
      • 学習データと特徴量がずれていても推論する
    • Deep Profiling for SageMaker Debbugger 2020
    • Amazon SageMaker Edge Manager 2020
      • 出来上がったモデルをエッジ環境に配置
    • Amazon SageMaker Jump Start 2020
      • 15+の利用シーン、150+のモデルを OSS で提供
      • 転移学習でモデルを育成
    • New on Amazon SageMaker 2020
      • SageMaker Data Wrangler : 学習データの可視化と操作
      • SageMaker Feature Store : 特徴量の管理
      • SageMaker Pipeline : ML OPS
  • 今年のアップデート
    • SageMaker Role Manager
      • ガバナンス強化
    • SageMaker Model Cards
      • モデルのライフサイクルを通してドキュメントの集中化および標準化を提供
        • データサイエンティストがモデルにコメントできる
    • SageMaker Model Dashboard
    • Geospatial ML with Amazon SageMaker
      • 地理空間をサポートし、地理空間データを作ったモデルの構築やトレーニング、デプロイを簡単に
      • オープンデータを使うことも自身のデータ持ち込みも可能
    • Amazon SageMaker Shadow Testing
      • 次期モデルと現モデルとの比較検証を可能に
    • Amazon SageMaker AutoPilot Pipeline integration
      • Auto Pilot が Pipeline に対応して CI/CD への組み込み可能に
        • Auto Pilot : 構造化データに対する Auto ML の実現
        • Pipeline : 機械学習専用 CICD パイプラインを管理 (MLOps)
    • Amazon SageMaker JumpStart Updates
    • Amazon SageMaker Studio Updates
      • 自動でバックアップを取って自動でコンテナ環境を作ってくれる
      • リアルタイムペアプロ対応

Keynote

  • AWS Glue Data Quality
    • 品質管理ルールのマネージドサービス
      • データを自動的に分析して自動でアップデートしてくれる
      • NULL が多いデータを弾いたりできる
  • Athena for Apache Spark
    • SQL だけではなく Spark で問い合わせできるように
  • DocumentDB Elastic Clusters
    • パフォーマンスやストレージの自動拡張
      • Aurora みたいなストレージになった
    • with MongoDB がいつのまにか外れてる
  • Redshift Multi-AZ for RA3
    • Redshift が Multi-AZ 対応した
      • RA3 インスタンスにてストレージとコンピュートリソースが分離したので Multi-AZ に対応できた
  • Redshift Data Sharing
    • Rdshift クラスター間でセキュアに簡単にデータを共有
      • 同じストレージをみる別のクラスターができあがる
  • Redshift auto-copy from S3
    • S3 から Redshift へのデータロードを簡素化
    • パスを追跡し新しいファイルを自動的に読み込むための継続的な取り組みルールを設定可能に
  • PostgreSQL on Aurora and RDS Trusted Language Extentions
    • PostgreSQL が持っていた機能が RDS に対応
      • 任意の言語で PostgreSQL を拡張できるようになった
  • Guard Duty RDS Protection
    • RDS のログインなどに怪しいのがあると検出

その他

  • S3 Access Points Cross account access points
  • AI Service Cards
    • AI サービスを使うお客さんが知っとくといいことの資料集
    • Rekognition, Textract, Transcribe からサービス開始
  • AppFlow 22 new connectors
    • 新しく22のサービス追加
  • DataExchange for LakeFormation / S3
    • Data をコピーして取得するのではなく、先方が持っているデータにアクセスできるようになる
    • マーケットプレイス経由のサービス

昨日時間切れしたその他内容の続き

  • FSx for OpenZFS Updates
    • パフォーマンス向上
  • FSx for NetApp ONTAP Updates
    • パフォーマンス向上
    • Multi-AZ デプロイが簡単に
  • Nitro Enclaves EKS and k8s support
    • EKS や k8s の設定が簡単になった
  • Redshift Real time data ingresion from Kinesis Data Stream from Amazon MSK
  • Redshift Dynamic Data Masking
    • 事前ルールに沿ってデータをマスキングしてクエリが戻る
  • Key Management Service External Key store
    • 外部の鍵管理システムに保存された暗号鍵でデータ保護が可能に
  • EC2 I4i Torn Write Prevention
    • 書き込み中に落ちてもなくならないように
  • Amazon Verified Access
    • VPN 不要で企業アプリへの安全なアクセスを実現
  • Amazon VPC Lattice
    • クロスアカウント、クロスVPC接続、アプリケーション層のロードバランシグを実現
  • Kinesis Data firehose / OpenSearch Data delivery
    • データストリームの先に OpenSearch が指定可能に
  • Contact Lens for Amazon Connect + Call Summarization Chat Support
    • 通話終了後にまとめて通話メモを自動作成、チャットに対応した

所感

データ駆動の波に乗り遅れること無く、今年始めれたのが良かった。
おかげで Glue などのアップデートも理解しやすいです。

「re:Invent 2022 re:Cap 2nd Night」 #awsbasics 受講メモ

awsbasics.connpass.com

Keynote も始まったのでキャッチアップが大変になってきました。

セッション

講師:アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Announce on 29th + Latest major updates

Monday Night

  • Nitro v5 発表
  • EC2 C7gn インスタンス
    • コンピュート特化型、第7世代、Graviton3E、ネットワーク最適化インスタンス
    • 200Gbps, 64vCPU, 128GiBメモリ
  • Graviton3E
    • AWS の ARM ベースプロセッサ
    • 浮動小数点とベクトル演算のパフォーマンスに最適化
  • EC2 HPC7g インスタンス
  • SRD(Scalable Reliable Datagram)
    • Nitro 内で利用している謎プロトコル、詳細は非公開、TCP の衝突問題を回避
    • Placement Group Network、ピラミッド型のネットワークではなくメッシュ型のネットワーク特化
  • EBS io2 SRD
    • SRD を EBS に適用してパフォーマンス向上
  • ENA Express
    • SRD を採用したネットワークインターフェースで安定性と高スループットを提供
    • SRD テクノロジーを一般的なワークロードで活用可能に
    • 同じ AZ に存在するインスタンス間の高速化
  • EC2 Trn1n インスタンス
    • Trn1(トライリウム) の800Gbps をもったインスタンスの拡張版で1600Gbps
  • Lambda SnapStart
    • コールドスタートレイテンシを劇的に削減、追加費用無し
    • Corretto(Java11) ランタイムのみ、最大90%待ち時間削減
    • Firecracker のスナップショット機能などで改善された

KeyNote

  • OpenSearch Service Serverless
    • Aurora や Redshift と同じくコンピュートリソースを Serverless 化
  • Aurora Zero-ETL integration with Redshift
    • Aurora からリアルタイムで Redshift と連携してクエリを投げれるように
  • Redshift integration Apache Spark
    • Redshift 上で Apache Spark アプリのシームレスな構築が可能に
  • Amazon DataZone
    • 大規模なデータの共有、検索、発見を実現
    • データ分析ポータルを通じて他のデータカタログに検索などできる
  • QuickSight Q 2 Updates
    • QuickSight Q は自然言語でグラフをつくるサービス
    • 2つの質問に対応
      • forcast で3つの指標の予測
      • why で貢献度分析
  • Security Lake
    • セキュリティ系のログを保存する専用のサービス
    • AWS 以外からも保存できる
    • Open Cybersecurity Schema Framework(OCSF) を採用
  • EC2 Inf2
    • Inferentia 推論専用チップの第2世代
  • EC2 Hpc6id
  • SimSpace Weaver
    • 大規模な空間シミュレーションをクラウドで展開するマネージドサービス
  • Connect 2 updates
    • step-by-step guides in agent workspace : 関連する FAQ を自動で出す
    • forecasting, capacity planning, and scheduling : 需要予測してエージェント配置を実現
  • Supply Chain
  • Clean Rooms
    • データクリーンルームを作るマネージドサービス
      • データクリーンルームとはプライバシー保護のため個人情報保護したセキュアなデータ操作環境の場所
        • 個人情報をクレンジングしてくれる
  • Omics
  • EC2 M6in, M6idn
  • QuickSight 3 Updates
    • Expanded API capability : APISDK を使って QuickSight ダッシュボードや分析にプログラムでアクセスが可能に
    • Pagenated Report : 複数ページの分割レポートをつくるときに綺麗にしてくれる
    • Q Automated data preparation : Q を作るためのデータ事前準備作業が対話型インターフェースで動的に行えるように

その他

  • Inspector AWS Lambda Support
  • Compute Optimizer External metric support
    • EC2 のメモリの利用指標を特定することで削減の提案ができるように
    • Datadog など外部ツール利用者向けの機能にメモリも追加された
  • ELB Updates
    • ターゲットグループ単位でクロスゾーン負荷分散切り離し対応
      • AZ を切り離すことはできなかったができるようになった
    • NLB Helth Check 改善 : ヘルスチェックの詳細設定が増えた
    • ALB/NLB Minimum Healty ターゲット : 健全な最小ターゲット数を指定可能に
    • Zonal shift for ALB and NLB : クロスゾーン負荷分散をオフにして、ゾーン単位で切替可能に

所感

KeyNote で熱かったのは Aurora Zero-ETL integration with Redshift かな。
Redshift 使う気になる。

「re:Invent 2022 re:Cap 1st Night」 #awsbasics 受講メモ

awsbasics.connpass.com

Keynote 前なのにすごい量ですね。

セッション

講師:アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

2021 re:Invent re:Cap + 2022 Major updates

  • CodeWhisperer : 一般提供開始、自然言語でコメントを読み取ってコードを補完/補助してくれる、プラグインVSCode などに入れて利用する、Python/Java/JavaScript/C#/TypeScript
  • RDS Optimized Reads/Writes : MySQL のみ Aurora 未対応、EBS からインスタンスストアのテンポラリ領域にクエリを移動させて実行させることで高速化させる
  • RDS Blue/Green Deployment : RDS クラスターの B/G デプロイを実現、本番環境のミラーリングのステージを簡単に作れる
  • IoT Core Device Location : GPS を使わない、いくつかの推測できる情報から GPS の代替として地理座標を取得、IP や WiFiセルラー三角測量など利用
  • IoT Core MQTT v5 : MQTT v5 対応
  • IoT Device Management Job Scheduler : Job 機能が Schedule 実行に対応
  • CloudWatch Internet Monitor : インターネットの問題がアプリのパフォーマンスと可用性にどのような影響を与えるか可視化、異なる地理的な場所やネットワークにいるユーザーが経験するインターネット上で発生する問題を認識
  • CloudWatch データ保護機能の強化 : パターンマッチングと機械学習を使って機密情報の検出と保護
  • Elastic Desaster Recovery automated Failback : フェイルオーバーが行われた後任意のタイミングでファイルバック処理を自動化
  • ECS Service Connect : ECS に対障害性のレイヤーを追加してトラフィックに関する洞察を確認、ALB/AppMesh 不要でロードバランシングできるようになる、Cloud Map の論理名で ECS にアクセスできる
  • EFS Elastic Throughput : 必要なスループットを従量課金で提供
  • EFS New LifeCycle Policy : IA へ移動させるライフサイクル設定が 7,14,30,60,90日に加えて1日の設定が追加
  • EFS パフォーマンス改善 : 読み込み60%、書き込み40%(64KB以下のみ) 改善
  • Backup - CloudFormation stack : データ保護ポリシーに CFn スタックをアタッチ可能に、IaC 基盤のバックアップができるようになった
  • Backup - Amazon Redshift support : Redhift 対応、Backup で一元管理できるように
  • Organization 管理者権限の委譲 : サブ管理者をたてて委譲できるように
  • Macie Automated Data Discovery : バケット単位のサンプリングで機密情報を含むバケットを特定、フルスキャンしなくてよくなった、監視対象を自動でチューニング
  • Glue 4.0 : 後方互換性の無い OSS を含むためユーザーが明示的にバージョンを指定できるように、Python 3.10 Apache Spark 3.3.0 で2-3倍の高速化、Spark 向け Cloud Shuffle Service プラグイン対応、Adaptive Query Execution に対応、Pandas 対応、新データフォーマット Apache Hudi, Apache Iceburg, Delta Lake サポート
  • Glue for Ray : 小規模なワークロードは Python のシングルノード処理エンジンを使用していたが Ray は Python ワークロードをスケールできる OSS フレームワーク、マルチノード分散クラスターで Python 実行
  • Glue Custom Visual Transform : Glue Studio の追加機能、独自の ETL ロジックや Studio 上の入力規則を作成して共有、マスター管理者が他の管理者向けに作業効率を向上させることが可能
  • Wicker : 音声チャットビデオに対応、Chime のセキュリティ強化版みたいなもの
  • EKS Marketplace Direct Deployment : コンテナを一旦 ECR などのリポジトリに保存する必要がなくなった
  • Verified Permission : Frontend など AWS の外側で認証認可を実現する
  • EC2 Microsoft Officel AMI : MS Office が入った AMI、月額課金なので注意
  • EC2 R7iz : 4th Generation Intel Xeon Scalable プロセッサー
  • Redshift Updates : MERGE クエリサポート、ROLLUP/CUBE/GROUPING SETS クエリサポート、半構造化データの読み込みが16MBに
  • Config Rules Proactive Compliance : リソースが起動される前に違反したリソースを中止する
  • Control Tower Comprehensive Controls Management : CFn がプロビジョニングされるタイムングでコンプラ違反のリソースをブロック
  • Control Tower Account Factory Customization : 管理対象 AWS 作成時に Service Catalog に登録した CFn テンプレートを実行
  • VPC Reachability Analyzer AWS Organization 経由のマルチアカウント対応
  • S3 Multi-Region Access Points Failover control : Global Accelerator を活用して障害児に別リージョンにレプリケーションされている S3 バケットへルーティング、手動切替でテスト可能に
  • Braket Algorithm Library : よくあるアルゴリズムPython 実装を GithubOSS 公開
  • Network Manager Real-time performance monitoring : ネットワークのレイテンシーを集約、通信のレイテンシーを取りやすくなった
  • CLoudTrail Lake config integration : config に合致してない操作が CloudTrail のどの操作で引き起こされたかの特定が容易に

所感

自分的に熱いのは ECS Service Connect かな。
ALB 抜けるなら、費用的に削減できそう。

「AWSの基礎を学ぼう 第百四回 Amazon Rekognition」 #awsbasics 受講メモ

awsbasics.connpass.com

前回申込忘れで受けることができませんでした。
今回は画像解析の Amazon Rekognition です。

セッション

講師:アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Amazon Rekognition

  • 以下の検出に対応
    • 顔検出と分析
    • 有名人の認識
      • IMDb(インターナショナルムービーデータベース) に依存
    • 物体の検出
    • シーンの検出
    • contentのモデレーション
      • アダルトチェック
    • 活動の検出
    • 動線の検出
    • テキストの検出
      • アルファベットのみ
  • 物体とシーンの検出
    • AWS の学習済みデータなので汎用的なもののみ認識
      • サポートに対応する物体やシーンの要望を出すこともできる(が実装されるかは別)
    • カスタムラベルで独自な検出も可能
  • 顔認識
    • 年齢、性別、感情など
    • 2つの写真で「顔の比較」もでき、同一人物か推測できる
  • 顔検索
    • 一度 Rekognition に登録すると自分専用の S3 にインデックスとして登録される
      • 画像が保存されるのではなく、特徴量のみ特徴量コレクションとして保存される
    • 同じ顔写真の検索ができるようになる
      • 学校にくる写真屋さんとかで自分の子供を検索できたりする事例など
  • イメージモデレーション
    • 明示的なヌード - Explicit Nudity
      • ヌード検出
    • 暗示的なヌード - Suggestive
      • 水着とか検出
    • 2次元は検出できない
  • 物体上のラベル認識
    • アルファベットのみ、上限50単語
    • テキスト認識は Amazon textract が対応

Amazon Rekognition Video

  • 動画認識サービス
  • 基本は静止画と同じサービス
  • S3 の mp4/mov か Kinesis Video Stream に対応

Amazon Rekognition Custom Labels

  • 転移学習、すでにあるモデルを使って少しのデータで新しいモデルを作る
  • 20-30枚学習させると独自モデルを作れる
  • ラベリング作業が必要
    • SageMaker Groud Truth を使ってラベリングを自動化もできる

データプライバシーの注意

  • オプトアウトしない限り Rekognition の学習に使われるので注意

よくある質問 - Amazon Rekognition | AWS

Amazon Rekognition は、下記のようにオプトアウトしない限り、サービスの提供と保守、Amazon Rekognition や他の Amazon 機械学習/人工知能技術の品質の向上のためにのみ、サービスによって処理された画像とビデオの入力を保存して使用することができます。関連する技術の開発やトレーニングを含め、Amazon Rekognition のお客様体験を継続的に改善するには、コンテンツの使用が重要です。AWS では、お客様のコンテンツに含まれる個人情報を使用して、お客様やお客様のエンドユーザーを製品、サービス、またはマーケティングのターゲットにすることはありません。AWS の最優先事項は、お客様からの信頼、プライバシー、およびお客様のコンテンツのセキュリティです。また、AWS では、転送中や保管時の暗号化など、お客様のコンテンツへの不正アクセスやお客様のコンテンツの公開を防ぐように設計された、高度で信頼できる技術的および物理的な規制を行っています。さらに、AWS がデータを使用する場合はお客様との契約を確実に遵守します。詳細については、https://aws.amazon.com/compliance/data-privacy-faq/ をご参照ください。AWS Organizations オプトアウトポリシーを使用して、Amazon Rekognition や他の Amazon 機械学習/人工知能技術の品質の向上を目的としてお客様の画像やビデオの入力が保存されることがないようにオプトアウトすることができます。オプトアウトする方法の詳細については、「AI サービスのオプトアウトポリシーの管理」をご参照ください。

所感

学校に来るような写真屋さんが使って自分の子供を見逃さないように使ったなどの事例があるようです。
仕事的にテキスト認識が日本語に対応してくれると助かりそう。

「JAWS-UG初心者支部#51 re:invent前に2022年Update振り返り」 #jawsug_bgnr 受講メモ

jawsug-bgnr.connpass.com

久しぶりの初心者支部参加!

セッション

今年のUpdate振り返り

ウェブ サービス ジャパン合同会社 亀田 治伸様

  • AWS Cloud WAN
    • グローバルで WAN(LAN) を一発で作れるサービス
    • Transit Gateway の拡張版みたいなもの
    • 中央一括で JSON で管理できる
  • Amazon Direct Connect SiteLink
  • AWS Private 5G
    • 特定の Private な範囲で免許不要で 5G を提供(日本は未サービス)
  • Amazon VPC Network Access Analyzer
    • VPC の通信の調査結果を生成
  • Amazon VPC IP Address Manager
    • IP アドレスブロックを管理できる
  • AWS Well-Architected Framework
  • AWS Customer Carbon Footprint Tool
    • 使っている CO2 の量を測れる
  • AWS Mainframe Modernization
  • AWS Migration Hub Refactor Spaces
    • EC2 と Lambda で B/G デプロイできる環境を作ってくれたりする
  • AWS Control Tower Updates
    • リージョン単位でのオプトアウト可能に
  • Serverless, on-demand analytics
    • Kinesis on-demand
    • EMR Serverless
    • MSK(Managed Service Kafuka) Serverless
    • Redshift Serverless
    • Glue はもともと Serverless だったけど Job の下回りで Worker が起動して動いてた
      • 改善されて Glue interactive sessions という名前に

たくさんあるけど自分が使う可能性がありそうなのは Redshift Serverless ぐらい!?

Amazon SageMaker CanvasのUpdate

織田 繁様

speakerdeck.com

  • Amazon SageMaker Canvas
    • データを準備するだけでノーコードで「教師あり学習」ができる
    • ML の知識不要、とはいえデータ整備の経験がないと精度を上げるのは難しい

Forecast 触ったときも同じこと思いました。
結局 ML 知識がないとつらい。

QuickSight のアップデート

尾谷 紘平様

  • いろいろなデータソースに対応
  • ビジュアル領域の拡張
    • ノートPCなどでも操作しやすくなった
  • ダッシュボードのリスト表示対応
    • サムネイルが似ていると判断しにくいところが解決
  • 日時の比較計算と累積計算の追加
  • タイトルテキストのリッチテキストフォーマット対応
  • 折れ線グラフが2,500 -> 10,000 までデータポイントが拡張
  • グループ作成機能が CLI のみだったのがマネジメントコンソール対応
  • CloudWatch に SPICE の消費量をモニタリング可能に

QuickSight 触ってると色々アップデートされてるとは思ってましたが、あまり意識はしてませんでした。
一つずつ認識しているのがすごい。

AWS Cloud WANをちょこっと試してみました。

鈴木元気様

英語のドキュメントみて30分程度で作れるって、ネットワークちゃんと理解しているからこそだと思います。

FISのネットワーク接続中断アクションでリージョン間フェイルオーバーを試してみた

山本 竜司様

カオスエンジニアリングのサービスですね。
リージョンダウンをテンプレート作るだけで簡単に試すことができるみたいです。

RDS初心者がやってみた!EC2間とのワンクリック接続セットアップ機能

上地 航平様

speakerdeck.com

検証用の RDS を立てる際に簡単に EC2 に接続できるサービスのようです。
ルートテーブル名を自動生成される名前と同じ名前で作っておかないと Private サブネットが増殖するようなので注意を。

テクニカルサポート業務に役立ったアップデート

上地 申吾様

  • RDS MySQL 5.7 -> 8.0 はスナップショットから復元しかできなかったのがインプレースがサポート

RDS には、内向け DNS 挟んでアクセスすることが多いので、スナップショットから復元しか基本使ってませんが、停止 OK なシステムならインプレース使えると便利ですね。

Step Functions 2022 のアップデート

八木 大輔様

  • AWS API 対応
  • 組み込み関数4個だったのが14個追加され18個に
  • エラー表示がわかりやすく

Step Functions は便利なんだけど一度作ると触りたくなくなるピタゴラスイッチが出来上がりがちです。

「JAWS-UG朝会 #39」 #jawsug_asa 受講メモ

JAWS-UG朝会 #39

jawsug-asa.connpass.com

朝は寒くて暖房が必要な季節になってきました。

セッション

セッション① (今更ながら)AWSのコンテナサービスについてざっくりまとめてみる

クラスメソッド株式会社 つくぼしさん

  • コンテナとは?
    • 元祖は chroot
    • より厳密な pivot_root が登場
      • chroot は外に抜け出すこともできたが pivot_root はできない
    • pivot_rootVM と似たような形で扱いたい -> コンテナ
    • 要するにコンテナは「高機能な仮想ファイルシステム
  • AWS のコンテナサービス
    • コンテナレジストリ: ECR
    • コンテナオーケストレーション: ECS/EKS + EC2/Fargate
      • Fargate は GPUWindows コンテナが使えないのは注意
    • それ以外
      • App Runnner : VPC/ECS/ALB などの基盤が隠蔽され管理不要、簡単につかえる
      • Proton : デプロイワークフロー、インフラ基盤とアプリ担当にわかれてコンテナ基盤を運用できるテンプレートが準備されている
      • Copilot : ECS を構築するための専用の CLI ツール、通常の AWS CLI よりも抽象度が高い、CI/CD も作成できる
      • Cloud Map : サービスディスカバリサービス、コンテナ毎に内部DNS名が付与され名前解決できる
      • App Mesh : マイクロサービスアーキテクチャコンポーネント同士を制御する機能

chroot とか全然知りませんでした。
コンテナの歴史を知れるいいセッションでした。

セッション② 企業のシステム棚卸業務にSSM Inventoryで挑む カスタムインベントリの全て

株式会社ビックツリーテクノロジーコンサルティング 熊谷 有輝子さん

  • Inventory (構成管理)とは
    • 物理資産や文書を確認できるように管理すること
  • SSM Inventory とは
    • AWS の構成管理を取得して可視化、CSV 出力も可能
    • EC2 に SSM Agent いれてインベントリを収集して JSON を S3 に出力
      • State Manager を用いて「定義された状態」にサーバを保つこともできる
      • スクリプトは SSM Document として管理

メタデータを収集して可視化することができるサービスですね。
大企業向けだったりしますが、自分が作ってない AWS の構成管理を取得するのにも便利そうかも。

LT① 定期バージョンアップ、私の苦手な言葉です。(EKS/Aurora編)

KDDI 御田 稔さん

speakerdeck.com

  • AWS でも定期アップデートがある、EKS/RDS/Lambda...
    • EKS
      • k8s はアップデートが激しい
      • 1年の半分ぐらいはアップデートタスクに取られてそう
      • B/G デプロイや ELB のターゲット付け替えで対応
    • Aurora
      • スナップショットをとってインプレースで更新

AWS は強制アップデートがくるので心構えと準備大事ですよね。
k8s は利用するのも難しいけど、さらにアップデートも大変なのか。

LT② JAWS DAYS 2022にボランティアスタッフとして初参戦してみました

クラスメソッド株式会社 あしさん

  • JAWS DAYS 2022 : オンラインとオフラインのハイブリッド
  • オフラインのよかったこと
    • イベントの熱気を体験、至近距離で話聞ける
    • 配信担当でイベントの一部になれた、ミスったら配信終わる
    • オフラインなので双方向かつ偶発のコミュニケーション

ボランティアやコミュニティで運営しているとは思えないぐらい完成度の高いイベントでしたね。
ありがとうございました。

LT③ Lambda拡張機能を使ってLambdaパフォーマンスを上げよう

BeeX 那須 隆さん

speakerdeck.com

  • AWS Parameters and Secrets Lambda Extension
    • パラメータとシークレットをキャッシュして料金節約してパフォーマンスを上げれる
    • SDK を経由するよりエクステンション使うと倍以上早くなる
      • Lambda は時間課金なのでこちらも節約になる
    • SSM や Secrets Manager のサービスクォータ制限も回避しやすい

新サービスですね。
できるだけ使ったほうが良さそうな機能なので調べて試したいと思います。

所感

コンテナの歴史やコミュニティの話など、周辺の話も聞けるのが朝会のいいところですね。
今回も幅広くて面白かった。

「AWSの基礎を学ぼう 第百二回 Amazon Personalize」 #awsbasics 受講メモ

awsbasics.connpass.com

個人の購買履歴からレコメンデーションしてくれるの Amazon Personalize です。

セッション

講師:アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Amazon Personalize

  • Deep Learning ベースのリアルタイムパーソナライゼーションのレコメンデーションサービス
    • EC サイトやアプリ画面でのリアルタイムレコメンデーション
    • プッシュ通知やメールでのバッチ的なレコメンデーション
  • 用語
    • データセットグループ:データセットをまとめるグループ
    • データセット:Interactions, Users, Items
    • レシピ:
      • USER_PERONALIZATION:特定ユーザー向けのアイテムリスト
      • PERSONALIZED_RANKING:アイテムリストを特定ユーザ向けに並び替え
      • RELATED_ITEMS:特定アイテムの類似アイテムリスト
    • ソリューション:レコメンデーションで利用するモデル
    • キャンペーン:レコメンデーション API 呼び出しで利用するホスティング環境
    • イベントトラッカー:リアルタイムインタラクションイベントを API 経由で収集する仕組み
  • データソース
    • 基本は CSV, JSON/Parquet 未対応
    • S3 において処理する
    • データの種類
      • Interactions : ユーザーとアイテム間の過去のインタラクションデータ、購買履歴など
      • Users : ユーザーに関するメタデータ、年齢性別など
      • Items : アイテムに関するメタデータ、価格ジャンルなど
    • 以下の3つが必須情報
      • USER_ID, ITEM_ID, TIMESTAMP

所感

実際に触ってみないと感覚がわからないですね。
USER_ID, ITEM_ID, TIMESTAMP をもった CSV が準備して「このITEM_IDを買った人は、こういうITEM_IDもよく買ってます」というのができたり、USER_ID に属性情報を紐付けて人ベースで予測したりできると思われるので、テストデータ準備して試すのが早いかもです。