omuronの備忘録

個人的な備忘録

「AWSの基礎を学ぼう 第百四回 Amazon Rekognition」 #awsbasics 受講メモ

AWS 勉強会

awsbasics.connpass.com

前回申込忘れで受けることができませんでした。
今回は画像解析の Amazon Rekognition です。

セッション

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Amazon Rekognition

  • 以下の検出に対応
    • 顔検出と分析
    • 有名人の認識
      • IMDb（インターナショナルムービーデータベース） に依存
    • 物体の検出
    • シーンの検出
    • contentのモデレーション
      • アダルトチェック
    • 活動の検出
    • 動線の検出
    • テキストの検出
      • アルファベットのみ
  • 物体とシーンの検出
    • AWS の学習済みデータなので汎用的なもののみ認識
      • サポートに対応する物体やシーンの要望を出すこともできる（が実装されるかは別）
    • カスタムラベルで独自な検出も可能
  • 顔認識
    • 年齢、性別、感情など
    • ２つの写真で「顔の比較」もでき、同一人物か推測できる
  • 顔検索
    • 一度 Rekognition に登録すると自分専用の S3 にインデックスとして登録される
      • 画像が保存されるのではなく、特徴量のみ特徴量コレクションとして保存される
    • 同じ顔写真の検索ができるようになる
      • 学校にくる写真屋さんとかで自分の子供を検索できたりする事例など
  • イメージモデレーション
    • 明示的なヌード - Explicit Nudity
      • ヌード検出
    • 暗示的なヌード - Suggestive
      • 水着とか検出
    • 2次元は検出できない
  • 物体上のラベル認識
    • アルファベットのみ、上限50単語
    • テキスト認識は Amazon textract が対応

Amazon Rekognition Video

  • 動画認識サービス
  • 基本は静止画と同じサービス
  • S3 の mp4/mov か Kinesis Video Stream に対応

Amazon Rekognition Custom Labels

  • 転移学習、すでにあるモデルを使って少しのデータで新しいモデルを作る
  • 20-30枚学習させると独自モデルを作れる
  • ラベリング作業が必要
    • SageMaker Groud Truth を使ってラベリングを自動化もできる

データプライバシーの注意

  • オプトアウトしない限り Rekognition の学習に使われるので注意

よくある質問 - Amazon Rekognition | AWS

Amazon Rekognition は、下記のようにオプトアウトしない限り、サービスの提供と保守、Amazon Rekognition や他の Amazon 機械学習/人工知能技術の品質の向上のためにのみ、サービスによって処理された画像とビデオの入力を保存して使用することができます。関連する技術の開発やトレーニングを含め、Amazon Rekognition のお客様体験を継続的に改善するには、コンテンツの使用が重要です。AWS では、お客様のコンテンツに含まれる個人情報を使用して、お客様やお客様のエンドユーザーを製品、サービス、またはマーケティングのターゲットにすることはありません。AWS の最優先事項は、お客様からの信頼、プライバシー、およびお客様のコンテンツのセキュリティです。また、AWS では、転送中や保管時の暗号化など、お客様のコンテンツへの不正アクセスやお客様のコンテンツの公開を防ぐように設計された、高度で信頼できる技術的および物理的な規制を行っています。さらに、AWS がデータを使用する場合はお客様との契約を確実に遵守します。詳細については、https://aws.amazon.com/compliance/data-privacy-faq/ をご参照ください。AWS Organizations オプトアウトポリシーを使用して、Amazon Rekognition や他の Amazon 機械学習/人工知能技術の品質の向上を目的としてお客様の画像やビデオの入力が保存されることがないようにオプトアウトすることができます。オプトアウトする方法の詳細については、「AI サービスのオプトアウトポリシーの管理」をご参照ください。

所感

学校に来るような写真屋さんが使って自分の子供を見逃さないように使ったなどの事例があるようです。
仕事的にテキスト認識が日本語に対応してくれると助かりそう。

「JAWS-UG初心者支部#51 re:invent前に2022年Update振り返り」 #jawsug_bgnr 受講メモ

AWS 勉強会

jawsug-bgnr.connpass.com

久しぶりの初心者支部参加！

セッション

今年のUpdate振り返り

ウェブ サービス ジャパン合同会社 亀田 治伸様

  • AWS Cloud WAN
    • グローバルで WAN(LAN) を一発で作れるサービス
    • Transit Gateway の拡張版みたいなもの
    • 中央一括で JSON で管理できる
  • Amazon Direct Connect SiteLink
  • AWS Private 5G
    • 特定の Private な範囲で免許不要で 5G を提供（日本は未サービス）
  • Amazon VPC Network Access Analyzer
    • VPC の通信の調査結果を生成
  • Amazon VPC IP Address Manager
    • IP アドレスブロックを管理できる
  • AWS Well-Architected Framework
  • AWS Customer Carbon Footprint Tool
    • 使っている CO2 の量を測れる
  • AWS Mainframe Modernization
  • AWS Migration Hub Refactor Spaces
    • EC2 と Lambda で B/G デプロイできる環境を作ってくれたりする
  • AWS Control Tower Updates
    • リージョン単位でのオプトアウト可能に
  • Serverless, on-demand analytics
    • Kinesis on-demand
    • EMR Serverless
    • MSK(Managed Service Kafuka) Serverless
    • Redshift Serverless
    • Glue はもともと Serverless だったけど Job の下回りで Worker が起動して動いてた
      • 改善されて Glue interactive sessions という名前に

たくさんあるけど自分が使う可能性がありそうなのは Redshift Serverless ぐらい!?

Amazon SageMaker CanvasのUpdate

織田 繁様

speakerdeck.com

  • Amazon SageMaker Canvas
    • データを準備するだけでノーコードで「教師あり学習」ができる
    • ML の知識不要、とはいえデータ整備の経験がないと精度を上げるのは難しい

Forecast 触ったときも同じこと思いました。
結局 ML 知識がないとつらい。

QuickSight のアップデート

尾谷 紘平様

  • いろいろなデータソースに対応
  • ビジュアル領域の拡張
    • ノートPCなどでも操作しやすくなった
  • ダッシュボードのリスト表示対応
    • サムネイルが似ていると判断しにくいところが解決
  • 日時の比較計算と累積計算の追加
  • タイトルテキストのリッチテキストフォーマット対応
  • 折れ線グラフが2,500 -> 10,000 までデータポイントが拡張
  • グループ作成機能が CLI のみだったのがマネジメントコンソール対応
  • CloudWatch に SPICE の消費量をモニタリング可能に

QuickSight 触ってると色々アップデートされてるとは思ってましたが、あまり意識はしてませんでした。
一つずつ認識しているのがすごい。

AWS Cloud WANをちょこっと試してみました。

鈴木元気様

英語のドキュメントみて30分程度で作れるって、ネットワークちゃんと理解しているからこそだと思います。

FISのネットワーク接続中断アクションでリージョン間フェイルオーバーを試してみた

山本 竜司様

カオスエンジニアリングのサービスですね。
リージョンダウンをテンプレート作るだけで簡単に試すことができるみたいです。

RDS初心者がやってみた！EC2間とのワンクリック接続セットアップ機能

上地 航平様

speakerdeck.com

検証用の RDS を立てる際に簡単に EC2 に接続できるサービスのようです。
ルートテーブル名を自動生成される名前と同じ名前で作っておかないと Private サブネットが増殖するようなので注意を。

テクニカルサポート業務に役立ったアップデート

上地 申吾様

  • RDS MySQL 5.7 -> 8.0 はスナップショットから復元しかできなかったのがインプレースがサポート

RDS には、内向け DNS 挟んでアクセスすることが多いので、スナップショットから復元しか基本使ってませんが、停止 OK なシステムならインプレース使えると便利ですね。

Step Functions 2022 のアップデート

八木 大輔様

  • AWS API 対応
  • 組み込み関数4個だったのが14個追加され18個に
  • エラー表示がわかりやすく

Step Functions は便利なんだけど一度作ると触りたくなくなるピタゴラスイッチが出来上がりがちです。

「JAWS-UG朝会 #39」 #jawsug_asa 受講メモ

AWS 勉強会

JAWS-UG朝会 #39

jawsug-asa.connpass.com

朝は寒くて暖房が必要な季節になってきました。

セッション

セッション① （今更ながら）AWSのコンテナサービスについてざっくりまとめてみる

クラスメソッド株式会社 つくぼしさん

  • コンテナとは？
    • 元祖は chroot
    • より厳密な pivot_root が登場
      • chroot は外に抜け出すこともできたが pivot_root はできない
    • pivot_root を VM と似たような形で扱いたい -> コンテナ
    • 要するにコンテナは「高機能な仮想ファイルシステム」
  • AWS のコンテナサービス
    • コンテナレジストリ： ECR
    • コンテナオーケストレーション： ECS/EKS + EC2/Fargate
      • Fargate は GPU や Windows コンテナが使えないのは注意
    • それ以外
      • App Runnner : VPC/ECS/ALB などの基盤が隠蔽され管理不要、簡単につかえる
      • Proton : デプロイワークフロー、インフラ基盤とアプリ担当にわかれてコンテナ基盤を運用できるテンプレートが準備されている
      • Copilot : ECS を構築するための専用の CLI ツール、通常の AWS CLI よりも抽象度が高い、CI/CD も作成できる
      • Cloud Map : サービスディスカバリサービス、コンテナ毎に内部DNS名が付与され名前解決できる
      • App Mesh : マイクロサービスアーキテクチャのコンポーネント同士を制御する機能

chroot とか全然知りませんでした。
コンテナの歴史を知れるいいセッションでした。

セッション② 企業のシステム棚卸業務にSSM Inventoryで挑む カスタムインベントリの全て

株式会社ビックツリーテクノロジー＆コンサルティング 熊谷 有輝子さん

  • Inventory （構成管理）とは
    • 物理資産や文書を確認できるように管理すること
  • SSM Inventory とは
    • AWS の構成管理を取得して可視化、CSV 出力も可能
    • EC2 に SSM Agent いれてインベントリを収集して JSON を S3 に出力
      • State Manager を用いて「定義された状態」にサーバを保つこともできる
      • スクリプトは SSM Document として管理

メタデータを収集して可視化することができるサービスですね。
大企業向けだったりしますが、自分が作ってない AWS の構成管理を取得するのにも便利そうかも。

LT① 定期バージョンアップ、私の苦手な言葉です。（EKS/Aurora編）

KDDI　御田 稔さん

speakerdeck.com

  • AWS でも定期アップデートがある、EKS/RDS/Lambda...
    • EKS
      • k8s はアップデートが激しい
      • 1年の半分ぐらいはアップデートタスクに取られてそう
      • B/G デプロイや ELB のターゲット付け替えで対応
    • Aurora
      • スナップショットをとってインプレースで更新

AWS は強制アップデートがくるので心構えと準備大事ですよね。
k8s は利用するのも難しいけど、さらにアップデートも大変なのか。

LT② JAWS DAYS 2022にボランティアスタッフとして初参戦してみました

クラスメソッド株式会社 あしさん

  • JAWS DAYS 2022 : オンラインとオフラインのハイブリッド
  • オフラインのよかったこと
    • イベントの熱気を体験、至近距離で話聞ける
    • 配信担当でイベントの一部になれた、ミスったら配信終わる
    • オフラインなので双方向かつ偶発のコミュニケーション

ボランティアやコミュニティで運営しているとは思えないぐらい完成度の高いイベントでしたね。
ありがとうございました。

LT③ Lambda拡張機能を使ってLambdaパフォーマンスを上げよう

BeeX 那須 隆さん

speakerdeck.com

  • AWS Parameters and Secrets Lambda Extension
    • パラメータとシークレットをキャッシュして料金節約してパフォーマンスを上げれる
    • SDK を経由するよりエクステンション使うと倍以上早くなる
      • Lambda は時間課金なのでこちらも節約になる
    • SSM や Secrets Manager のサービスクォータ制限も回避しやすい

新サービスですね。
できるだけ使ったほうが良さそうな機能なので調べて試したいと思います。

所感

コンテナの歴史やコミュニティの話など、周辺の話も聞けるのが朝会のいいところですね。
今回も幅広くて面白かった。

「AWSの基礎を学ぼう 第百二回 Amazon Personalize」 #awsbasics 受講メモ

AWS 勉強会

awsbasics.connpass.com

個人の購買履歴からレコメンデーションしてくれるの Amazon Personalize です。

セッション

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Amazon Personalize

  • Deep Learning ベースのリアルタイムパーソナライゼーションのレコメンデーションサービス
    • EC サイトやアプリ画面でのリアルタイムレコメンデーション
    • プッシュ通知やメールでのバッチ的なレコメンデーション
  • 用語
    • データセットグループ：データセットをまとめるグループ
    • データセット：Interactions, Users, Items
    • レシピ：
      • USER_PERONALIZATION：特定ユーザー向けのアイテムリスト
      • PERSONALIZED_RANKING：アイテムリストを特定ユーザ向けに並び替え
      • RELATED_ITEMS：特定アイテムの類似アイテムリスト
    • ソリューション：レコメンデーションで利用するモデル
    • キャンペーン：レコメンデーション API 呼び出しで利用するホスティング環境
    • イベントトラッカー：リアルタイムインタラクションイベントを API 経由で収集する仕組み
  • データソース
    • 基本は CSV, JSON/Parquet 未対応
    • S3 において処理する
    • データの種類
      • Interactions : ユーザーとアイテム間の過去のインタラクションデータ、購買履歴など
      • Users : ユーザーに関するメタデータ、年齢性別など
      • Items : アイテムに関するメタデータ、価格ジャンルなど
    • 以下の3つが必須情報
      • USER_ID, ITEM_ID, TIMESTAMP

所感

実際に触ってみないと感覚がわからないですね。
USER_ID, ITEM_ID, TIMESTAMP をもった CSV が準備して「このITEM_IDを買った人は、こういうITEM_IDもよく買ってます」というのができたり、USER_ID に属性情報を紐付けて人ベースで予測したりできると思われるので、テストデータ準備して試すのが早いかもです。

「nakanoshima.dev #31 これでわかった!! 監視のやり方」 #nakanoshima_dev 受講メモ

AWS 勉強会

nakanoshima-dev.connpass.com

Cloudwatch Synthetics を聞きたかったのでそこを中心にメモしました。

セッション

「これでわかった!! Cloudwatch 」

渡邊 良臣さん

  • CloudWatch Metrics
    • 時系列のデータポイントセット
      • CPU 使用率とか
    • 名前空間/ディメンションというかたちでグルーピング
      • AWS/RDS/DBInstanceIdentifer/CPUUtilization...
    • Metrics Insight : SQL
    • Metrics Math : 数式
    • Metrics explorer : タグ
    • Metrics Stream
      • Kinesis Data Firehose 経由で S3 に出力
  • CloudWatch Logs
    • Agent インストールして明示的に出力可能
    • AWS サービスからも出力可能
    • Metric Filters を利用して Metrics へ流すことができる
    • subscription Filters で別 AWS サービスへ
  • CloudWatch Alarm
    • Metrics でしきい値を超えたときにアクションできる
    • 複数の数値が条件を超えたときに発動できる複合アラーム可能
  • CloudWatch Dashboard
    • クロスアカウント、クロスリージョン可能
    • メールとパスワードで参照可能（IAM不要）

「これでわかった!! Cloudwatch synthetics 」

河井 信彦さん

  • Cloudwatch Synthetics
    • エンドポイントの監視、いわゆる外形監視
    • マネジメントコンソールから簡単に設定可能
    • カナリヤ用コードは1つの Lambda レイヤーとして登録される
    • BluePrint を使えばコーディング不要
      • 6種類のテンプレートが準備されている
  • Synthetics BluePrint
    • Canary Recoder : Chrome アドインとしてインストールしてブラウザ操作を記録してコピペでできる
    • GUI ワークフロービルダー : Workflow Builder を利用してブラウザの操作を定義
    • Visual Monitoring : スクリーンショットに基づく変化を検出可能、変化率のしきい値を設定して検出可能
  • カナリヤグループ
    • 複数のカナリヤをグループにまとめることができる
  • 料金 : $0.0019/回

所感

触るとわかりやすい機能なのでハンズオン有用ですね。
CloudWatch Synthetics って、マネジメントコンソールからしか設定できないのかしら？と検索したら CLI も CFn もちゃんと準備されてました。

synthetics — AWS CLI 2.8.5 Command Reference
AWS::Synthetics::Canary - AWS CloudFormation

「AWSの基礎を学ぼう 第百一回 Amazon Kendra」 #awsbasics 受講メモ

AWS 勉強会

awsbasics.connpass.com

前回サボったこともあり、すごい久しぶりな気がします。
文書検索の Amazon Kendra です。

セッション

Amazon Kendra

講師：アマゾン ウェブ サービス ジャパン、シニアエバンジェリスト 亀田氏

Amazon Kendra 概要

  • 自然言語で文書検索
    • キーワード検索だけでは探しにくい場合に利用
    • 非構造化データを扱える
    • チューニング可能
    • FAQ マッチング
      • 手動で投入も可能
  • 業界特化型のモデルあり
    • 医療、ヘルスケア、教育、産業...など14種類のドメイン
    • 日本語にも対応しているがテストしたほうがいい
  • セキュア検索
    • ログインありなしで結果を変えれる
    • トークンベースのユーザーコントロール可能
  • ネイティヴ&パートナーコネクタ
    • GitHub, Slack, Jira など多数と接続できる
    • API たくさんコールされる可能性あるので注意
  • 継続的な改善
    • AI なので定期的にアルゴリズムが自動更新される
      • 「いいね」でフィードバックも可能
  • NLU&機械学習のコア

所感

日本語にも対応しているようです。
途中で話題にもなりましたが、日本語でこの手の自然言語のものは信頼がおけないと思ってる人が多そうな印象です。
自分もそういう印象を持ってるのですが、昨今の AI/ML の進化は凄まじいから、自然に使えるぐらい洗練されるのも時間の問題かな。

db.t4g.medium で 8.0.mysql_aurora.3.02.1 を選ぶと Performance Insights が設定できない

小ネタ AWS

ドキュメント上では db.t4g と Aurora MySQL 3.x のバージョンで Performance Insights を利用できると記載されております。

docs.aws.amazon.com

db.t4g – 2.10.1 以降の 2 バージョン (MySQL 5.7 と互換) およびすべての 3 バージョン (MySQL 8.0 と互換) のみサポートされています。

しかしながら、db.t4g.medium で 8.0.mysql_aurora.3.02.1 を選択すると設定項目が消えてしまいます。

CloudFormation で設定してみてもエラーが発生します。

Resource handler returned message: “Performance Insights not supported for this configuration.

そのうち修正されると思うのですが 2022/10/15 時点では設定できません。
Aurora MySQL 3.01.x だと問題なく設定できるので、t4g インスタンスで Performance Insights が必要な人は、Aurora MySQL 3.02.x ではなく Aurora MySQL 3.01.x を使いましょう。