omuronの備忘録

個人的な備忘録

「DevelopersIO OSAKA Day One -re:union-」 #devio_osakaday1 に参加してきた

AWS 勉強会

DevelopersIO OSAKA Day One -re:union- #devio_osakaday1

classmethod.connpass.com

Day1ということは2日目があるんですかね？？？

ブース

入口でどんなエンジニアで何をしている人というマトリックスなホワイトボードに磁石を貼って中へ入場。
小腹が空いてたところ、ランチパックに惹かれてもらう。
ちいかわのランチパックが「とんこつラーメン」「焼き肉」「プリン」と変わったラインナップでこれをいただく。

奥の部屋のブースで、「GraphQL vs RestAPI」という設問があったので、GraphQL をハマコーさんに語る。
結構前から流行ってそうなのに実務で使ってる人は少ないのかな？

セッション

生成AIの活用〜RAG入門

長浜さん

  • RAG
    • Retriever + Generator
      • Retriever: 関連情報を検索
      • Nenerator: 回答を生成
  • RAGにいれるデータに古い情報が含まれてる場合
    • V1, V2 で更新されていて V1 がすでに使えないとき
      • V1, V2 両方が使えるような回答がされることがある
      • メタデータを付与してフィルタリングできる（2024年３月新機能）
        • jsonでmetadata追加して、そのファイルを除外する設定をいれる

フィルタリング機能が新しく出たのは知らなかったけど、使うメリットなんだろう？
ベクターDBから情報取り除くより手軽にフィルターできるのがメリットかと思ったけど、同じベクターDBを違うRAGでも使い回せるのが大きいメリットっぽいか？

〜小さく始めて大きく育てる〜データ分析基盤の開発から活用まで

niinooさん、Nayutaさん

  • データ品質は重要
    • Glue Data Quality でデータの品質検査実施可能
      • 簡単にデータ品質検査のルールが定義できる
      • CW で通知できる
      • 既存データを分析してレコメンドしてくれる
      • 過去データとの違いを検知（Preview）
  • Iceberg
    • Hive と違って編集可能など高機能
    • Athena で変換もできるので SFn からめて通知などもできる
  • dbt
    • ELTのT(変換)を担うサービス
    • SQLを使えればデータマート開発できる
    • 公式ではないけどAthenaで使えるプラグインもある
  • 機械学習はまずはマネージドサービスから使うのがオススメ

データ基盤の基本はもう十分抑えれるぐらいやってきたから、次は Iceberg + dbt で Athena 触ることにチャレンジするのがいいかな。

Zendeskでコールセンター・ヘルプデスク業務に手軽に生成AIのパワーを取り入れる方法

入井さん

  • コールセンターはAI活用が進んでいて5割を超えている
  • Zendesk の Advanced AI アドオン
    • チケット振り分けとかチャットボットとかAIがやってくれる
    • 分析してレポート作成
    • 要約や返信文のブラッシュアップ

コールセンター業務は生成AI前からチャットボットにAI使ったりしてたり、何かとAIと相性いいサービス。

疲弊しないAWSセキュリティ統制の考え方

川原さん

  • 良い言語化とは
    • 行動とインプットのサイクル回す
    • 良いインプット：AWS責任共有モデル、NIST CSF
  • NIST CSF
    • NIST: 米国国立標準研究所
    • CSF: CyberSecurity Framework
  • NIST CSF の Core
    • 統治(GV: Govern)：組織として戦略やポリシー立てて周知運用
    • 識別(ID: Identify)
    • 防御(PR: Protect)
    • 検知(DE: Detect)
    • 対応(RS: Respond)
    • 復旧(RC: Recover)：もとに戻す、ポストモーテムも含む
    • AWSは NIST CSF に準拠している
  • セキュリティ通知が多すぎ
    • セキュリティ通知はDetectの実装
    • セキュリティチームは数人でスケールできない
      • セキュリティ対策できる人を増やす
    • 予防対策（識別と防御）をしっかり実施する
    • Security Hub は通知しだすと凶器になりえる
      • Security Hub High < GuardDuty Medium
      • Security Hub Highでも EC2 に Public IP 付与とか緊急じゃないのもある
      • GuardDuty Medium は危険なケースも多い
  • AWSマルチアカウント管理
    • 識別、防御に役に立つ
    • 完全に権限分離ができるし課金も別
    • 強い境界線がメリットにもなるがデメリットにもなる
      • 個別アカウントの把握が大変だったり、権限管理が大変だったり
      • 技術で殴ることはできる
        • 統制用AWSアカウント使うなど

セキュリティと聞くだけで披露しちゃいます...

生成AIの最新トレンドとビジネスに活かす方法

横田社長

  • 生成AIはクラウド/IoT/ビッグデータと違い一般人も使うもの
  • 生成AIができること
    • 生成、対話、理解、連携：今まで人間に頼ってた部分をある程度任せれるかも
  • 生成AIを全社導入しても？
    • 導入するだけでは何か物足りない、使われない
  • セミナー開催すると
    • 1000社参加、200社申し込み、顧客支援20社、事例は5社
  • 今後生産年齢人口は減っていく
    • 一人あたりの生産性を大幅にあげないと成り立たない
    • サービス業は自動化無人化進む
      • ネコロボット配膳、無人レジ、予約自動化
      • 次はオフィスワーカーにもAIの波が来る？
  • AWSからのメッセージは？
    • 多様なデータ、多様な生成AI(Bedrock)、生産性向上支援(Humans)
      • 差別化するためにも自社の大量なデータが大事
        • データを持っている会社が一番強い
      • AIは良いものを使えば良い、Bedrock で実現
      • 答えが正しいかどうかは今はまだ人が選択する必要がある状況
    • 最強のAIがあっても高かったりするから適材適所
      • 小回り効く安いAIも使い分ける
  • KARAKURI LM
    • OSS の Llama2 から AWS Trainium 使って学習させて700万円で専用の LLM 作った
  • 専用のハードウェアで爆速
    • 待つ必要がないので電話対応などに使える
  • 独自のLLM作るには？
    • OSSのLLMに自社データを食わせて人がアライメントして調整する
  • マルチモーダルなAI
    • 写真から状況を言語化したりその逆をしたり
  • 軽量LLMがEdgeへ移動していく

最初のアイスブレイク的な話題にて「勢いで引っ越しました」「勢いでベルディーのサポーターになりました」「勢いで国立博物館や動物保護施設に寄付しました」などなど、勢いのある会社の代表の凄さを見せつけられました。
年末に思い立って引っ越し計画してから、この４月で引越完了してる勢いがすごいし、引っ越し担当をいつもしてくれてた外部の人が社員になって対応してるのもすごすぎ。
東京のオフィスと同じ床材つかったりしており、雰囲気は一緒ですね。

プレゼン内容もこの1年で使うのを当たり前になった感じのするLLMをしっかり語れるのがすごい。
AWS12冠だし、トレンドにも強いし々エンジニア以上に学んでる感があるんですが、この大きさになった企業の社長にいつそんな時間があるんだろうか？
生成AIはちゃんと追っかけて使うところまで進めたいし、色々ヒントを貰えるいいセッションでした。