omuronの備忘録

個人的な備忘録

「Serverless Meetup Osaka #02」 #serverlessosaka 参加メモ

AWS 勉強会 Bedrock GCP docker

Serverless Meetup Osaka #02

serverless.connpass.com

サーバーレスなイベントだけど、やっぱり流行りの生成AIは外せないですね！
MS -> AWS -> GCP な発表の流れがよかった。
あと最後のLTが草しか生えなかったｗ

セッション

サーバーレスの哲学を生成AIへ

Konishi Hirokiさん

  • サーバーレスの価値
    • コアロジックに集中できる、調達時間短縮、従量課金、コスパ
  • 2023年生成AI元年、第4次AIブーム
    • 経済的なポテンシャルがある
      • 認知的作業の生産性改善できる
    • ChatGPT以外はあまり知られてない
    • テキスト生成が大半
  • Slack Botがたくさん生まれた
    • 大量のPoCができたけどお金にはならなかった
  • いいユースケース
    • 大量に高速できるもの
    • 生産性改善や代替えによるコスト削減
    • ハイテク・教育業界
  • 全ての自動化は時期尚早
    • 2030年で半分ぐらいは自動化できるのでは？
  • LLMの制度検証
    • Dify使って同じ言葉を違うLLMがどう返すのか表示させる

自動化するとその仕事をしている人からハレーションが起こると。
まだまだ制度問題もあるしAIは人間の代替えではなく、人間の補助として使う取り組みがいいか。

Azure Serverlessで作るコスパ最強のRAGシステム構築！

Taishi Miyataさん

  • Azure
    • Azure Functions : AWS でいうと Lambda
    • Azure Container Apps : AWS でいうと App Runner
    • Azure OpenAI Service : AWS でいうと Bedrock
    • Azure Cosmos DB for NoSQL : AWS でいうと DynamoDB
  • 技術スタック
    • Azure App Service / Azure Functions / Python / uvicorn / FastAPI / LangChain
    • Azure Cosmos DB for NoSQL をベクターDBとして使う
      • キーワード検索はできずベクトル検索しかできないのでハイブリッド検索する場合は別DBが必要

Azureで非常に安くできてるけど、OpenAI に GPT 使うところで結局高くなってしまうのか。

LT

サーバーレスなMLOpsってどうやんの？ on AWS

ポールさん

  • MLOpsの目的
    • 機械学習モデル開発では繰り返し試行錯誤できる環境が必要
      • データ管理、モデルの性能評価環境が必要
  • 運用フェーズでMLOpsに求められる機能
    • 自動的、再現できる, ワークフローからの出力管理, CI/CD, モデルの評価
    • 差別化できない作業だけど必要
  • MLパイプライン実装選択肢
    • SageMaker Pipelines：SageMkaer Studio UIで完結
    • Step Functions：GUIでサーバレス
      • Pythonで前処理->学習->デプロイ
      • Step Functions Data Science SDK
    • Managed Workflows for Apache Airflow：Pythonde柔軟に
    • Kubeflow：AWS使わずにOSSなら

MLOpsって大事だけど機械学習エンジニアとは別のOpsエンジニアおかないと厳しいですよね？

やっぱコンテナ好きやねん

がっきーさん

www.slideshare.net

  • コンテナメリット
    • アプリケーションロジックに集中、デプロイと管理に集中
    • ポータビリティがあるので、パブリッククラウドでも動く
    • アプリケーションの分離
  • コンテナオーケストレーション
    • コンテナのワークロードやサービス、ライフサイクル管理やデプロイ
    • ワークロード全体のオーケストレーション
    • k8sは触りたくない...
  • GCPの場合
    • GCE -> GKE -> Cloud Run -> App Engine -> Cloud Functions で抽象度があがる
    • GCP だと Cloud Run が (Cloud Functions より) AWS での Lambda 化している
      • 0スケールできる（使ってないときサーバーがない状態にできる）、 サーバーレス
      • マルチコンテナ対応したので、GKE(k8s)使う必要がなくなった

「Cloud Run いいよ」というお話。

TiDB Serverless ~理想のServerless DBを考える~

Soさん

speakerdeck.com

  • 理想のDB
  • 選択肢
    • Aurora Serverless：ちょっと高い
    • Cloudflare D1：制限あり
    • Supabase：BaaSなので独自な設計必要
    • PlanetScale：最低料金あり
    • CockroachDB Serverless：PostgreSQL互換
    • TiDB Serverless：MySQL互換
      • OSS、分散型DB(NewSQL)
      • Provider が AWS

TiDB 話題になってますね。

Serverless サービスだけでIoT以上検出デモ作ってAWS Summitに出展した話

teraiさん

  • 安く早く処理したいのでサーバーレス
  • IoT Core使えば簡単にできる
  • Timestreamは激安

IoT楽しそうだけど触ることはなさそうなサービス。

Firebase Data Connect使ってみた

Kanonさん

speakerdeck.com

  • Firestoreに変わる新サービス Firebase
    • GraphQL かけば Data Connect が SQL に変換

緑一色アーキテクチャ

そのださん

草