JAWS-UG SRE支部 #10 SREでもAI活用がしたい!
JAWS-UG SRE支部 #10 SREでもAI活用がしたい! - connpass
セッション
AIOpsとLLMOpsってどう違うの？？ ついでにLLMOpsに入門しよう！
みのるんさん
- AIOps：機械学習を活用してシステム運用を改善
- 既存の運用監視ツールでログの異常検出を自動でするとか
- MLOps：DevOpsの考え方を機械学習へ適用
- 機械学習特有のライフサイクルや課題を解決
- LLMOps：MLOpsの考えを生成AIシステムへ特化したもの
- LLMOpsの監視ツール
- LLMOpsの評価ツール
相変わらずの神内容。
初登壇がSRE支部で3年前だったのも驚き。
LLMは活用してもOpsを回すところまでできてないので、監視評価周りは本番運用するならちゃんと考えないといけない項目と思い知らされました。
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
小川 拓海さん
- AIOpsとは、SREのプラクティスをAI活用でさらに良くする話では？
- LLM for Developer として SRE が投資するスコープを定義
- 開発、運用、機能、障害対応に関する質問を解決するQ&A LLM Chatbotを提供
- 社内の質問を返す Slack botを作ってる
- 障害対応Slack botもある
- LLM for Developer として投資すべき6個の対象
- コーディング＆レビュー支援
- システム＆データ仕様記述支援
- システム＆データ仕様参照支援
- インシデント対応支援
- 会議効率化支援
- 技術キャッチアップ投資
- GitHub PR の AI Reviewの拡張
投資すべき対象がまとまってて参考になります。
LLMによるLLMアプリ評価パイプライン構築
塚田 真規さん
- LLMの評価もLLMに手伝ってもらう（LLM as a Judge）
- Ragasが有用
- Step Functionsで作って評価パイプラインを作成
- Langfuseで実行結果と評価結果を蓄積
- テストケースに対して継続的に数値が良くなっているかを確認
- Ragasが有用
- 「規則は？」なら正確な答えで、「提案は？」なら創造的な答えが欲しい
- 適切な評価基準を設定することが重要
ここでもragasとLangfuseが
LLM評価するならまずはこれらを使えるようにならないと駄目ということか。
Petite SRE：GenAI Eraにおけるインフラのあり方観察
叶 奕池さん
- The Edge of GenAI Research and Report
- GneAI Eraのインフラ、クラウド設計、デリバリーではSREが中心的な役割を果たす
- 実用的なAIインフラはまだ発展途上で以下が必要
- AI駆動の自動化
- 高度な可観測性
- 自己回復可能なインフラ
ジュニチャンの方でした。
論文を読んだじゃなくて、この分野の論文を書いたと...
内容が難しいけど整理されてて聞き入ってしまいました。
SRE×AIOpsを始めよう！GuardDutyによるお手軽脅威検出
保 龍児 さん
- どこからはじめる？
- GuardDuty
- 基本プランと保護プラン価格
- ログに比例して料金がかかる、CloudTrailの1/3程度、AWS料金の0.5-2%ぐらい
GuardDuty簡単に設定できて、ちょっといつもと違うことするとちゃんと通知が来て、大体自分が犯人。
AI前提のサービス運用ってなんだろう？
渡部龍一さん
- 入れ替わりに強いチームを作る
- オンボーディングがある、属人化無い、ドキュメントがあるなどが大事
- ドキュメントあればチームレジエンス上がるけど運用は難しい
- 生成AIを使っていい感じに検索できるようにする
- Difyで実現、ローカルで動かす
- RAGで検索性あがるか？
- ベクトル検索できるだけでキーワード検索よりマシ
- チャット形式の体験が良い
- RAGのドキュメントの更新は必要
- ハルシネーション対策はせず人が判断
- GraphRAG実際にやってみたけど微妙
ローカルで動かせばあまりお金もかからないし、ベクトル検索できるだけで便利ではありますよね。
