omuronの備忘録

個人的な備忘録

「Bedrock Claude Night 2」 #jawsug_aiml 受講メモ

Bedrock Claude Night 2(JAWS-UG AI/ML支部 × 東京支部コラボ)

jawsug-ai.connpass.com

セッション

Anthropic キーノート&デモ

Maggie Vo さん

  • Cloude 3 の3つのモデル
    • Opus : ハイスペック
    • Sonnet : バランス型
    • Haiku : 早くて安い
  • Cloude 3 全てのモデルで画像認識ができる
    • ビジネスに特化している
      • チャートやグラフなどの読み取りが得意
    • 手書きも認識、日本語もAmazonからフィードバックを貰いながら対応している
    • Tips
      • 画像をコンテキストの最初に置く
      • イメージにラベルを付ける
      • イメージの中の情報をタスクの前に抽出させる
    • 文章から自動でJSONスキーマをお任せで生成
    • 靴の画像から材質から特徴、ブランド名や利用用途の生成
  • Agents + Tool use
    • https://www.anthropic.com/news/tool-use-ga
    • Agents のワークフローを tool use を利用して簡単にできる
      • tool use にどんなツールを使うかリストやパラメータを提供する
    • tool use の利用を強制できる
    • JSON でやり取りする JSON モードがある

Tool use すごい便利そう。 このあたり全然取り組めてないから、Function Calling系はやっていかないと。
あと Claude 3 画像周りがこんなにも強かったのしらなかった。

LT① Claude3 on Bedrock(with Converse API + Tool use)でチャットアプリを作成してみた

鯨田 連也さん(NTT Data)

  • Converse API : 統一的なIFで Bedrock を容易に呼び出すことが可能なチャット特化した API

Opusは思考がダダ漏れしたらしく、意外と Sonnet のほうが有効だったのね。

LT② AWS構成図からCloudFormationとパラメータシートを自動生成するシステムを作ってみた

つくぼしさん(クラスメソッド株式会社)

speakerdeck.com

  • CFn が最大トークン数に到達する事がある
    • 80%超えたら分割するように指示
  • 存在しないリソースタイプを使う
    • CFn ListTypes API 使ってこの結果内のみだけで答えさせる
  • YAML 内容のみ抽出して改行入れて連結
  • CFn Validate Template API でバリデーションチェックして正解するまで繰り返す
  • 結果代替できるのか?
    • 7-8割ならできるけど、9割正確にするのはきつそう
    • 正確じゃないときもある

これすごい。けど、やっぱり100%求めるのは大変なのね。
エンジニアの単価とBedrockの利用量とどちらが高くなるんだろう?

LT③ LangChain Agent with RetrieverをBedrock(Claude3 Opus)で実装してみる

大坪 悠さん(KDDIアジャイル開発センター)

  • いい感じのAI Product作って
    • いい感じに考えて行動するやつ
    • それって Agents だ
  • ReAct-based LangChain Agents
    • Retriver(Knowledge Baseなど) とか Memory が大事
    • 課題
      • Google 検索 : 参照元が適切にわからない
      • Knowledge Base : 参照元のファイルが表示できない(LangChain だと metadata が乗らない)
      • Memory の保持の仕方が OpenAI 形式なので会話続けるとおかしくなる
    • 課題の解決方法
      • XMLで囲む、Knowledge Base なら boto3 で呼べば XML で囲める

Claude 3 Opus使うときは、XML でちゃんと囲むと良くなると。

LT④ AWS Bedrockで行うモデル評価入門

加賀谷 諒さん(株式会社ログラス)

モデル評価難しいですね...
公式にドキュメントあるんだ。