JAWS-UG東京 2023 〜Bedrock Night〜
気になるところだけメモメモ。
セッション
Amazon Bedrock のはじめ方
久保 隆宏さん（アマゾンウェブサービスジャパン合同会社 / AIML Develeper Adovocate）
- Bedrock モデル
- Playground で試せる
- Claude：回答が途中で切れた場合 length 設定を長くすればよい
Model invocation logging(Preview)- 入出力ログやパラメータまで取得可能
- サービス開発・運用・営業に効果が大きい
- コード補完だけではなく営業メールの補完や稟議書提案などでも使える
エンジニアは当たり前に使い出してるけど他の業種にもすぐ波及しそうですね。
LINEとSlackとBedrock
森田 和明さん（富士ソフト株式会社 / 2023 AWS Ambassador）
- Lambda 利用
pip install boto3 langchain==0.0.325 openaiで boto3 と LangChain 利用- https://python.langchain.com/docs/modules/memory/adding_memory 参考に作成
- ChatOpenAI を BedrockChat に変更して Bedrock 化
- LangChain 使うと
Human: Assistant:は勝手につけてくれる- DynamoDB 対応してて永続化してくれる
LINE や Slack と LLM は相性がいい。
RAG Approach on AWS ～Kendraの検索API、ひとつじゃないって知ってた？～
小杉 隼人さん（株式会社セゾン情報システムズ）
- ナレッジソースの選択肢
- Amazon Kendra
- Vector Database : OpenSearch Service, PostgreSQL pgvector 拡張
「Kendra は高いサービス。シンプルに実装できるので費用対効果あり」
そうなのか！構築費や運用費考えるとやるかちありか
Amazon Bedrockで画像生成AIを始めよう -素敵画像を作る文学とAI絵師Bot のススメ-
横井 公紀さん（TIS株式会社 / AWS Top Ambassadors #1 Japan）
boto3のbedrock-runtime利用- Stable Diffusion 利用
sfg_scale数字を大きくするとプロンプトに忠実になる- 大きくすると色合いがおかしくなったり崩れたりすることも
- 下げるとプロンプトと関係ない画像がでることもあるが絵は安定する
- 7ぐらいがオススメ
steps数字を大きくすると質が高くなる- 51以上は料金が倍になる
- base64 で戻るのでデコード必要
- S3 において URL を返すなどの実装で画像を返す
Stable Diffusion 使うときのヒントになりました。
BedrockでRAGをできるだけシンプル&低コストでつくってみた
堤 拓哉さん（NRIネットコム株式会社）
- RAG に最低限必要なものは
LLMとデータソース- LLM: Bedrock
- データソース: Kendra、OpenSearch など、どちらも使用料は高い
- S3 をベクトルデータベースにすることで安く実装
RAG 作ってみたかったけど Kendra 高いと思ってたので、S3 利用のこの方式は試さないと！
LangChain❤️Bedrock
吉田 真吾さん（株式会社サイダス / 株式会社セクションナイン）
- LangChain 使えばモデルの入れ替えなどがとても簡単
- 抽象化、モジュラリティが高い、移行しやすい
「精度的には Claude2 一択！」だそうです！
所感
Kendra には料金だけの価値があるはずとはわかっていても、1ヶ月の無償期間があるにしても、試すハードルが高くて手が出せてません。
RAG するなら Kendra 必要と思ってたけど、別の選択肢もあるのか。
