AWSの生成AI「Amazon Bedrock」入門＆LT会！
いつも大盛況なみのるんさん勉強会です。
セッション
ついに東京リージョンに登場！ AWSの生成AIサービス Amazon Bedrockって何!?
みのるんさん（KDDI株式会社）
- Bedrock
- GA から1週間で東京リージョンにきた
- 個人でチャットするなら ChatGPT でよかった
- OpenAPI でもよかったがセキュリティ的に難しいときもあった
- Bedrock 機能
- モデル： API が使える
- ファインチューニング： 追加学習モデル作成
- プレイグラウンド： マネコンで試せる
- モデル
- テキスト生成
- Cloude： これが主力で GPT3.5とGPT4の間ぐらい、東京リージョンはまだ CLoude2 使えない
- 埋め込み
- 画像生成
- テキスト生成
- 利用するには？
- 申請が必要で数分で使えるようになる
- LangChain フレームワークにも対応
- 利用例
- S3 フロントエンドにして Lambda に LangChain いれて DynamoDB に履歴保存して Bedrock に問い合わせとか
- AWS ブログ8KBを要約するを600回ぐらいしたら1万円ぐらい、GPT4の1/5ぐらい
聞くとマネコンなら簡単にできるのがわかるので、後はやって見るだけですね。
Amazon Bedrock API を Lambdaから利用してみた
北垣 勇治さん（株式会社クレスコ）
- Line アプリのバックエンドを APIG+Lambda+Bedrock で作成
- Lambda で Python
- Bedrock への Role 設定
- boto3 の最新版でないと Bedrock が使えない
- pip install boto3 して Lambda レイヤーに登録して使う
Line をフロントとして使っているんですね。
Claudeのクセ強プロンプト特集
- Claude フレンドリーなプロンプトを使う
- Prompt Desing のドキュメントから学ぶ
- モデルごとにお作法が違うので出力結果が大きく変わる
- Claude の場合
\n\nHuman:とか\n\nAssistant:とか使うと性能が上がる- XML タグ構造を使う
Human:とAssistant:が区切りになってしまう
この方言を知らないとうまく Claude 動かせないのか。
Bun & Honoで始めるAmazon Bedrock入門 -完全版-
渡邉 洋平さん（NTTテクノクロス株式会社）
- APIG + Lambda で作成すると
- Python, LangChain, APIG, Lambda だと気になるところが
- 環境構築、アプデ早い、設定大変、APIG経由だと30秒制限...
- Python, LangChain, APIG, Lambda だと気になるところが
- CDK & Hono で作成
- TypeScript で書ける
- App Runner + Docker で実装
- Bun
- TS/JS Runtime
- TS ネイティブ実行環境で爆速
- Docker に公式イメージ使って構築
Python 使わなくても Bedrock 使えますよと。
Verified AccessとBedrockでお手軽セキュア(??)な社内アプリケーション
かわごえさん（シンプレクス株式会社）
- Bedrock は AWS ゆえに慣れている環境でセキュアに作れる
- Input/Output データを管理監視できる
- CloudWatch Logs や CloudTrail と突合できる
- Verified Access とは
AWS のお作法で Bedrock 使えるのはいい。
非BedrockアプリをBedrockして開発観点で比較する
前田 和樹さん（atama plus株式会社）
- RAG：外からの知識を取ってこれる LLM アプリ
- OpenAI を Bedrock に変更
- OpenAI 依存削除
- boto3 で Bedrock に接続
- 開発環境
- IAM Role 使って Bedrock にアクセスるので Cloud9 使うのが楽
- セキュリティ
- OpenAI のクレデンシャル管理が不要
- 外部通信不要
- オブザーバビリティ
- CloudWatch モニタリング可能
- S3 にログ履ける
OpenAI から Bedrock の乗り換えは簡単にできると。
所感
早速利用申請したら数分で使えるようになりました。
かわごえさんの LT のお陰でお作法の基本はわかったので、色々試すことは簡単にできました。
つぎは Lambda 実装を試さないと。
