ChatGPT Meetup Osaka #2

1年振りとのこと。
確かに前回は去年の4月だ。

セッション

Okamoto Hidetakaさん

RAG/LLM は沼る...
結果から良い検索を探す手法は真似したいが、ベクターDBに何入れるか考えるのが大変だから、まとめてDBにツッコんで、プロンプトで頑張ってみるとなりがちなんですよね...

Shimizu Kuniakiさん

RAG結果を評価するためのツールがあるのか。
プロダクトとして外に出すなら、評価するのはめっちゃ重要ですもんね。

Takaeda Ayaさん

フリーの税理士、AIに奪われるランキングで税理士が入ってるからChatGPTに興味を持ったと。
って、全然エンジニアじゃない人の課題を解決できる可能性があるのが LLM 系のすごいところですね。

Sumida Ippeiさん

アンケートに答えてスタイリストwhithAIが選んだ商品が届くサービス DROBE を作っている
- 似たユーザーに同じような商品を届けたい
- フィードバックを元に個人に向けたメッセージも添えているので、個人情報は消して他のユーザーに使いまわしたい
  - GPT4 でサニタイズして、その結果を GPT x 2(4と3.5)でチェック
  - サニタイズで5000トークン、チェックで1000トークンでそこそこ費用(5円程度)がかかる

トークンはそこそこ使うのでお金がかかるのはしょうがないけど、人件費に比べたらめっちゃ安い。
複数のLLM使うと精度があがるらしいので、同じGPTでもモデル違いで精度をあげるという取り組みですね。

Shinichi Hashitaniさん

Kong: API Gateway の会社
- リバースプロキシするサービス、セキュリティ・ガバナンスなど付加価値を提供
  - LLMの結果を別のLLMに投げるようなプラグインもある

http header で接続先を変えて LLM を切り替えたりできるのは便利そう。

Yoshida Shingoさん

AIエージェントとは？
- AIの行き着く先、環境を認識し目標を達成するために自律的に行動する存在
  - 指示しなくてもよしなにやってくれる、ルンバとかもそう
  - 生成AIはプロンプトでちゃんと指示しないとだめ
  - AIエージェントにはフローエンジニアリングが必要
  - 個性、記憶、計画、行動の4つの要素からできる
生成AIエージェントのはじめかた
- Function Callingによる外部実効性を試す
  - 社員情報を検索するとか
- フレームワーク(AutoGPT, BabyAGI)を使う
- 論文を参考にする

AIエージェントが進んでいくとエンジニアリングな仕事が奪われていく気もするけど、働かなくても生きていける時代が来るなら歓迎です。

こたうちさん

反応速度や電池持ちの問題はあるものの、そこそこの値段のものでここまでできるのは未来を感じさせるすごいデモでした。