我是这样用 RL + LLM 做 Agent 的｜对谈 Pokee AI 创始人朱哲清 Bill
我是这样用 RL + LLM 做 Agent 的｜对谈 Pokee AI 创始人朱哲清 Bill  
Podcast: 42章经
Published On: Sat Jan 18 2025
Description: 新年正式第一期，来点新东西。大家都说 Agent 热，那 Agent 到底是啥、到底为啥热、到底咋做、到底长啥样？大家都说 RL 是新方向，那 RL 到底是啥，和 LLM 的关系是什么，又能怎么和 Agent 结合？这期我们就请到了在 Meta 工作了七年的应用强化学习组负责人朱哲清 Bill，讲一讲他是怎么用一种很新的技术路线来做一种很新的 Agent，并且在电商等领域是如何落地的。最后，我们的 AI 私董会也在持续报名中，目前已经聚集了一批市场上最好的 AI 创始人，欢迎点击链接报名（里面也有目前已加入的成员名单，可点击查看）【人类博物馆】导游：曲凯，42章经创始人30 号珍藏：朱哲清 Bill，Pokee AI 创始人兼 CEO，此前 7 年在 Meta AI 做应用强化学习组负责人，并攻读了斯坦福大学强化学习专业博士学位【时光机】Part1 强化学习 3:06 我们思考方式已经全面 RL 化 —— from OpenAI 研究员 4:36 Transformer 和 RL 到底是什么关系？又要如何结合？ 10:15 RL 解答的是平行宇宙问题 12:35 RL+LLM，就是公认最好的技术路线吗？ 14:02 RL 的算法原理类似于「多巴胺刺激」 14:42 在无法清晰定义 Reward 的场景下，RL 还好用吗？ 15:12 RL 最强的三个能力Part2 给 Agent 用上强化学习 18:42 为什么直接用 LLM 做不出规划型 Agent？ 20:17 一个有效的 Agent 架构：RL 做核心，LLM 做翻译 23:35 我们做出了一个电商领域的通用型 Agent 24:39 体验相当于一个资深的网站负责人 26:05 原理是让 Agent 通过 self-play 学会使用上千个底层 API 29:43 Agent 当前市场格局: 29:52 Coding Agent 是皇冠上的明珠 30:26 Vertical Agent 遍地开花，但准确性仍是大难题 30:46 通用型 Agent 尚不存在，但 RL 或可迎战 31:17 万物皆可 call API 34:07 一个具体的应用示例：Agent 是怎么帮商家省钱提效的？ 39:08 训练成本和推理成本都低得令人发指... 40:33 先定一个小目标：做各行各业的 API 杀手 42:57 对 25 年硅谷 AI 市场的观察和预判 43:11 垂类 Agent 是绝对的热点赛道，融资并不困难 45:29 25 年是 Agent 真正落地的一年 【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescalero