86. 大模型季报年终特辑：和广密预言LLM产品超越Google之路
86. 大模型季报年终特辑：和广密预言LLM产品超越Google之路  
Podcast: 张小珺Jùn｜商业访谈录
Published On: Sun Dec 22 2024
Description: 今天这集是我和广密【全球大模型季报】第5集，是2024年Q4季报，也是我们录制的第二次跨年特辑。提前和大家见面啦：）这次你会发现，我们的聊天篇幅开始从大模型技术转向对大模型产品的探讨。很大概率来说，产品会是2025年AI的最大趋势之一。AI产品会如何落地？产品形态又会如何演变？广密带来了最新猜想。他提出，过去半年他最强烈的认知变化是，不管国外的ChatGPT、Anthropic、xAI、Perplexity，还是国内的豆包、Kimi，甚至是做Coding相关的Cursor、Devin……虽然各个产品的产品形态不一，从不同路径发散，但最后会殊途同归。他们最终很可能收敛到同一个叙事之下，争夺同一片领地。很开心转眼之间，【全球大模型季报】已经陪伴大家1年，明年仍然希望这个系列能持续地帮大家了解最前沿的AGI动态并带来认知进化。本集是《张小珺Jùn｜商业访谈录》和《海外独角兽》的串台节目。我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯。02:33 Part 1: OpenAI ChatGPT本质是奔着“下一个Google”方向去了，如何beat Google是最大的牌 一定要逛计算机历史博物馆，理解“计算架构+信息分发”演变的主线逻辑 Google也是从Yahoo边缘市场撑大做起来，伟大公司是从边缘市场起来 小红书非常有意思，融合了搜索+推荐+问答+做任务一体化 这些产品最终的最终会变成任务引擎、任务容器，是下一个Google 电商过去最核心的是GMV，订单转化率，AI时代我感觉是任务完成率 Chatbot对话形态大概率不是提取智能最有效的交互方式，模型如何更主动？ 可能的一个产品形态是个人助理或者超级助理 Context非常核心，绝大多数人都还没意识到，是一条关键的暗线 如果AI的生成能力增强了，未来会生成的是什么？Mobile最大增量是内容，LLM最大增量新型软件 既然这些LLM产品想成为Google已经变成了一张明牌，你觉得Google有能力阻止这件事发生吗？ “下一个Google”的产品，会是一家垄断吗？ 微软和OpenAI同床异梦，微软可能会投资Anthropic51:04 Part 2: 硅谷其他AI公司和产品 Anthropic：得Coding，得开发者，得API消耗，有机会得生态，做OS Anthropic比较专注Agent，怎么让Agent更快落地是更高优先级 Killer App长期要有竞争力，要端到端垂直整合能力，向下优化，优化成本、模型架构、模型大小、调整模型数据分布、甚至向下优化推理芯片 xAI：还是注定要成功，但是upside还有多少不太确定 Perplexity：更像是一个信息处理的Agent Cursor：Coding产品形态要快速迭代，之前补全下一个代码，Cursor补全下一个Action，明年可能端到端生成软件 Devin：第一个真正意义上做长距离复杂任务的Agent，明年最具有商业价值的是long horizon Agent（长期规划智能体） Mistral：已经不用再关注了，他们内部也正式放弃预训练了01:02:24 Part 3: 对2025/2026关键预言性判断 1/ Long horizon task 是下个重点，重要核心圈子几个大佬级人物都在重点做 2/ 产品形态的探索，全新的交互界面 3/ AI商业模式的探索，今天商业模式还是移动梦网时代 4/ 高质量+scalable的数据，尤其是各个垂直行业里面，有没有几千条甚至上万条，任务+Reward数据，要高水平专家标注 5/ GPT-5/4.5 Orion：提升能有多大 6/ O1后面天花板走到哪：大规模scale RL/o1之后会怎么样，会不会很快遇到瓶颈 7/ 假设Coding能力明年提升10倍，软件开发范式怎么改变 8/ Context很重要，大家都还不够重视 创业公司没法同时做好这么多，得找锋利的切入点，一根针捅破天01:11:11 Part 4: 再谈Scaling Law Ilya最近提的pretrain data wall（预训练数据壁垒）是什么？ 后训练中有一个关键问题是奖励模型（reward model），整个地球上没有一个reward model衡量所有人，你相信会未来有吗？ O1系列天花板会卡在哪？这条路通往AGI吗？ Scaling Law关键阻碍不是算力，不是算法，是data问题 ChatGPT有数据飞轮吗？未来会出现吗？哪些产品里有高价值数据？01:22:19 Part 5: 复盘2024 回顾一下，能定义2024年全球大模型产业的关键时刻？ 全球大模型又狂卷一年，卷出了什么？ 今天想要进入决赛圈，条件是什么？ 哪些去年的判断你今天更坚信了，哪些去年的判断你今天认知有改变？ Mega7巨头里面最看好哪个？ 硅谷人才在流向哪几家公司？ 明年如果只投一个方向，投什么？ 这一轮大的机会，我总结是这3个…… 2024关键词？2025关键词？【全球大模型季报】系列2023年：口述全球大模型这一年：人类千亿科学豪赌与参差的中美景观2024年Q1：和广密聊AGI大基建时代：电+芯片=产出智能2024年Q2：口述全球大模型这半年：Perplexity突然火爆和尚未爆发的AI应用生态2024年Q3：AGI范式大转移：和广密预言草莓、OpenAI o1和self-play RL【更多信息】联络我们：微博@张小珺-Benita，小红书@张小珺jùn更多信息欢迎关注公众号：张小珺