Latest — 28 Dec 2023 翻译:图文并茂讲解高级 RAG 技术 对高级检索增强生成技术(Retrieval Augmented Generation, RAG)及算法的全面研究,对不同的方法进行了分类整理。本文包含了一系列链接,这些链接收录在作者的知识库中,涉及文中提到的各类实现和研究。
[翻译]大语言模型的检索增强生成技术(RAG)综述 本文梳理了大语言模型时代 RAG 的发展模式,概括了三种模式:初级 RAG(Naive RAG)、高级 RAG(Advanced RAG)和模块化RAG(Modular RAG)。接着,文章总结了 RAG 的三大核心组成部分:检索器(retriever)、生成器(generator)和增强方法(augmentation methods),并详细介绍了每个部分的关键技术。
小学生都能看懂的 Prompt 高级技巧: CRISPE框架/Few-Shots/COT / SC/TOT/Step-Back 上周,Google 发布了 Gemini 大模型。他号称在多项任务上超过了 GPT-4。细心的朋友可能发现,在每个对比指标的边上有一个小字,有的是 COT,有的是 3-shots。这些词是什么意思?为什么他不同的指标写了不同的小字。 先不说 Google 为什么在不同的指标写了不同的小字,这个问题在文章结尾回答。 我们先来说说,这些小字是什么意思。 其实,他们主要是表明了得到这些评测指标的时候,所采用的 Prompt 模式。今天,我们就来讲讲这些 Prompt 模式都是什么意思。 为了方便对比,我将采用相同的任务不同的 Prompt 作为示例来讲清楚他们之间的区别。这个任务就是因为因为跟翻译成中文。 CRISPE框架 如图所示。所谓CRISPE框架,指的是: * CR:Capacity and Role(能力与角色)。你希望 ChatGPT 扮演怎样的角色。 * I: Insight(洞察)
从“抽烟、喝酒、吐痰”到“抽烟、喝酒、烫头” 于谦老师有三大爱好—抽烟喝酒烫头,这是相声。语言类喜剧有其固定的模式,前半段尽力营造一个预期,到最后结尾来一个预料之外,就觉得好笑,从而产生了喜剧效果。苗阜王声有个相声,说苗老师喜欢看四大名著,三国演义、水浒传、西游记、金瓶梅。前面三个说出来,都是为了营造一个对红楼梦的预期,但最后红楼梦没来,来个金瓶梅,就显得出乎意料,就好笑了。 抽烟、喝酒、烫头之所以好笑,是因为烫头并不符合抽烟和喝酒营造出来的预期。那这里原本的预期应该是什么呢?在读《邓小平时代》一书的时候,偶然发现一个细节,说小平同志有三大爱好,抽烟,喝酒,吐痰。我恍然大悟。抽烟和喝酒营造的氛围是吐痰很搭的,但这个氛围下烫头就显得很荒诞,很有喜剧效果。我严重怀疑于谦老师也知道小平同志的三大爱好。 据在《邓小平时代》一书记中,痰盂见证了很多重要时刻。从79年访美,82年中英谈判,到92年南巡,痰盂常伴左右。我无从得知吐痰这样的行习惯对于当时的普通的人意味着什么,但作为身居高位的政治家,单从书中描述来看,这并非是减分项,
上班太忙了,如何养成读书的好习惯? 有好几年时间我都没怎么看书。我给自己的借口是,工作太忙了。 不过最近一年,尤其是最近半年,我重新养成了读书的习惯。光在微信读书上,我去年读完了十本书,而2022年1月份,则已经看完了3本书。 那么我是如何重新养成读书的习惯的呢?我给自己设计了两个行为: – 每当我在地铁上坐下来或在马桶上坐下来的时候,就打开微信读书 – 读多少不要紧,重要的是要开始读 – 读到不想读的时候,就进入读书排行榜领取奖励,并在心里对自己说“今天不错,又读了一点书” 看上去很简单。但却让我连续几十天都做到了,而且积累起来,真的读了好几本书。 为什么这么简单的设计,最后真的产生了效果呢? 其实看似简单的行为背后,却有一套行为心理学的理论,这个理论就是《福格行为模型》。来自斯坦福行为学教授BJ FOGG。 福格行为模型最核心的部分是一个公式B=MAP。其中B代表行为behavior,M代表动机motivation,A代表能力ability,P代表提示promot。意思是只有当一个行为的动机、能力和提示都同时具备的时候,这
马斯克认为特斯拉的市值是多少钱? 在马斯克的期望中,特斯拉的市值会达到多少呢?在这本《硅谷钢铁侠:埃隆马斯克的冒险人生》中,马斯克说过自己的答案。如果几年前看到了这本书,我还会做空特斯拉吗? 我自己曾经做空特斯拉,亏了近两万美元。从当时披露的公开信息来看,特斯拉的确存在不少问题。我想从传记中看到的是,我当时做空特斯拉时看到的那些问题是不是真实存在的。比如,刚开始的时候一辆车的销售价格低于制造成本不少;再比如特斯拉当时有很多可转债将要到期,如果无法归还,可能有破产清算的风险。 从传记披露的信息来看,这些问题都存在,而且这些问题也的确给特斯拉造成了很大的困扰,特斯拉也一度就在破产的边缘。但当时公开信息不曾想到的是,马斯克也知道这些问题并且绞尽脑汁去解决。当发现一辆车的制造成本太高的时候,他们用各种办法压缩成本,并且提高了车辆的售价。当债务快到期的时候,账上的钱的确不能偿还,但马斯克有很强的融资能力,最终化解了危机。 在做空特斯拉这件事情上,我交了学费。但真正让我明白为什么的,却是在看完这本传记之后。对于真正的创新者,你不能只把眼睛放在他们做的不好的地方,而是应该看到他们带来的颠覆性变
衡水中学的模式为什么能够取得高考的成功? 周末看了一些衡水中学相关的纪录片和文章。了解了一些和刻板印象不同的点。它并不是只知道强调刻苦和题海战术的高考炼狱。而是有一定的社会科学性在里面。 衡水中学首先解决了学习动力的问题。他们的做法有点像三湾改编之后的战时共产主义。 首先是把高考的志向融入到了学习生活的方方面面,无论是挂在班级门口的标语,还是每次跑步班呼口号,还有每个人手写的签名和志向。 其次是把个人志向和班级集体荣誉做了绑定。无处不在的口号和跑操时的呼号,像极了革命年代的军人。一个小例子是跑操的时候挨在一起的间距,如果一个班级有一个人跌倒,其他人也会跟着一起跌倒。把每件小事和集体荣誉挂钩。如果不好好学习影响到班级荣誉,必然给每个成员带来极大的心理负担。 再次就是老师也纳入这集体。所有学生和老师都住校,遵守同样的作息制度。就像三湾改编后的干部和士兵都遵守同样的伙食标准一样。营造一种老师和同学一起去达成高考志向的氛围。在这样的氛围下,偷懒肯定是小概率事件。 这些做法都极大的调动了学生的主观能动性。 衡水中学的作息纪律也挺有意思。他不是我当初以为的拼命学习,少睡觉。
关于Libre 3和DexCom,我犯的错误 在之前一篇关于Libre 3的分析文章中,我说Libre 3僵尸杀手级的产品。Dexcom的日子会不好过。 CGM 领域的杀手级创新 这篇文章分析的时候对比了Libre 3和市场上Dexcom最新的G6。 如果文章分析的正确,那么对于只有CGM一条产品线的Dexcom来说,将会有灾难性的后果。因此Dexcom的股票将会大跌。 但实际情况是,DexCom有下跌,但跌幅并不是很大。这要么是有一个巨大的发财机会大家都没发现,要么是我的分析出错了。 因此我反思了自己的分析过程,发现了一个致命的事实错误,导致结论出错。 这个事实错误就是,G6虽然是Dexcom的最新产品,但他的下一代产品G7也即将于2021年上市。从产品上看,G7也比上一代有了巨大的飞跃,拥有所有Libre 3的优点。因此,虽然Libre 3的推出是一款杀手级应用不假,但不能够导致CGM市场的洗牌。因为竞争对手的G7也是杀手级的。 题外话,同时有两款杀手级产品推出,从一型糖尿病患者的角度来讲,这无疑是福音。 特此更正。
给平安好医生的建议:并购好大夫在线,改名“平安好大夫” 平安好医生目前面临三大困难: 1.1 医生资源畸形 具体来说,平安好医生的医生供给还是靠自建的医生团队,社会化医生资源拓展方面进展缓慢且不得其法。自建医生团队的问题是,医生一旦成为全职的网上问诊医生,其技能进步的能力基本被锁死,也导致平台医疗能力被锁死。而在医院工作的医生,其技能会逐步提升的。随着时间推移,其接诊的水平会停止不前。 1.2 创业时期的战略已被竞争对手复制 平安好医生上市之后,其创业时期的战略(马后炮,复盘平安好医生成功创业的战略)已完全被竞争对手掌握并借鉴,即将上市的京东健康,和一医药电商起家的壹药网。商业模式上和平安好医生很像,这势必瓜分平安好医生的市场。好医生却无法阻止类似的瓜分。 1.3 名称侵权危机 据司法文书网显示,好医生药业诉平安好医生的两个官司早就打赢并终审判决了,平安好医生失去了“平安好医生”的商标,也被好医生药业要求改名。之所以迟迟未改,因为侵权而改名必然带来大的品牌价值损失。 2 平安好医生目前最大的优势: 2.1
复盘平安好医生成功创业的战略 最近,原美团创始人在清华的产品课文字实录刷屏了。我阅读后感觉也很有收获,它不仅是站在产品经理定义产品规划产品的角度来讲,而是有很多战略高度的分析。很有大局观。 收录中推荐了两本书,一本是《好战略,坏战略》,一本是《营销管理》。我抽空读了《好战略,坏战略》一书。如获至宝,很有启发。 本着读完书练习一下的原则,结合自己平安好医生初创时工作的两年经历,做了一下平安好医生创业战略的复盘。 战略的核心内容是分析当前形势、制定指导方针来应对重大困难,并采取一系列连贯性的行动。 《好战略,坏战略》 最大阻碍:后发创业,规模小于竞争对手; 最大优势:有资源,有钱,有寿险的代理人队伍。 战略: 1、 利用资金优势,自建医生团队,主推实时问诊的差异化服务(对比春雨和好大夫的非实时); 2、利用资金优势,推出步步夺金项目,快速做大流量规模(成为第一个日活过百万的互联网医疗企业); 3、利用代理人团队优势,卖体检卡,快速做大收入规模; 4、利用差异化定位和数据上的领先优势,