我的学习笔记
我的学习笔记

大模型商业应用的天王山之战——“消灭”LLM幻觉
本文主要内容: 大模型LLM为什么会有幻觉? “消灭”幻觉的四个主要方法 幻觉如何检测 在之前我一篇文章比较受欢迎的文章《大模型主流应用RAG的介绍——从架构到技术细节》中提到了大语言模型(LLM)的主要缺点有三点: 幻觉问题:大模型的底层原理是基于概率,所以它有时候会一本正经胡说八道,比如我们问大模型的问答系统,“良渚博物院下周一开门吗?”我相信这样的问题你不能连续问,因为大模型会有一定的几率告诉你开门。而如果游客真的在下周一去了良渚博物院,那估计就要失望了,如果这个Chat还是博物院官方提供的,那事情最终会演变成一通12345的投诉电话。所以在很多需要非常精确的场景,仅仅依赖G...
用弹子球机解释LLM原理,包括损失函数和梯度下降
本文重点: 用弹子球机来展示大语言模型的一些内部原理 如何去调整参数,以达到我们想要的模型输出效果 今年5月份的时候我说国内真正使用过ChatGPT的人不超过5%,但是到了11月份,我再和企业、政府等的一些客户交流时,已经很难再碰到整个交谈过程中不说大语言模型(LLM)的了。但是说实话,大部分人对于LLM的了解还是很“新闻”化的,看到了现象但不达本质,往往造成了对LLM的“神化”。所以今天这篇文章,我希望用相对不那么技术化的描述来讲讲LLM的一些原理和概念,让大家对LLM有更近一步了解,也许对大家后面使用LLM及其应用有一定的帮助。 首先做个说明:本文不会讲太多数学公式,我会尽量保...
AI创业之路会被OpenAI堵死吗?
上周算是我正式离职创业的第一周,拜访客户、行业交流、选办公场地、置办办公设备等等,很多时间不在电脑面前,所以上周没更新任何文章。嗯,那就这周补上,发两篇! 图1:办公室已经付了房租,夜景还是很赞的,目前等待办公家具入场,准备11月底开始办公 今天这篇是上周本来就想写的,就是OpenAI DevDay(开发者大会)之后,基于大模型及相关的创业项目前景如何。 图2:OpenAI DevDay现场,你能想象不到两周时间,Sam Altman被踢出OpenAI-回归谈判-又最终入职微软的狗血剧情吗? OpenAI的DevDay发布会很“苹果”,展现力非常不错,给出了六大能力: 1...
Rerank——RAG中百尺竿头更进一步的神器,从原理到解决方案
本文主要内容: 为什么一般情况下RAG的检索相关性存在问题? Rerank为什么可以解决这个问题? 几种常用Rerank组合评测; 如何在自己的产品中使用Rerank? 检索增强生成(RAG)是解决大语言模型(LLM)实际使用中的一套完整的技术,它可以有效解决LLM的三个主要问题:数据时效性、幻觉和数据安全问题(在我之前的文章《大模型主流应用RAG的介绍——从架构到技术细节》中有详细介绍)。但是随着RAG越来越火热,使用者越来越多,我们也会发现用的好的人/团队其实还是不多的。这也是RAG常被人吐槽的一点:入门简单,用好却非常难! 对于RAG的效果,我们之前已经做了很多方面的优化了...
提升RAG——选择最佳Embedding和重新排名模型
在构建检索增强生成(RAG)管道时,一个关键组件是Retriver。我们有各种各样的Embedding模型可供选择,包括OpenAI、CohereAI和开源的Sentence-Transformers。此外,CohereAI和Sentence-Transformers也提供了一些重新排序器。 但是有了这些选项,我们如何确定最佳组合以获得一流的检索性能呢?我们如何知道哪种Embedding模型最适合我们的数据?或者哪个重新排名对我们的结果提升最大? 在这篇博文中,我们将使用LlamaIndex的检索评估(Retrieval Evaluation)模块来快速确定Embedding和重新排名模...
像光速一样搜索——HNSW算法介绍
本文是一篇英文翻译转载文章,主要介绍了HNSW算法。 原文链接:https://dataman-ai.medium.com/search-like-light-speed-1-hnsw-c5b0d4665926 我喜欢《玩具总动员》里的太空护林员“巴斯光年”,我喜欢他的口头禅“飞向无限!” 当我搜索信息时,我也享受找到正确信息的速度。这一切都是因为高速互联网和足够的带宽吗?不完全是!事实上,近乎即时搜索结果的算法是至关重要的。信息检索速度是计算机科学中的一个重要课题。随着文本、图像或音频数据的大型语言模型(大语言模型)的高维Embeddings,信息检索的速度是数据科学中的一个优先课...
ChatGLM3-6B针对RAG能力对比测试,最意外的竟是ChatGPT
ChatGLM3-6B来了上周又新出来一个新的国产大语言模型——ChatGLM3-6B,据说这次他们还另外上线了3B和1.5B两个模型,但是没有选择开源。这类小体量的模型如果能力OK的话,应用前景是非常广的,可以作为桌面应用,甚至在手机上就可以部署。 好,不说这么多,今天我们先来看看ChatGLM3-6B的能力相比之前的ChatGLM2-6B是否有较大提升。 周末的时候我下载了ChatGLM3-6B的模型文件,这次的文件大小和ChatGLM2-6B几乎是差不多的。甚至我开始都觉得可能是同一份model文件,但是使用ll命令看详细字节数,每个文件的大小是不同的,所以我还是重新下载了一份。 ...
RAG行业交流中发现的一些问题和改进方法
本文主要内容: 近期关于RAG的一些行业交流 RAG过度依赖ChatGPT好吗? RAG存在的一些问题 5个改善RAG性能的方法 近期行业交流的收获近两周我们也在做一些RAG方面接地气的探索,所谓接地气,就是不仅仅研究产品技术,还包括和一些行业人士交流RAG在他们的业务场景中的需求。包括与金融、法律、高校、生产型工厂、贸易公司、电商、餐饮、知识产权和文旅等行业的人士交流,后续还安排了和政务、医疗、通信、能源、教育(非义务教育)和交通等行业的人士交流。说实在的,现在大家需要的基本都是Chat——快速根据已有文档,建立知识对话系统。但是随着交流的深入,我们和行业专家也发现了一些有意思...
一款基于大模型产品的思考、推广和实践过程
本文导读: 实际业务中应该如何使用大模型的思考 记录一款大模型产品的0到1过程 在公司已经六年多了,六年多里收获很多成长,从纯研发leader开始,先后带过大数据产研团队、AI产研团队和运营团队,而且还作为独立销售和解决方案获得一些著名客户的订单,从一个coder变成了多面手。所以,在即将离别之际,不去讲其他纷争,只从产品角度去写两篇文章总结过去。上篇写今年之前三年的一些感想,主要记录力石小知的成长——《总结一下过去三年的产品心路》。这篇写的就是今年,在大语言模型(LLM)开始进入国内之后,我们如何思考它带来的影响,以及如何务实去落地一款产品。 本文有7000多字,有点长,Enj...
新开源大模型zephyr介绍,据说对RAG比较友好
前面刚测试了Baichuan2-13B的本地化模型能力,对于我来说,归纳能力已经足够了。但是一旦深入RAG的应用,Baichuan2还是有一些弱势的,比如在表格的处理能力上,显得力不从心。让我们比较失望的是,目前国内一众模型里面,对这一块的处理能力都够呛,唯一可行的还是OpenAI的ChatGPT。 于是这两天也在空隙里面找可以本地化部署,对于RAG又比较友好的LLM,发现还真的有几个新的LLM出来了。 首先看到的是Mistral-7B,据说性能超过了Llama-13B。正当我准备好好研究一下的时候,又看到Wenqi Glantz老师在推Zephyr-7b-alpha,而且推荐理由里面有...
avatar
员外
我的梦想是:在100个国家的咖啡馆写过代码