RAG是一个考验技术的工作这两周发的文章大模型偏多，但如果你有阅读过前面的文章，你会发现我其实不是为了说大模型而说大模型（有点绕），我更多的是在写怎么解决企业应用中真正的难题。这个真正难题我在前面的文章中《一些LLM的声音总结》中提到过，基于大模型的企业应用中很大一部分需求就是RAG——检索增强生成。
这个流程依然无法描述RAG的复杂性
RAG涉及的内容其实广泛，包括Embedding、分词分块、检索召回（相似度匹配）、chat系统、ReAct和Prompt优化等，最后还有与LLM的交互，整个过程技术复杂度很高。如果你用的LLM非常好，反而大模型这一块是你最不需要关心的。而这些环节里...
搜索功能已经深入到我们的日常生活中，我们常说“Google一下就知道了”，用户已经开始期望几乎每个应用程序和网站都提供某种类型的搜索功能。随着有效搜索变得越来越相关(双关语)，寻找新的方法和体系结构来改进搜索结果对于架构师和开发人员来说至关重要。从基础开始，这篇博文将描述Redis中利用深度学习模型创建的向量Embeddings的人工智能搜索功能。
向量Embedding什么是向量Embedding?简单地说，向量Embedding是可以表示许多类型数据的数字列表。
向量Embedding非常灵活。音频、视频、文本和图像都可以表示为矢量Embedding。这种特性使得向量Embeddin...
Falcon的发布机构TII官网
前几天Falcon-180B大模型发布，在Hugging Face的所有LLM（大语言模型）里面排名第一，应该也是迄今为止参数量最大的开源预训练模型了。就性能来说，我看很多国外的专家都在给他背书，说仅次于GPT-4，和PaLM2相当，也就是说性能已经超过了大部分常用的ChatGPT3.5（GPT-3.5）了。开始我是不相信的，但是马上一想，这是TII（阿联酋阿布扎比技术创新研究所）发布的，我信了，因为他们是一群有“钞”能力的人。
很快，我们吕总就开始问我了，搞不搞。我一想到1800亿参数，那还不得上百张A100啊，不可能的，直接拒绝了。但是意识到...
起因前些天听我邻居介绍了ngrok可以做内网穿透，这样就可以把我家里的那台带了RTX4090的PC用起来。于是我折腾了一通，发现ngrok配置是简单的，但用它自己的server来做转发，网络太慢了，于是就放弃了。昨晚在Github搜索ngrok的替代品时，发现有人整理了一个非常完整的tunneling工具列表，frp赫然列在第一位。
图1：tunneling工具列表（部分）
frp的优势相比于ngrok，这次的frp更符合我的需求。frp的一些特性优势：
自定义服务端：可以使用自己的云服务器做服务端，速度有保障（确实很快）；
类型支持丰富：包括http/https/ssh/ssh2...
这篇文章是最近听到的一些播客（如《此话当真》），以及之前读到的一些文章，当然还有自己在公司产品中的一些实践中产生的想法归纳。
这波LLM，巨头和创业者/小公司其实处在同一起跑线，但是小公司/创业者真的没必要去做LLM，还是应该聚焦在基于AI的应用上，需要去做错位竞争。
主要原因有二：
这次LLM是在第一时间给市场看到了最好的产品——ChatGPT，其他竞争对手和OpenAI都还存在代差。一些国内外的Benchmark大家看看就得了，只要他们声称自己的新模型超过GPT-3.5，接近GPT-4.0，那在全领域来比较多半还差距很大，所以不要全信。
后面大模型的竞争首先会成为卡的竞争，也就是钱...
介绍Transformer模型于2017年发明，并首次在开创性论文“Attention is All You Need”(Vaswani等人，2017)中提出，它对深度学习做出了革命性的贡献，可以说是对整个计算机科学的贡献。作为一个神经机器翻译的工具，它已经被证明是深远的，扩展了它的适用性，超越了自然语言处理(NLP)，巩固了它作为一个通用的、通用的神经网络架构的地位。
在这个全面的指南中，我们将剖析Transformer模型的核心，深入探索从其注意机制到编码器-解码器（ encoder-decoder）结构的每个关键组件。我们不会停留在基础层面，我们将遍历利用transformer功能...
介绍如此多有价值的信息被困在PDF和图像文件中。幸运的是，我们拥有强大的大脑，能够处理这些文件以找到特定的信息，这实际上很棒。
但是，我们当中有多少人在内心深处不希望有一个工具可以回答关于给定文档的任何问题?
这就是本文的全部目的。我将逐步解释如何构建一个可以与任何pdf和图像文件聊天的系统。
项目的一般工作流程对正在构建的系统的主要组件有一个清晰的理解总是好的。让我们开始吧。
整个聊天系统的端到端工作流程
首先，用户提交待处理的文档，文档可以是PDF格式，也可以是图像格式。
第二个模块用于检测文件的格式，以便应用相关的内容提取功能。
然后使用Data Splitter模块将文...
这篇文章研究的是标点符号在prompt中的作用。
Midjourney的prompt可以包含标点符号。我们经常使用它们来制作prompt，而不需要太多思考。毕竟，这是官方的Midjourney用户指南声明:
使用逗号，括号和连字符来帮助组织你的想法，但请记住，MidjourneyBot不会可靠地解释它们。
对于许多用户来说，“不能可靠地解释它们”意味着“不用麻烦了”。然而，标点符号对你的prompt几乎没有影响，这是真的吗?如果他们这样做了怎么办?如果它们有微妙的影响，你可以利用它们来调整你的prompt?
到目前为止我们对标点符号的了解
在我们研究标点符号是否重要之前，让我们来...
上周去看了诺兰的《奥本海默》，说真的，要深刻了解这个片子，没有一些辅助的资料还是很难的，特别是当时的背景和时局发展，后半段对奥本海默的审批，以及各种闪现的配角（诺贝尔奖得主）。当然，本篇不想过多解读审判这条主线，更多想说说研发原子弹的庞大工程——曼哈顿计划的主持人为什么是奥本海默，他有什么过人之处，以及我们可以学到什么。
为了把这个问题讨论清楚，我们还是分四个章节来讲，分别是：
曼哈顿计划的历史背景——先把整体的情况捋一下；
为什么是奥本海默——选他的原因，以及他如何成功；
我们学到了什么——对于创新型产品研发的启示；
说说第二主角格罗夫斯——管理的艺术。
一、曼哈顿计划背景为了让...
AI助手的崛起人工智能正在改变我们与在线应用程序互动的方式。目前，我们使用搜索引擎、新闻源和精心设计的菜单来导航，这些菜单引导我们找到所需的信息或服务。然而，我相信目前人工智能的创新使一种新型的推荐引擎成为可能:人工智能助手。随着Chat-GPT和Bard的出现，我们已经看到了这方面的证据。但是，让我们考虑一个示例来进一步说明这一点。想象一下，你正在伦敦度假，你想和一些朋友在格林威治公园野餐。在你决定日期之前，你可能会通过谷歌搜索或直接找到你喜欢的天气预报服务。接下来，您将浏览他们的站点并检查所选日期范围内的天气预报，根据最有利的天气选择一天和时间。
格林威治公园
如果你直接问不是更...
