最近两个多月写文章的频率明显低了很多，不是因为懒了，而是忙着做LLM应用的客户场景落地去了。今天把客户场景落地中的一些心得总结分享一下，希望对广大期望LLM应用落地的企业有一些帮助。

前述

与很多企业客户的深度接触之后，发现绝大多数企业在LLM应用落地中存在三个显著问题，这些企业包括世界500强企业、央企、著名品牌公司，也包括和我们一样但非AI行业的创业公司，所以从样本上来说应该有一定的参考下。然后再分享一下我们在落地过程中碰到的各种难点和需要客户一起决策的点。

三个问题

1. AI思维：就像以前大家常说的“互联网思维”一样，AI思维接下来肯定会被越来越多提及。其实所谓的“XX思维”没这么玄乎，说到点子上，其实就是想了解更多已经在开展的案例，然后结合自身情况来做“复制”或创新；
2. 快速工具：企业工作人员使用LLM很简单，一个浏览器就可以。但是要把LLM的能力结合到自身的业务应用和系统中就没那么容易。需要对接LLM的API、控制幻觉、管理知识库、让RAG的准确度、相关性达到企业应用水平，还需要和自己的应用相结合等。绝大多数企业更希望将自有的研发人员（AI研发人员稀缺是普遍现象）投入到应用开发上，希望基于一个开箱即用、稳定和高质量的LLM应用开发平台来提升他们的业务水平；
3. POC验证：这是大部分企业开始都没有提出来的，但却是最影响签约的环节。企业客户需要一套有说服力的POC评测方案，在评测结果上得到满意效果之后，企业内部决策（购买）才会变得更加顺畅。

阅读全文

大语言模型(LLM) 已经存在了几年，它们正在迅速向 AI Agents和Agents Workflow发展。不要误解我的意思，大语言模型(LLM)是很棒的，但他们在自动化方面仍然不够有效。大语言模型与其他工具相结合是利用大语言模型(LLM)所拥有的通用智能的一种非常有效的方式，通过消耗大量的Tokens。大语言模型最大的问题是他们有迷失的倾向(幻觉和自我一致性)，我们永远不知道大语言模型(LLM)或代理(Agents)什么时候会失败。在这些失败的周围几乎没有护栏，但我们还远远没有结束利用大语言模型(LLM)通用智能的全部能力。

因此，在今天的博客中，我们将深入探讨:

• 大语言模型(LLM)的未来是什么样子;
• 我们如何从RAG管道转向Agents;
• 以及创建一个可行的基于LLM的AI Agent(工具使用、Memory和规划)有哪些挑战?;
• 最后，我们研究不同类型的Agents，以及AI Agents和RAG的未来是什么样子.

阅读全文

昨天去参加在上海举办的NVIDIA创业者会议，感受了AI创业的热情，还听了Dify CEO张路宇的分享。加上吴恩达在红杉分享会上对AI Agents的推动，带动了国内大量自媒体对AI Agents的狂轰滥炸。所以也想从我自己的角度来分享一些思考。

先贴一下吴恩达分享的四种AI Agents设计模式：

• 自我反思（Reflection）：可以自我修正；
• 使用工具（Tool Use）：链接其他系统去做一些事情，比如把我电脑里面的未归档文件做好归档；
• 规划（Planning）：类似于思维链，分解复杂任务，找到路径；
• 协作（Multiagent Collaboration）：不同类型的助理（agent），可以通过协作组成一个团队或一家公司，嗯，不过目前这一步应该还需要一些时间。

本质上AI Agents是一个依赖于大语言模型（LLM）的业务组件，是LLM在企业场景落地中的手段，而且不仅一种手段。我觉得目前由三种主流的AI Agents的采用方式，纯个人观点，不代表任何官方意见。

阅读全文

目前，使用大型语言模型(LLMs)构建应用程序不仅复杂而且脆弱。典型的pipelines通常使用prompts来实现，这些prompts是通过反复试验手工制作的，因为LLMs对prompts的方式很敏感。因此，当您更改pipelines中的某个部分(例如LLM或数据)时，可能会削弱其性能—除非您调整prompts(或微调步骤)。

当您更改pipeline中的一部分时，例如LLM或数据，您可能会削弱其性能……

DSPy[1]是一个框架，旨在通过优先编程而不是prompt来解决基于语言模型(LM)的应用程序中的脆弱性问题。它允许您在更改组件时重新编译整个管道，以根据您的特定任务对其进行优化，而不是重复手动轮次的prompt工程。

虽然关于该框架的论文[1]早在2023年10月就已经发表了，但我是最近才知道的。在看了Connor Shorten的一个视频“DSPy解释!” 之后，我已经可以理解为什么开发者社区对DSPy如此兴奋了!

本文简要介绍了DSPy框架，涵盖了以下主题:

• 什么是DSPy(包括关于DSPy vs. LangChain vs. LlamaIndex和DSPy vs. PyTorch的讨论)
• DSPy编程模型:签名，模块，和提词器
• DSPy编译器
• DSPy示例:Naive RAG Pipeline

  阅读全文

Function Call（函数调用）并不是什么新鲜事。2023 年 7 月，OpenAI 为其 GPT 模型引入了函数调用，该功能现在已被竞争对手采用。Google 的 Gemini API 最近支持它，Anthropic 正在将其集成到 Claude 中。函数调用对于大型语言模型 （LLMs ）来说变得至关重要，从而增强了它们的功能。

考虑到这一点，我的目标是编写一个全面的教程，涵盖基本介绍之外的函数调用（已经有很多教程了）。重点将放在实际实施上，构建一个完全自主的人工智能代理，并将其与 Streamlit 集成，以获得类似 ChatGPT 的界面。虽然 OpenAI 用于演示，但本教程可以很容易地适用于其他LLMs支持函数调用，例如 Gemini。

Function Calling是干什么用的？

Function Calling（函数调用）使开发人员能够描述函数（也称为工具，您可以将其视为模型要执行的操作，例如执行计算或下订单），并让模型智能地选择输出包含参数的 JSON 对象来调用这些函数。简单来说，它允许：

• Autonomous decision making（自主决策）:模型可以智能地选择工具来回答问题。
• Reliable parsing（可靠的解析）: 响应采用 JSON 格式，而不是更典型的类似对话的响应。乍一看似乎并不多，但这就是允许LLM连接到外部系统的原因，例如通过具有结构化输入的 API。

它开辟了许多可能性：

• Autonomous AI assistants（自主人工智能助手）: 机器人可以与内部系统交互，完成客户订单和退货等任务，而不仅仅是提供查询的答案
• Personal research assistants（个人研究助理）: 假设您正在计划旅行，助理可以在 Excel 中搜索 Web、抓取内容、比较选项和汇总结果。
• IoT voice commands（IoT 语音命令）: 模型可以控制设备或根据检测到的意图建议操作，例如调整交流温度。

Function Calling的结构

阅读全文

神经网络是人工智能 （AI） 的核心，为从发现照片中的物体到翻译语言的各种应用提供动力。在本文中，我们将深入探讨神经网络是什么，它们是如何工作的，以及为什么它们在当今技术驱动的世界中很重要。

Index 指数

·1：了解基础知识
∘ 1.1： 什么是神经网络？
∘ 1.2： 神经网络的类型
·2：神经网络的架构
∘ 2.1： 神经元的结构
∘ 2.2： 图层
∘ 2.3： 层在学习中的作用
·3：神经网络的数学
∘ 3.1： 加权总和
∘ 3.2： 激活函数
∘ 3.3： 反向传播：神经学习的核心
∘ 3.4： 分步示例
∘ 3.5： 改进
·4：实现神经网络
∘ 4.1： 用 Python 构建简单的神经网络
∘ 4.2： 利用库实现神经网络 （TensorFlow）
·5：挑战
∘ 5.1： 克服过拟合
·6：结论

1：了解基础知识

1.1： 什么是神经网络？

神经网络是生物学和计算机科学的酷炫融合，灵感来自我们大脑处理复杂计算任务的设置。从本质上讲，它们是旨在发现模式和理解感官数据的算法，这使它们可以做很多事情，例如识别人脸、理解口语、做出预测和理解自然语言。

阅读全文

TorchV AI v1.0发布

经过一个忙碌的3月，2024年4月1日，我们迎来了2024年1月26日首次发版以来最大的一次更新，TorchV AI（原TorchV Bot）从原来的beta 版本升级到了正式版v1.0。

目前TorchV AI的主要技术架构依然还是RAG+LLM，实现的是”快思考“的功能。再往后，我们会在TorchV AI中逐步增加”慢思考“的功能，既更加面向业务的Agent和Workflow。

以下是TorchV AI v1.0的主要更新升级内容：

• 整体检索能力有显著提升：
  • Rerank策略重大优化，召回率更大；
  • 表格处理能力重大优化，表格内容识别和计算能力增强；
• 提取解析能力升级：
  • Chunking策略优化，针对文件内容疏密程度使用不同chunking方法；
  • 搭建OCR服务器，优化含图片类型文件的提取解析能力；
  • Word解析bug修复，内部表格提取能力加强；
• 应用中心全新发布：
  • 新增应用中心大板块，用户可创建不同应用，废弃原来APIKey的直连方式；
  • 应用内容增加仅限当前应用的参数配置和调试窗（Playground）功能，支持发布调试后的配置；
  • 增加”一键嵌入“功能，引入几行js代码，即可在网站上实现AI问答服务。

您依然可以申请TorchV AI的试用，直接加微信（lxdhdgss）联系即可！

阅读全文

本文非AI技术文章，而是讲述我们在AI应用创业过程中的一些心得。网上常说技术创业者往往缺的不是技术，而是对市场需求的感知，以及如何做到PMF。我们离PMF还有距离，但是已经在路上，所以分享一些自己的AI创业心得，希望得到您共鸣和反馈。

为客户感到开心

昨天最开心的一件事情是我们的一个客户（后面简称“ZY”）的AI应用上线了，ZY使用的是TorchV的AI PaaS服务，而且他们切入的市场需求真的非常棒！鉴于他们做的是专属社群的生意，不太愿意在互联网过多曝光，所以我只说一些大概内容，会略去一些敏感信息。

首先他们的服务对象是在读的重点大学本科生与各类研究生，为学生提供收费的知识服务，对于他们商业模式我就不再过多透露了，但我们内部也评价了一下，确实很有卖点，而且他们具备一些独特优势。

下面我把重点放在讲述ZY与我们TorchV相关的内容上。

阅读全文

注意：本文【非技术文章】，适用于所有想通过最新的AI技术优化自己的工作和业务的朋友。

在大部分企业和事业单位，非结构化数据占比远大于结构化数据，挖掘非结构化数据的价值，为人们所用，任重道远。

连接的价值

王坚博士的《在线》是一本相对有争议的书，当年出版不久，我记得身边的朋友里就有人踩有人捧。虽然他当时讲的更多是基于云计算和大数据的一些未来发展看法，但是其中有一个重要观点，我觉得在AI时代依然适用，那就是“连接”。连接讲的是数据与互联网的连接，是数据与各类业务系统的连接，只有发生了连接，数据的价值才会像石油遇见内燃机，交流电遇见电动机一痒，价值成倍上升。没有连接的数据就只能变成“沉默数据”，在掸去尘灰再次被人发现之前，这些资料文件毫无价值。

阅读全文

为什么需要AI设计模式

我们在构建新事物时，都会依赖一些经过验证的方法、途径和模式。对于软件工程师来说，这个说法非常正确，但对于生成式人工智能和人工智能本身来说，情况可能并非如此。随着生成式人工智能等新兴技术的出现，我们缺乏充分验证的模式来支撑我们的解决方案。

在这里，我分享了一些生成式人工智能的方法和模式，这些方法和模式是基于我对LLM在生产中的无数实现的评估。这些模式的目标是帮助减轻和克服生成式人工智能实现中的一些挑战，如成本、延迟和幻觉。

设计模式列表

1. Layered Caching Strategy Leading To Fine-Tuning 使用分层缓存策略驱动微调
2. Multiplexing AI Agents For A Panel Of Experts 多路复用AI代理，用于专家模型组合
3. Fine-Tuning LLM’s For Multiple Tasks 微调LLM的多任务优化
4. Blending Rules Based & Generative 基于规则和生成的混合规则
5. Utilizing Knowledge Graphs with LLM’s 利用LLM的知识图谱
6. Swarm Of Generative AI Agents 生成式人工智能代理的群体
7. Modular Monolith LLM Approach With Composability 模块化单体LLM方法与可组合性
8. Approach To Memory Cognition For LLM’s LLM的记忆认知方法
9. Red & Blue Team Dual-Model Evaluation 红蓝队双模型评估

   阅读全文