检索增强生成（RAG：Retrieval Augmented Generation）技术旨在把信息检索与大模型结合，以缓解大模型推理“幻觉”的问题。近来关于RAG的研究如火如荼，支持RAG的开源框架也层出不穷，并孕育了大量专业领域的AI工程应用。我们设计了一个通用的开源RAG框架，以兼容未来多样化的基础研究建设和工程化应用诉求。

大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大模型配备上四肢和工具呢？大模型是不是就会打破次元壁，从数字世界走向现实世界，与现实世界实现梦幻联动呢？

本文从技术应用架构以及AI大模型赋能角度介绍腾讯文档AI智能助手的探索和实践之路。作为一款集多功能为一体的AI产品，腾讯文档全品类与AI进行了深度融合，全面提升用户生活和办公中的效率。通过腾讯文档AI，你脑海中灵光一现的Idea可以快速转化为详细的内容，在各种类型的文档中同源流转。同时，面对纷繁复杂的信息，腾讯文档AI也可以加以分析处理，帮助你从海量的信息中提炼出有价值的内容，从而将他们转化为属于你的认知。

在本文中，无恒实验室以应用安全工程师的视角，汇总梳理有关 LLM 的原理和基础知识，以赋能安全工程师为后续新型使用 LLM 的产品的信息安全保驾护航。

本文为笔者学习LangChain时对官方文档以及一系列资料进行一些总结～覆盖对Langchain的核心六大模块的理解与核心使用方法，全文篇幅较长，共计50000+字，可先码住辅助用于学习Langchain。

文章讨论了知识库问答和个人助手两个应用场景，并分析了各自面临的困境，如知识库无法有效处理多模态信息和大型文档，个人助手则受限于工具参数的复杂性和令牌长度。

当我做过几个项目之后，我才发现，原来 Prompt 真的是有很大的想象空间，一些看起来简单的指令，就能让 AI 帮你完成不可思议的事情，并且马上能看到效果。这一点，有一丢丢像前端，曾经让我痴迷于前端的原因，也是因为前端通过很简单的几行代码，就能做出非常令人惊叹的效果。

LLM（Large Language Models）大语言模型，是机器学习模型的一种，它由大量的文字数据生成各种的NLP（自然语言处理）任务。比如问答，翻译，补全句子等。

信息流个性化推荐场景中依赖爬虫抓取的海量新闻库，这些新闻中不乏互相抄袭的新闻，这些内容相似的文章，会造成内容的同质化并加重数据库的存储负担，更糟糕的是降低了信息流内容的体验。所以需要一种准确高效的文本去重算法。

ChatGPT，作为一个先进的自然语言处理工具，可以理解和生成人类语言，提供智能编程建议，自动化代码生成，以及提供交互式编程教学。这些功能为开发者提供了前所未有的便利，大大减少了编程的时间和复杂性。

面对AI工具的强大创作能力，设计师一直担心工作被AI所取代，然而AI真的会取代设计师吗？本篇文章从比较简单的绘本故事下手，整理一套全流程AI创作的方法。

本篇文章旨在以更加通俗易懂的给大家讲解Stable Diffusion生成原理，通过本文，你将掌握以下知识：Stable Diffusion原理介绍，模型训练相关原理，大模型微调技术。

Sora是一个以视频生成为核心的多能力模型，本文简单介绍了什么是Sora，主要从Sora有多强、Sora技术突破以及复刻难度、意义和启发三个方向出发展开讨论。

我认为必须将其视为一项（可能非常惊人的）科学发现：在像 ChatGPT这样的神经网络中，能以某种方式捕捉到人类大脑在生成语言时所做事情的本质。

最新越发觉得AI的发展，对未来是一场革命，LangChain已经在工程设计上有了最佳实践，类似于AI时代的编程模型或编程框架，有点Spring框架的意思。之前在LangChain上也有些最佳实践，所以在这里分享记录下。

在近期，许多人热衷于学习和实践AIGC（人工智能生成内容）技术，他们坚信“最好的学习方式就是通过实践”。为了更好地掌握这项技术，有些人在业余时间纷纷尝试使用「Midjourney」来创作个性化的头像。今天，我将与大家分享这一过程，希望能够为大家提供一些参考、启发和交流的机会。

最近AI圈最火的无疑是OpenAI在2月15日发布的Sora。Sora可以根据文本生成一分钟的高清视频，生成的视频画质、连续性、光影等都令人叹为观止，Sora无疑将视觉生成推到新的高度。本文将重点回答三个问题：（1）Sora的原理是什么？（2）Sora到底是不是世界模型？（3）Sora会影响哪些行业？

OpenAI Sora文生视频（图像看作单帧视频）一放出就炸翻整个AI 圈，也是ChatGPT掀起GenAI热潮时隔一年后，OpenAI再次史诗级的更新。OpenAI 随后公布的技术综述[文献1]，难掩其勃勃雄心：视频生成模型作为世界模拟器。

OpenAI 的首个视频生成模型 Sora，让「一句话生成视频」的前沿 AI 技术向上突破了一大截，引发了业界对于生成式 AI 技术方向的大讨论。

Sora 详细的技术报告发布了，相关从业者可能都需要看看。里面有 Open AI的训练思路以及 Sora 详细的技术特性，我从里面找了一些要点，详细的可以去看完整内容。

prompt工程不需要复杂的编程知识，人人都可以使用prompt工程成为AI大师。本文只探讨prompt工程，不涉及模型训练等内容。只讨论文本生成，不涉及图像等领域。

ai能力在去年一年飞速增长，各种AI产品如雨后春笋般冒出来，在各种垂直领域上似乎都有AI的身影出现，今天就总结几款好玩的场景，看大家工作生活中是否会用到。

LLM (Large Language Models) 的风头一时无两，席卷万千行业。业内不乏有关于 LLM 的研究和讨论，但鲜有立足终端的视角。团队上半年曾有过对 GPT 进终端的分析，但 LLM 日新月异，旧分析已经不完全跟得上变化了。适逢年底规划季，尝试重新梳理 LLM 的现状，预判未来变化的趋势，希望能为迷茫的同仁提供思考的角度，也希望获得战斗在一线的友军的指点。

大模型（LLM）相关理论研究与工程实践随着 GPT3 的发布，在学术界、工业界大爆发，备受各行各业关注，并涌现出一些赋能行业、促进生产力、生产关系变革的实践。GPT3 [1] 以及斯坦福计算机学院近 100+ 教授联名论文 [2] 将大模型列为第三轮 AI 浪潮，相对于传统的机器学习与深度学习，以 GPT3 为例的大模型涌现出处理各类任务的新范式：zero-shot、few-shot、in-context 等，同时也支持深度学习领域的 finetune，新范式让大模型能够低成本、快速处理各种任务，极大的缩短了数据准备与工程开发流程。

看到一些读者朋友把 ChatGPT 当成搜索引擎使用了，当然这样使用也没有问题，只是并不能发挥出 ChatGPT 背后大型语言模型（LLM）的优势，似乎有一种在“拿斧头切菜”的感觉。

OpenAI近期召开了开发者大会，同时也发布和开放了一些新的功能特性，比如新版本GPT-4 Turbo，支持128k上下文，知识截止更新到2023年4月，视觉能力、DALL·E3，文字转语音TTS等等全都对API开放，GPTs商店已经对Plus账户开放。本文将对OpenAI截止到目前的大部分开放API能力进行介绍，注意的是这里使用的账号必须是绑定了信用卡的正式账户，非正常渠道购买的账号不能调用大部分API。

ChatGPT彻底点燃大家对大语言模型(LLM)的热情，越来越多的同学开始自己动手来实现自己的AI应用，而调用过OpenAI API的同学都知道，其API调用是按照Token来计费的，那么Token到底是什么？Token和单词/字有什么不同？Token是如何构建的？它在LLM中到底起到了什么作用？本文就来回答这些问题。

LangChain是一个框架，用于开发由LLM驱动的应用程序。可以简单认为是LLM领域的Spring，以及开源版的ChatGPT插件系统。

近日，百度搜索主任架构师Tianbao应邀参加了知名技术媒体InfoQ的“极客有约”对话节目，与主持人和观众们就图像生成技术进行了深入探讨，包括百度搜索的应用场景、相关技术的思考，以及在搜索业务场景的应用落地经验。

Modular 公司在 9 月正式对外发布了 Mojo，这是一门面向 AI 领域的新型编程语言，号称比 python 快 68000 倍，而且会“着火”，真有那么猛吗？跟随着这篇文章咱来一探究竟。