我们可以使用哪些软件工具？
Posted: Wed Jan 29, 2025 4:44 am
RAG过程大致可以分为数据准备和实际用户查询。
数据准备从收集任何原始数据开始。例如，这些可以是 PDF 等文本文档或网站。第一步，I) 从原始数据中提取相关信息，II) 分解为指定大小的文本块。然后，使用永久存储在矢量数据库中的所谓嵌入和 IV）将文本块转换为法学硕士可以理解的数字形式。这样就完成了数据准备。
当用户向 RAG 系统发出请求时，该 1) 也最初被嵌入。然后2）在查询和向量数据库中存储的文档之间执行相似性搜索（通常使用余弦相似性度量）。前 n 个最相似的文本元素将被 3) 提取并 4) 与用户查询一起传递到任意 LLM。最终根据提取的信息生成对用户查询的响应。
RAG 架构的流程图
RAG 架构的基本软件组件是嵌入模型、向量数据库和实际的 LLM。这三个组件中的每一个都可以使用商业和开源解决方案。
OpenAI 的商业模型 text-embedding-ada-002 或 Cohere 的 医疗保险线索电子邮件列表 框架通常用于嵌入较大的文本块。例如，开源框架 Sentence Transformer 适合嵌入单个句子。有关当前最佳嵌入模型的概述，我们推荐 Hugging Face 上的 MTEB Leaderboard（MTEB Leaderboard - mteb 的 Hugging Face Space）。
随着 RAG 的普及，专用矢量数据库提供商的选择也随之增加（下表）。在商业方面，这里应该提到提供商 Weaviate 和 Pinecone。在开源解决方案中，ChromaDB 的应用最为广泛。其他开源替代方案包括 LanceDB、Milvus、Vespa 和 Qdrant。
但经典数据库提供商也认识到 RAG 的潜力，现在支持矢量搜索。在这里，您也可以找到开源（ClickHouse、Cassandra、PostgreSQL）和商业解决方案（Elasticsearch、Redis、SingleStore、Rockset、MongoDB）。
各种商业和开源解决方案也可用于选择法学硕士。在商业解决方案中，OpenAI的GPT-4和Aleph Alpha的Luminous模型被广泛使用。后者与各种开源模型一样，具有也可以完全在本地运行的优点。您可以在此网站上找到当前表现最佳的法学硕士的概述：开放法学硕士排行榜 - HuggingFaceH4 的 Hugging Face Space。
Haystack、LangChain 和 LlamaIndex 等各种软件框架通过抽象和统一嵌入模型、向量数据库和 LLM 等各种元素的语法来简化 RAG 架构的实现。
矢量数据库提供商概述
基于 RAG 的系统为我们提供了哪些优势？
从用户的角度来看，RAG 的优势是显而易见的。
1.正如开头提到的例子所示，法学硕士通常接受广泛的知识基础培训，但在特定领域的知识方面存在问题。这可以由 RAG 提供，无需任何复杂的微调。
2.大型语言模型的另一个问题是它们的可用知识或多或少是静态的。 ChatGPT 用户直到最近才清楚地了解这个问题。直到最近，如果您向模型询问当前新闻，它通常会回答这些知识只持续到 2021 年 9 月。然而，使用 RAG，可以为模型提供来自外部文档的知识，从而使其保持最新状态，而无需再培训。例如，这意味着法学硕士的知识库可以每天使用公司数据进行更新。
3.这带来了另一个优势：RAG 具有成本效益，因为不需要进行昂贵得多的新开发，包括对现有模型的培训或微调。最后，RAG 还满足应用关键型环境中人工智能系统的核心要求：透明度以及英文名称：值得信赖的人工智能。
数据准备从收集任何原始数据开始。例如，这些可以是 PDF 等文本文档或网站。第一步，I) 从原始数据中提取相关信息，II) 分解为指定大小的文本块。然后，使用永久存储在矢量数据库中的所谓嵌入和 IV）将文本块转换为法学硕士可以理解的数字形式。这样就完成了数据准备。
当用户向 RAG 系统发出请求时，该 1) 也最初被嵌入。然后2）在查询和向量数据库中存储的文档之间执行相似性搜索（通常使用余弦相似性度量）。前 n 个最相似的文本元素将被 3) 提取并 4) 与用户查询一起传递到任意 LLM。最终根据提取的信息生成对用户查询的响应。
RAG 架构的流程图
RAG 架构的基本软件组件是嵌入模型、向量数据库和实际的 LLM。这三个组件中的每一个都可以使用商业和开源解决方案。
OpenAI 的商业模型 text-embedding-ada-002 或 Cohere 的 医疗保险线索电子邮件列表 框架通常用于嵌入较大的文本块。例如，开源框架 Sentence Transformer 适合嵌入单个句子。有关当前最佳嵌入模型的概述，我们推荐 Hugging Face 上的 MTEB Leaderboard（MTEB Leaderboard - mteb 的 Hugging Face Space）。
随着 RAG 的普及，专用矢量数据库提供商的选择也随之增加（下表）。在商业方面，这里应该提到提供商 Weaviate 和 Pinecone。在开源解决方案中，ChromaDB 的应用最为广泛。其他开源替代方案包括 LanceDB、Milvus、Vespa 和 Qdrant。
但经典数据库提供商也认识到 RAG 的潜力，现在支持矢量搜索。在这里，您也可以找到开源（ClickHouse、Cassandra、PostgreSQL）和商业解决方案（Elasticsearch、Redis、SingleStore、Rockset、MongoDB）。
各种商业和开源解决方案也可用于选择法学硕士。在商业解决方案中，OpenAI的GPT-4和Aleph Alpha的Luminous模型被广泛使用。后者与各种开源模型一样，具有也可以完全在本地运行的优点。您可以在此网站上找到当前表现最佳的法学硕士的概述：开放法学硕士排行榜 - HuggingFaceH4 的 Hugging Face Space。
Haystack、LangChain 和 LlamaIndex 等各种软件框架通过抽象和统一嵌入模型、向量数据库和 LLM 等各种元素的语法来简化 RAG 架构的实现。
矢量数据库提供商概述
基于 RAG 的系统为我们提供了哪些优势？
从用户的角度来看，RAG 的优势是显而易见的。
1.正如开头提到的例子所示，法学硕士通常接受广泛的知识基础培训，但在特定领域的知识方面存在问题。这可以由 RAG 提供，无需任何复杂的微调。
2.大型语言模型的另一个问题是它们的可用知识或多或少是静态的。 ChatGPT 用户直到最近才清楚地了解这个问题。直到最近，如果您向模型询问当前新闻，它通常会回答这些知识只持续到 2021 年 9 月。然而，使用 RAG，可以为模型提供来自外部文档的知识，从而使其保持最新状态，而无需再培训。例如，这意味着法学硕士的知识库可以每天使用公司数据进行更新。
3.这带来了另一个优势：RAG 具有成本效益，因为不需要进行昂贵得多的新开发，包括对现有模型的培训或微调。最后，RAG 还满足应用关键型环境中人工智能系统的核心要求：透明度以及英文名称：值得信赖的人工智能。