小色猫社区

电脑版下载

93788
4

小色猫社区截图Q8X2R7L1T4J5M9B6W3

内容详情

小色猫社区

智通财经APP获悉，广发证券宣布研报称，RAG架构为大模子提供恒久影象，企业和个性化需求推动了对RAG存储需求的增添。AI推理中的RAG向量数据库存储介质正在从“内存加入检索”向“全SSD存储架构”过渡，推动高带宽、大容量SSD的需求将一连增添。建议关注工业链焦点受益标的。

广发证券主要看法如下：

RAG为大模子提供“恒久影象”，企业&个性化需求推动RAG需求增添

在RAG(检索增强天生)架构中，LLM(大语言模子)在天生响应前，先向向量数据库提倡盘问，其中向量数据库作为毗连用户盘问与外部知识的要害中枢，认真高效存储、治理和检索高维向量化的知识体现，从而提升天生效果的准确性和时效性。从企业侧看，RAG正逐步渗透至在线场景(电商、Web搜索等)、离线场景(企业、执法、工程研究等)。从小我私家侧看，个性化RAG保存用户恒久影象、偏好与上下文信息，形成“用户级向量空间”，显著推高RAG需求增添。

AI推理RAG向量数据库推动SSD需求增添

向量数据库存储介质需承载大规模向量数据及索引结构，要求支持高吞吐和低时延，以知足高并发场景下的相似度检索需求。现在向量数据库存储介质正在从“内存加入检索”走向“全SSD存储架构”。凭证《All-in-storage ANNSAlgorithms Optimize VectorDBUsability within aRAGSystem》以KIOXIAAiSAQ为例，向量、PQ量化效果及索引统一存储于SSD，10B级向量规模所需SSD容量为11.2TB，其中PQVectors占1.28TB，索引占10TB。在接纳TLC/QLCSSD下，AiSAQ相较于DiskANN介质本钱具备4-7倍的本钱优势;别的，AiSAQ所有租户处于激活状态，租户可直接最先盘问，不保存必需先从SSD加载到DRAM后才华最先盘问的“冷启动”延迟，提升RAG系统的规�；┱鼓芰τ刖每尚行�。

火山引擎TOSVectors开启向量存储新范式，对SSD需求提高

凭证火山引擎开发者社区公众号，TOS推出Vector Bucket，该架构接纳字节自研的Cloud-Native向量索引库Kiwi与多层级外地缓存协同架构(涵盖DRAM、SSD与远程工具存储)。在大规模、长周期存储和低频盘问的场景下，该架构不但知足高/低频数据的分层需求，并且显著降低企业大规模使用向量数据的门槛。TOSVector与火山引擎高性能向量数据库、火山AI agent等产品深度协同，以交互型Agent场景来看，将高频会见的影象(如用户的焦点偏好、近期的使命执行效果等)存放在向量数据库中，实现毫秒级的高频检索;将低频会见的影象(如半年前的交互纪录或历史执行效果)沉淀到TOSVector中，允许秒级延迟，以此换取更低的存储本钱和更辽阔的影象空间;以处置惩罚重大使命的Agent场景来看，TOSVectors既能承载海量的语义向量存储，又能包管恒久数据的可一连积累。

危害提醒

AI工业生长以及需求缺乏预期;AI效劳器出货量缺乏预期，国产厂商手艺和产品希望缺乏预期。