开放无线接入网络（ORAN）中向量、图和混合 检索增强生成（RAG）管道的基准测试.pdfVIP

开放无线接入网络（ORAN）中向量、图和混合

检索增强生成（RAG）管道的基准测试

SaratAhmad,ZeinabNezami,MaryamHafeez,SyedAliRazaZaidi

SchoolofElectronicandElectricalEngineering,UniversityofLeeds,UK

{S.Ahmad,Z.Nezami,M.Hafeez,S.A.Zaidi}@leeds.ac.uk

摘要—生成式人工智能（GenAI）预计将在未来的无线网通过跨多个数据集关联实体来实现隐含知识的结构化，支

络中自主优化方面发挥关键作用。在开放无线接入网（ORAN）持多跳推理以及全局和局部摘要等高级功能[4]。

架构中，大型语言模型（LLMs）可以通过利用来自无线智能控

近期的研究提出了HybridGraphRAG[5]，这是一个

制器（RIC）平台的规范和API定义来专门化生成xApps和

rApps。然而，对电信特定任务的基础LLM进行微调仍然昂贵结合了基于向量和基于图形检索的统一框架，以利用语义

本且资源密集型。检索增强生成（RAG）通过上下文学习提供了一相似性和结构化推理的互补优势。这种融合已被证明可以

种实用的替代方案，能够在不进行全面再训练的情况下实现领域增强特定领域应用（如金融、医疗保健和网络安全）的事

译适应。虽然传统的RAG系统依赖于基于向量的检索，但新兴变体实准确性和完整性[6]。然而，在电信领域的评估，特别是

中如GraphRAG和混合GraphRAG则结合了知识图谱或双重ORAN方面，仍然未被探索。

检索策略以支持多跳推理并提高事实基础性。尽管这些方法具有

2潜力，但在诸如ORAN等高风险领域中，它们缺乏系统的、指标评估这些系统在现代电信环境中尤为重要。基于RAG

v

8驱动的评估。在此研究中，我们使用ORAN规范对向量RAG、的实现支持一系列高级用例，包括通过上下文学习使用

0GraphRAG和混合GraphRAG进行了比较评估。我们在不特定于电信领域的LLM[7]生成xApp/rApp、利用由

6同问题复杂度下使用了既定生成指标评估性能：忠实性、答案相

3GraphRAG构建的知识图谱进行根本原因分析[8]以及通

0关性、上下文相关性和事实正确性。结果显示，GraphRAG和

.混合GraphRAG都优于传统RAG。混合GraphRAG将事过生成基础设施即代码（IaC）或配置即代码（CaC）实现

7

0实正确性提高了8%，而GraphRAG则将上下文相关性提升了意图驱动的网络管理[9]。GraphRAG和混合GraphRAG

511%。架构在这些场景中展示了强大的潜力，能够跨配置约束、

2

:IndexTerms—生成式AI，大型语言模型，知识图谱，检接口规范和数据隐私策略进行多跳推理[10]。因此，我们

v索增强生成，开放无线接入网络

i解决更广泛的挑战是系统化且公开地评估这些检索增强的

x

r架构。

aI.介绍

传统的评估方法依赖于粗略的指标，如精度、召回率、

RAG已经成为增强电信领域LLM的一项变革性进ROUGE和F1分数，往往无法捕捉到响应质量的关键维

步。通过实现动态检索特定领域的知识，RAG促进了基度，包括上下文一致性和事实依据[11]。为了克服这些限

于事实且上下文相关的响应生成[1]。这在电信行业尤为制，我们采用基于大语言模型的评估方法，这种方法显示

重要，在该行业中，标准、协议和规范的复杂性和快速演出了作为参考自