知识图谱-全 - 2019年各行业知识图谱

知识图谱KG+大模型LLM

本文详细介绍了如何使用Python和Neo4j从零构建时空知识图谱，涵盖数据建模、实体抽取、数据库导入和查询优化等关键步骤。通过实战指南和避坑技巧，帮助开发者掌握开源技术栈搭建时空知识图谱的方法，特别适合预算有限但需要分析复杂事件网络的场景。

  众所周知，知识图谱是Google于2012年提出，用来优化搜索结果。经过多年的发展，知识图谱在人工智能的许多行业都拥有了成熟落地的应用。按照知识图谱的覆盖面来看，主要分为通用知识图谱与行业知识图谱。 This is why a “web” of notes with links between them is far more useful than a fixed hierarchica...

我的知乎专栏，对知识图谱感兴趣的朋友可以关注。标题的命名顺序可能让有的读者不太习惯。通常在介绍一个陌生事物的应用前，我们先给出其定义。之所以换个顺序，是为了不让读者一开始就接触比较冰冷生硬的概念刻板描述(后面我尽量用更具体、准确的例子来表达)，另一方面也是为了通过现实生活中的例子自然的引入知识图谱的概念。希望通过这种方式加深读者的印象和理解。为了减轻读者理解的负担，我尽可能地避免引入过多的概念和技术

使用大型语言模型 ( LLM ) 构建增量知识图谱 ( KG ) 的 iText2KG 框架。一个强大的 KG 构建框架，该框架利用了 LLM 的优势，解决了该领域的重大挑战，并提出了一种模块化方法，可增强不同领域的灵活性和适用性。

1. 知识图谱嵌入 相关内容部分来自：https://zhuanlan.zhihu.com/p/147542008 2.1 知识表示的一些背景知识 通常，我们使用三元组(head, relation, tail)来表示知识。在这里，头和尾是实体。例如，(sky tree, location, Tokyo)。我们可以用独热向量来表示这个知识。但实体和关系太多，维度太大。当两个实体或关系很近时，独热向量无法捕捉相似度。受Wrod2Vec模型的启发，我们想用分布表示来表示实体和关系。 1.1.1 下游任务的应用

DB-GPT基于 FastChat 构建大模型运行环境，并提供 vicuna 作为基础的大语言模型。此外，通过LangChain提供私域知识库问答能力，且有统一的数据向量化存储与索引：提供一种统一的方式来存储和索引各种数据类型，同时支持插件模式，在设计上原生支持Auto-GPT插件，具备以下功能或能力根据自然语言对话生成分析图表、生成SQL与数据库元数据信息进行对话, 生成准确SQL语句与数据对话, 直接查看执行结果。

分享一张有趣的图，意思是在分类场景下，使用大模型和fasttext的效果，评论也很逗。这其实背后的逻辑是，在类别众多的分类场景下，尤其是在标注数据量不缺的情况下，大模型的收益是否能够比有监督模型的收益更多。这个例子虽然没有说标注数据量，但估计量不会少。我们继续回到知识图谱与大模型的话题:读到一个大模型和知识图谱融合的有趣工作《 Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph》(

在一个具体的测试中,研究人员比较了使用和不使用KG-RAG的GPT-4在回答关于FDA批准药物的问题时的表现。结果显示,使用KG-RAG的GPT-4能够提供更加准确和详细的信息,而没有使用KG-RAG的GPT-4则可能给出不完整或过时的答案。通过将结构化知识与先进的语言理解能力相结合,KG-RAG正在推动AI系统向更智能、更可靠的方向发展,为未来的人工智能应用开辟了新的可能性。: 通过结合知识图谱的结构化信息,KG-RAG能够显著减少LLM的幻觉问题,提供更加准确和可靠的回答。

介绍如何用最简单的方法将知识图谱加入到RAG的原因、挑战和具体方法，详细实现可见源码。

基于 Vue 2.x + G6 3.8 + Vuetify 的可视化知识图谱编辑器(KG-Editor) 演示地址 KG-Editor 功能介绍 添加节点—双击画布空白处添加节点 编辑节点—点击节点后可在右侧配置器进行编辑节点 添加连线—鼠标移入节点后显示锚点，点击锚点后便作为起始节点，点击其它节点实现连线 编辑连线—点击连线后可在右侧配置器进行编辑连线 缩略图 —右侧导航器实现缩略图 撤销功能 点击按钮撤销 Ctrl + Z撤销 重做功能 复制节点功能 点击按钮.

大多数可用数据都是非结构化的，因此很难获取有价值的信息。自动构建知识图谱 (KG) 对于结构化数据和使其可访问至关重要，可让用户有效地搜索信息。KG 还有助于洞察、推理和推理。传统的 NLP 方法（例如命名实体识别和关系提取）是信息检索的关键，但面临局限性，包括使用预定义的实体类型和需要监督学习。当前的研究利用大型语言模型的功能，例如零次或少量学习。然而，未解决和语义重复的实体和关系仍然带来挑战，导致图表不一致并需要大量的后处理。此外，大多数方法都依赖于主题。

探索KG-2019：一个强大的知识图谱构建框架 是由知名开发者Bojone创建的一个开源项目，旨在提供一个高效、灵活的知识图谱构建和应用平台。在这个项目中，你可以找到一系列工具和技术，用于构建、存储和查询复杂的数据关系网络，进而挖掘数据中的深层信息。 项目简介 KG-2019主要由以下几个部分组成： 数据模型：它定义了知识图谱的基本实体（Entity）和关系（Relationship），并提供了...

知识图谱是许多人工智能任务的重要资源，但往往存在不完整性问题。在这项工作中，我们使用预训练的语言模型来完成知识图。将知识图中的三元组视为文本序列，并提出了一种新的框架——知识图双向编码表示转换器(KG-BERT)来建模这些三元组。该方法以三元组的实体描述和关系描述为输入，利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图上的实验结果表明，我们的方法在三重分类、链接预测和关系预测任务中都能达到最先进的性能。

该模块处理原始文档，并根据用户定义的模式将其重新表述为语义块。它通过关注相关信息并以预定义的格式对其进行结构化来提高信噪比。

最后，利用领域语料库，可以为输入实体生成单个级别的知识图谱，它随后将被合并到生成的新级别的知识图谱中。近年来，基于大语言模型（Large Language Models, LLMs）的方法成为新趋势，通过利用 LLM 中存储的先验知识从原始语料库中提取三元组，相比基于规则的方法能够取得更好的表现，且具有创造性、更易被人类理解。例如，三元组“(稻米，最佳生长温度，20-25摄氏度)”是一个正确的三元组，而其尾部实体“20-25摄氏度”不需要作为下一级三元组的头部实体进一步生成。(ii) 格式检测。

KG-RAG 表示基于知识图谱的RAG(Retrieval Augmented Generation)检索增强.

本周阅读的论文题目是《R2-KG: General-Purpose Dual-Agent Framework for Reliable Reasoning on Knowledge Graphs》（《R2-KG：通用双Agent框架，用于知识图谱上的可靠推理》）。近期研究将大型语言模型（LLM）与知识图谱（KG）相结合，以增强推理能力，在不进行额外训练的情况下提高推理准确度，同时减轻幻觉问题。