认知推理下的常识知识库资源、常识测试评估与中文实践项目索引

致力语言资源建设、常识推理的自然语言处理螺丝钉

Title 刘焕勇， liuhuanyong，语言学及应用语言学硕士，2017年毕业于北京语言大学，目前就职于中国科学院软件研究所，主要从事信息抽取，知识图谱，情感分析, 社会计算等自然语言处理研发工作，兴趣包括： 语言资源构建 信息抽取与知识图谱 舆情监测与社会计算 联...

可信知识实证在UGC时代情报应用中的思考与探索

可信知识实证在UGC时代情报应用中的思考与探索 在当前互联网高度发达、可发布信息源和信息渠道猛增且多元化的大背景下，信息形态变得广泛且多模。从传统的纸质文档，到中期的电子结构化文档、电子非结构化文本，再到如今的语音信息、图片信息、视频流信息鼎立的局面，信息市场变得复杂而多变。 在UGC（用户生产内容）以及数据众包生产的大环境下，存在广泛的信息过载和信息混乱的问题。但情报的挖掘、信息的二次加工显得尴尬且必须，这对数据生产中的数据获取端、知识抽取环节以及业务端三个方向提出了更高的要求。 事实上，支撑起目前自然语

老刘说NLP：这几年的NLP历程回顾，以及关于NLP(知识图谱等)落地的思考

一、前言 只有把自己所思考的，所认识的东西，以文字的方式记录下来，才是对自己成长最好的记录方式。 是的，距离上一次动手写博客或者技术文章已经过去了大半年的时间。作为一个比较喜欢总结的人，这无疑是一个一大段空白。对的，今年，我经历了一场很不可思议的事情。学业与工作经历起伏。从三月份到六月份这四个月的时间里，困在一个怎么也走不出的低谷。因此，今年我做了一个我从未想过的决定，我离开了工作整整四年(加上实习是五年)的中科院软件所，投身互联网。软件所的五年里，我以极大的热情执着于自然语言处理技术的基础研究和应用落地。

Cognitive Inference：认知推理下的常识知识库资源、常识推理测试评估与中文实践项目索引...

作者 | 刘焕勇责编 | 李雪敬出品 | CSDN博客CognitiveInferenceCognitive Inference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，...

Cognitive Inference：认知推理下的常识知识库资源、常识推理测试评估与中文实践项目索引

CognitiveInference Cognitive Inference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，以现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推理类知识库的项目实践集合、常识推理测试评估项目集合。 项目地址：https://github.com/liuhuanyong/CognitiveInference/

从基准测试到能力认知构建大模型评估体系

准确界定模型的能力范围和应用场景指导模型优化与训练方向预防模型偏见、幻觉等问题的实际影响单一模型需评估语言理解、逻辑推理、专业领域知识等20+能力维度主流测试集可能已被纳入训练数据（如MMLU基准的60%题目已出现在GPT-4训练集中）人工评估1000个问题需5万美元，而自动评估可靠性不足。

库 知识图谱_认知推理下的常识知识库资源、常识测试评估与中文实践项目索引...

作者 | 刘焕勇责编 | 李雪敬出品 | CSDN博客Cognitive InferenceCognitive Inference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，以现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推...

大模型常识推理能力深度解析：GPT-4、Claude 3与国产模型实战对比

常识推理是人工智能领域的一项核心挑战，它要求模型超越简单的知识检索，整合关于世界运作的隐性知识进行逻辑推演。其技术原理涉及对海量文本中隐含关系的学习与编码，使模型能处理信息不完整、依赖默认假设的复杂情境。这项能力的技术价值在于，它直接决定了模型输出的可靠性和实用性，是评估模型“智能”水平的关键维度，深刻影响着提示词设计、API调用和系统集成的工程实践。在应用场景上，无论是客服问答、代码生成，还是复杂决策支持，强大的常识推理能力都是模型可靠落地的基石。本文聚焦于大模型常识推理的评估与实践，通过对比GPT-4、

KnowRef语料库：用指代消解任务精准评估AI常识推理能力

指代消解是自然语言处理中的基础任务，旨在确定文本中代词或名词短语所指代的实体。其技术原理涉及句法分析、语义角色标注和上下文建模，传统方法多依赖语法规则和统计共现。然而，真正的挑战在于模型能否超越表层模式，进行基于世界知识的常识推理，这是实现深度语言理解的关键。KnowRef指代消解语料库正是为此设计，它通过精心构造的“常识混淆项”，迫使模型必须依赖功能、属性、事件脚本等常识进行判断，而非简单的语法匹配。该资源为评估和提升模型的常识推理能力提供了标准化基准，在智能对话系统、文本摘要生成、低资源语言模型优化等工

模型训练、评估与推理

摘要：本文介绍了使用飞桨框架进行模型训练、评估与推理的两种方法。高层API（如Model.fit、Model.evaluate、Model.predict）提供简洁接口，适合快速上手；基础API则提供更灵活的组件实现方式。文章以MNIST手写数字识别为例，详细展示了数据准备、模型封装、参数配置、训练过程、评估方法和推理验证的全流程。同时对比了两种API的实现差异，并指出它们可以混合使用。最后强调实际部署时可结合飞桨的推理部署工具满足不同环境需求。

通用人工智能的评估与测试

通用人工智能的评估与测试 1. 背景介绍 1.1 人工智能的发展历程 人工智能(Artificial Intelligence, AI)是当代科技发展的热点领域之一,自20世纪50年代被正式提出以来,AI的发展经历了多个阶段。起初,AI主要集中

LLM推理基准测试完全指南：从理论到实践，小白也能掌握的性能评估秘籍

本文系统梳理了LLM推理基准测试的理论基础与工程实践，详细解析了TTFT、TPOT等核心性能指标，并介绍了数据生成器、负载生成器等测试框架组件。对比了sglang/genai-bench、vllm-project/guidellm等主流开源工具的特点与适用场景，为开发者提供评估LLM推理服务性能的实用指南，帮助优化基础设施并满足服务等级目标。

奥运竞技场：评估超级智能 AI 的多学科认知推理能力

近年来，随着大型语言模型（LLM）和大型多模态模型（LMM）的飞速发展，人工智能（AI）在解决问题和科学发现（即 AI4Science）方面的认知推理能力逐渐显现，展现出与人类智慧相媲美的潜力。论文通过一系列实验和分析，展示了AI在复杂认知推理任务上的现状和挑战，并为未来的研究提供了明确的方向。通过这些方法，论文不仅提出了一个全面的评估框架，而且通过实验结果揭示了即使是最先进的模型（如GPT-4o）在处理复杂、多学科问题时也存在显着的局限性，从而为AI的进一步发展提供了明确的方向和目标。

Turing测试与Winograd模式：AI常识推理能力诊断框架

人工智能的智能判据正从单一行为模仿转向深层常识理解。Turing测试衡量语言输出的拟人化程度，但易陷入‘流畅性幻觉’；Winograd Schema则通过语法相同、语义相异的句子对，强制模型调用物理、社会与领域常识进行因果推理。二者结合构成评估AI是否真正‘理解’而非‘匹配’的关键双轨标准。该框架具备明确的技术价值：量化模型在指代消解、跨轮一致性、扰动鲁棒性及知识溯源上的健康度，支撑金融、医疗、工业等高风险场景的可信部署决策。本文即基于此范式构建可复现、可扩展、可工程落地的AI认知能力诊断体系。

手把手教你测试和评估AI原生应用的推理能力

本文旨在为AI应用开发者提供一套完整的推理能力测试和评估方法论。内容涵盖从基础概念到高级测试技巧的全方位指导，适用于各类基于大语言模型(LLM)的AI原生应用。文章将从AI推理的基础概念出发，介绍测试方法论和评估指标，然后通过实际案例展示完整的测试流程，最后讨论工具资源和未来发展趋势。AI原生应用：以AI为核心构建的应用，其核心功能依赖AI模型的推理能力推理能力：AI系统理解问题、分析信息和得出合理结论的能力Prompt工程：设计和优化输入提示以引导AI产生期望输出的技术AI推理能力。

liuhuanyong.github.io:面向中文自然语言处理的六十余类实践项目及学习索引，涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等，是供自然语言处理入门学习者的一个较为全面的学习资源，欢迎大家使用，并提出批评意见

项目链接 关于项目 面向中文自然语言处理的六十余类实践项目及学习资源，涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等，是供自然语言处理入门学习者的一个较为全面的学习资源，欢迎大家使用，并提出批评意见。 关于作者 刘焕勇，曾任中国科学院软件研究所工程师、数据地平线科技算法总监、南京擎盾科技技术顾问，专注金融、情报两大领域，从事事件抽取、事件演化、情感分析、事理（知识）图谱、常识推理、语言资源构建与应用等研发工作。目前发表相关论文两篇、发明专利（含实审中）六项、主持研发自然语言处理技术开放平台数地工场、大规模实时事理知识学习系统学迹、全行业因果链查询与溯源项目寻链系统，并在智能金融、智能情报落地中负责实施了多个项目。致力于面向中文处理的基础知识库建设与理论技术开源共享，目前累计对

人工智能评估新范式：从行为测试到认知机制分析

人工智能评估正面临从行为主义到认知机制的范式转变。传统的行为测试方法（如图灵测试）虽然操作简便，但难以揭示AI系统内部的真实认知过程。随着深度学习和大语言模型（LLM）的发展，仅靠输入输出分析已无法满足评估需求。现代AI评估需要借鉴心理学认知革命的经验，采用多维方法（如反应时分析、错误模式分析）来探究内部机制。构造思维（Construct-Thinking）评估范式强调将认知能力视为需要验证的理论构念，通过机制可解释性分析、扰动鲁棒性测试等方法，全面评估AI系统的真实理解与推理能力。这种新范式特别适用于大语

从零开始理解二极管限幅：5种典型电路设计及实际应用场景解析

本文系统解析了二极管限幅电路的五大经典拓扑，包括串联与并联型上下限幅及双向限幅。通过剖析其核心原理与二极管的单向导电性、正向压降特性，结合ADC输入保护、电源管理、音频处理等实际应用场景，提供了从器件选型到设计陷阱规避的完整实战指南，帮助工程师为信号构建可靠的“安全笼”。

AI模型推理框架性能评估与优化实践

模型推理框架是AI工程化落地的核心技术组件，其性能直接影响服务质量和资源成本。从技术原理看，推理框架通过计算图优化、算子融合、内存复用等机制加速模型执行。在工程实践中，需要建立包含延迟、吞吐量、资源占用等维度的评估指标体系，并结合TensorRT、ONNX Runtime等主流框架特性进行选型。特别是在边缘计算和云原生场景下，通过动态批处理、模型量化等技术可显著提升推理效率。本文基于实际项目经验，详细解析如何系统评估AI推理框架性能，并分享针对NVIDIA GPU和Intel CPU的优化技巧，帮助开发者规

手把手教你为ArduPilot添加自定义飞行模式：以自动巡检航线为例

本文详细介绍了如何为开源飞控ArduPilot添加自定义飞行模式，并以自动巡检航线为例，提供了从状态机设计、代码实现到地面站集成的完整开发指南。通过七步法手把手教学，帮助开发者深入理解飞控核心逻辑，实现无人机自主执行复杂巡检任务，满足行业应用定制需求。

（二）MS-MPI多机通信

1.关于MPI多机通信 一台计算机处理数据的能力是有限的，MPI的主要作用就是用来实现并行计算机，即将多台主机联机，实现大规模、高性能的计算机机群。我们知道一台计算机同时运行多个进程时，由于计算机资源是共享的，多个进程都会占用一些资源，每个进程运行的效率就会降低，比如当一台计算机同时跑着多个大型应用时会变得非常卡顿。所谓多机通信，可以理解为将本应该在同一台主机上运行的多个进程分配到多台主机上，以往...