[nlp] pyhanlp安装以及自定义词典&词性

原创 已于 2023-03-29 12:04:24 修改 · 745 阅读 · 0
于 2021-08-17 22:07:45 首次发布
本文介绍了如何在PyHanLP中添加和管理自定义词典，包括通过配置文件和代码动态添加带空格的词汇，以及如何强制使用自定义词典进行分词。示例展示了添加‘大数据’和‘JosephRobinetteBiden’等词到自定义词典，并演示了分词效果。

参考：pyhanlp 自定义词库添加带空格的词_停用词库里怎么加空格_Waldenz的博客-CSDN博客

参考：pyhanlp使用自定义词典进行分词_python自定义词典分词_micromicrofat的博客-CSDN博客 

pip install pyhanlp
hanlp segment

 查看pyhanlp版本,以及安装位置

hanlp --version
(miao) xinbao@xinbaodembp bin % hanlp --version
jar  1.8.2: /Users/xinbao/desktop/code/envs/miao/lib/python3.7/site-packages/pyhanlp/static/hanlp-1.8.2.jar
data 1.8.2: /Users/xinbao/desktop/code/envs/miao/lib/python3.7/site-packages/pyhanlp/static/data
config    : /Users/xinbao/desktop/code/envs/miao/lib/python3.7/site-packages/pyhanlp/static/hanlp.pro
标签
#自然语言处理 #vim #linux
最低0.47元/天 解锁文章
Python NER实战：基于HanLP 2.1与自定义词典提升人名识别准确率至95%
defkaug153461的博客
07-04 397
本文详细介绍了如何利用Python和HanLP 2.1进行中文人名识别（NER），通过自定义词典和规则优化将准确率提升至95%。内容涵盖环境搭建、词典构建、规则过滤、多模型融合及工程化部署，为开发者提供了一套完整的解决方案。
笔记十一：大语言模型（LLM）硬件与推理系统完全指南
qq_51885001的博客
07-21 370
走到这里，你已经把大模型推理引擎 vLLM 的完整知识体系层级技术点白话总结显存管理把连续大块显存切成标准乐高积木，消灭碎片调度策略每步都检查谁结束、谁新来，GPU 永不空转加速技巧重复的系统提示词只存一份，用哈希查命中加速技巧小模型打草稿，大模型一次审批，白捡 token输出控制在采样前加掩码，强制输出合法 JSON多卡扩展大模型切到多张卡上，通过 NVLink 高速通信现在你已经有能力看懂生产级推理框架的设计文档，也能够在实际选型时做出有理有据的决策。恭喜你！
别再只会用torch.cat了！PyTorch中给Tensor添加数据的3种实用方法（附避坑指南）
weixin_33713707的博客
06-01 497
本文深入探讨PyTorch中超越torch.cat的三种高效张量操作方法，包括torch.unsqueeze和索引扩展技巧。通过对比分析适用场景、性能优化策略和常见陷阱，帮助开发者提升张量操作效率，特别适合处理图像批处理和神经网络模型中的维度对齐问题。
大语言模型知识蒸馏：原理、核心机制与实战落地
技术博客
07-26 789
本文针对大语言模型（LLMs）参数量膨胀带来的部署难题，系统阐述了知识蒸馏技术在大模型轻量化落地中的应用方案。文章首先剖析知识蒸馏的核心价值，即通过"师生教学"范式将大模型的认知能力迁移至小模型，实现性能与效率的平衡。重点解析了温度系数调节、混合损失函数（KL散度+交叉熵）等关键技术，并基于Qwen1.5模型（1.8B→0.5B）给出完整实现代码，涵盖参数配置、数据集构建、训练优化全流程。方案通过Logits截断、梯度累积等工程优化解决数值稳定性问题，最终形成可适配多场景的轻量化方案。文
[论文学习]大语言模型智能体的安全与隐私问题涌现
HK2KING的博客
07-26 204
LLM智能体正被广泛应用于虚拟助手、客服机器人、教育工具等各类场景，处理海量数据并与人类进行交互。然而，随着其商业价值和应用范围的不断扩大，LLM智能体也暴露出严重的安全与隐私脆弱性。与静态的LLM不同，LLM智能体具备动态能力——其即时响应会影响未来的决策和行动，因此会带来更广泛的风险。当前学术界对LLM智能体的研究仍处于早期阶段，现有研究主要聚焦于针对LLM本身的攻击，而缺乏对智能体层面更复杂安全与隐私问题的全面综述。本文正是为了填补这一空白而展开的系统性研究。
什么是大语言模型（LLM）
FREEDOM_X的专栏
07-21 358
大语言模型（LLM）摘要 大语言模型（LLM）是基于概率的通用型文本生成器，与传统NLP模型的单一任务处理能力形成鲜明对比。2026年的LLM已发展为具备写作、编程、推理、多模态理解等能力的"数字员工"，训练数据达数万亿token，参数规模从70亿到数千亿不等。主流模型分为闭源旗舰（如GPT-4o）、开源主力（如DeepSeek-V3）和轻量模型三大阵营，其中开源模型性能已大幅提升并接近闭源模型。LLM处理文本的基本单位是Token（子词片段），通过词表实现文本理解和生成，在字节和完整词之间取得平衡，既保留
用于使大语言模型推理对齐临床诊断流程的层次化智能体反思方法文献速递/医学智能体前沿
weixin_38594676的博客
07-24 334
为评估生成临床记录的质量，作者设计了自动评分框架，对每份临床记录的病史、体格检查、辅助检查、病例特征、初步诊断、鉴别诊断和最终诊断等部分打分，总分40分，并通过阈值筛选高质量样本。该图展示本文总体动机。本文方法先通过层次化智能体生成包含病史、体格检查、辅助检查、病例特征、初步诊断、诊断依据、鉴别诊断和最终诊断的结构化临床记录，再用这些记录训练模型，使其推理方式更接近医生的临床诊断流程。评分细分到病史、体格检查、辅助检查、病例特征、初步诊断、鉴别诊断和最终诊断等部分，总分40分，并根据阈值筛选高质量样本。
Word Embedding ：从分布式假设到神经网络语言模型
Frost_Descent的博客
07-26 4189
Word Embedding（词嵌入）是一种将离散的词汇符号映射到连续的低维稠密向量空间的技术。在这个向量空间中，语义相似的词在几何距离上彼此接近，从而实现了从"符号匹配"到"语义计算"的跨越。核心定义词嵌入是将单词（或多词短语）表示为固定维度的实值向量，这些向量之间的距离（例如余弦相似度）反映了单词之间的相关性，这种相关性基于单词通常出现的上下文。分布式假设（1954）↓统计共现分析（LSA/SVD）↓。
Ascendc 大语言模型框架 AscendCraft 和pypto 的区别 pypto生成算子c++源码吗
论文数据分析辅导,；论文人工智能辅导 huazhongxiaosx
07-24 233
PyPTO 确实会自动生成 AscendC（昇腾算子C++）源码，支持JIT隐式生成与手动导出源码两种模式；PyPTO =手写式算子开发框架（可控、高性能、生产首选）；全自动代码生成工具（免手写、原型快速验证、学术原型，不适合线上极致性能算子）。
VCS NLP 低功耗验证系列（七）：Debug 深度专题——LP_MSG 消息词典与实战定位方法
元直的博客
07-21 158
本文深入探讨了VCS NLP低功耗验证中的调试方法，重点分析LP_MSG消息词典和实战定位技巧。文章分为两部分：一是系统解读了LP_MSG消息ID词典，按电源域状态、供电网络、电源开关、隔离、保持、PST状态等11个上下文分类，说明各消息的含义和调试价值；二是提出基于消息的调试工作流，强调通过消息快速定位问题类型。文中特别指出X泄漏、非法电源状态、隔离失效等关键问题的消息特征，并给出典型问题的排查路径。这些方法可帮助工程师快速定位低功耗验证中的问题根源，提高调试效率。
自建Ascend C算子专用微调模型，用于本地部署的领域专有小型大语言模型
论文数据分析辅导,；论文人工智能辅导 huazhongxiaosx
07-24 308
高度重合风险：AscendKernelGen已完整覆盖本方案全部诉求（32B基座、CoT数据集、SFT+RL训练、昇腾内核生成），若跳过基线评测直接从零自研，存在严重重复造轮子问题，技术评审、对外成果输出均存在短板；方法论统一：全赛道SOTA项目均采用两阶段训练，原方案仅SFT单阶段存在明显技术缺陷，必须补充RL执行反馈环节；数据集对标：Ascend-CoT v3样本量级、场景覆盖度远超本方案初始几千条样本规划，直接复用开源数据集可大幅降低数据建设成本。
大语言模型训练范式：从 GPT 到 Llama 的 RLHF 演进
qq_37705280的博客
07-21 257
Pretrain让模型"懂语言、懂世界"；SFT让模型"学会回答问题的格式"；让模型知道"什么是好回答"；让模型主动优化，对齐人类偏好；则提供了一条自动生成高质量训练数据的路径。理解这些训练范式，不仅能帮助我们更好地使用 LLM，也能在构建自己的 Agent 应用时，做出更合理的选型与优化决策。参考OpenAI InstructGPT / ChatGPT 相关论文与技术博客Llama 2 / Llama 3 技术报告RLHF、PPO、DPO 相关论文。
Build a Large Language Model (From Scratch) 第五章 在无标签数据上进行预训练
jsdoulaoula的博客
07-24 290
通过 softmax 函数将 logits 转换为概率后，generate_text_simple 函数会将结果概率分数转换回文本（参见图 5-4 的第 3~5 步）。
[论文学习]InjecAgent:工具集成大语言模型智能体的间接提示注入基准测试
最新发布
HK2KING的博客
07-26 119
随着LLM被赋予工具调用能力并接入外部内容（如电子邮件、网页、API等），智能体可以执行各类现实世界操作。间接提示注入攻击——攻击者将恶意指令嵌入到智能体所处理的外部数据中，当智能体通过工具调用获取这些数据时，恶意指令便进入其上下文，从而操控智能体执行对用户有害的操作。与传统的直接提示注入（攻击者直接向模型输入恶意指令）不同，间接提示注入的攻击面更广、更隐蔽——攻击者不需要与智能体直接交互，只需在公开网页、共享文档、邮件等外部内容中植入恶意载荷即可。
[Nature 2026]AFLoc 多模态视觉-语言模型型 医疗影像场景的病灶定位 无标注、强泛化、高精度，人工智能医学应用
论文数据分析辅导,；论文人工智能辅导 huazhongxiaosx
07-22 721
AFLoc（Annotation-Free pathology Localization）是 2026 年 1 月发表于《Nature Biomedical Engineering》的零标注多模态视觉 - 语言模型，主打医疗影像场景的病灶定位，通过多层级语义对齐技术，无需人工标注即可将临床报告文本与医学影像跨模态关联，实现零样本跨模态迁移，性能远超现有多模态模型，部分指标甚至超越人类放射科医生基准(49)。
BERT 家族
NealZHANG的博客
07-26 121
知识蒸馏（Knowledge Distillation）：使用原版 BERT 作为“教师模型（Teacher）”，训练一个只有 6 层（BERT 是 12 层）的“学生模型（Student）”。* 解决的痛点：BERT 的 MLM 机制存在“预训练与微调不一致”的问题（因为输入中带有 [MASK] 这种人工假词，而微调时没有）。是工业界落地的首选模型之一。* 解决的痛点：BERT 的自注意力机制将“词的内容”和“词的位置”混合在一个向量里，导致模型对位置关系的捕捉不够精细。
AI基本结构10-mlp实现简单nlp
xx_xxxxx_的博客
07-22 251
本文介绍了基于PyTorch的字符级语言模型构建流程。首先实现字符到索引的映射和独热编码转换，随后设计Embedding类进行向量降维。通过CharTokenizer处理文本数据，并利用autoregressive_trans函数生成自回归训练样本。文章详细展示了数据预处理、模型定义（CharMLP）、训练循环和文本生成的实现方法，包括评估指标计算、梯度优化和上下文滑动窗口机制。最后通过实例测试验证模型从初始随机生成到训练后生成合理文本的效果，完整呈现了字符级语言模型从数据处理到训练评估的全流程
NNLM、Word2Vec（CBOW、Skip-gram） 与 BERT：神经网络语言模型的演进与对比
Frost_Descent的博客
07-26 4281
本文系统梳理了语言模型的演进历程：从2003年NNLM首次用神经网络替代统计模型，到2013年Word2Vec通过简化架构实现效率突破（CBOW聚合上下文预测中心词，Skip-gram中心词预测上下文），再到2018年BERT采用深层Transformer实现动态语境建模。模型发展呈现从静态词向量到动态上下文表示、从局部窗口到全局双向理解的趋势。不同模型在计算效率、语义捕捉、一词多义处理等方面各具特点，适用于不同应用场景。这一演进过程反映了自然语言处理从"词预测"到"语言理解&
基于大语言模型多智能体系统的神经眼科诊断与个性化治疗规划文献速递/医学智能体前沿
weixin_38594676的博客
07-23 867
传统单模型、单标签管线难以表达鉴别诊断中的不确定性，因此本文提出按信息采集、诊断和治疗规划划分的多智能体框架，用概率分布而非单一标签来支持神经眼科相关的筛查、风险分层、监测和转诊。未来工作应实现并验证治疗计划智能体，扩大到多中心真实世界数据，增强图像覆盖，采用更严格的概率校准方法，引入知识图谱或贝叶斯网络，并开展医生参与的人机交互和安全治理研究。方法上，系统先由信息收集智能体规范化异构输入，再由诊断智能体整合多个LLM和可选CNN图像分支，并用不确定性感知融合生成多候选诊断分布。诊断智能体与融合策略。
Adam 和 AdamW 及对大语言模型 LLM 的影响
wangkai6666的博客
07-24 169
困惑度缩写 PPL，是衡量语言模型生成流畅度、文本预测准确度的核心量化指标，多用于 LLM 预训练、SFT 效果评估PPL 数值越小，模型越好PPL=1：理论最优。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值