5分钟搞定NLP文本预处理：用Python正则表达式处理标点符号与特殊字符

5分钟搞定NLP文本预处理：用Python正则表达式处理标点符号与特殊字符

刚接触自然语言处理（NLP）的开发者，常常在第一步——文本预处理上就卡住了。面对一堆混杂着标点、特殊符号、网址、货币金额的原始文本，如何快速、干净地提取出有意义的单词，为后续的分析模型铺平道路？很多人会立刻想到那些复杂的NLP库，但往往忽略了手边最强大、最灵活的工具：正则表达式。

文本预处理是NLP流水线的基石，其质量直接决定了后续任务（如情感分析、主题建模、命名实体识别）的成败。一个常见的误区是，认为预处理就是简单地用空格分词或移除所有标点。然而，现实世界的文本远非如此规整。例如，句子“Did you pay €6.99 on researchgate.net for that full-text paper?”中，包含了欧元符号€、小数点.、网址researchgate.net以及连字符-。粗暴地移除所有非字母数字字符，会导致“€6.99”变成“699”，“researchgate.net”被拆得支离破碎，宝贵的语义信息就此丢失。

正则表达式（Regular Expression）正是为解决这类模式匹配问题而生的利器。它允许你用一种描述性的“模式”语言，来定义你需要查找或处理的文本规则。对于NLP预处理中的标点与特殊字符处理，正则表达式不仅能“删除”，更能“智能地识别和保留”，让你在5分钟内构建出适应复杂场景的清洗管道。本文将带你绕过理论概述，直接上手即插即用的代码片段，解决那些让新手头疼的实际问题。

1. 正则表达式入门：从“删除”到“理解”

在深入处理复杂符号前，我们必须先建立对正则表达式在文本处理中角色的正确认知。它的核心不是盲目删除，而是精确匹配。你可以选择匹配你想要保留的（如单词），也可以选择匹配你想要移除的（如干扰符号），这完全取决于你的处理策略。

1.1 Python re 模块基础

Python内置的re模块提供了完整的正则表达式功能。对于文本预处理，我们最常用的是re.sub()（替换）和re.findall()（查找所有匹配）。

import re

# 示例文本
text = "Hello, world! This is a test-sentence. Price: $19.99"

# re.sub(pattern, replacement, string): 将匹配模式的部分替换为指定内容
# 移除所有的逗号、句号和感叹号
cleaned_text = re.sub(r'[,\.!]', '', text)
print(cleaned_text)  # 输出: Hello world This is a test-sentence Price: $19.99

# re.findall(pattern, string): 返回所有匹配模式的子串列表
# 匹配所有单词（连续的字母）
words = re.findall(r'[A-Za-z]+', text)
print(words)  # 输出: ['Hello', 'world', 'This', 'is', 'a', 'test', 'sentence', 'Price']

提示：在正则表达式中，.（点）是一个特殊字符，表示匹配任何单个字符（除了换行符）。要匹配字面意义上的句点，需要使用反斜杠转义：\.。

1.2 构建你的第一个预处理函数

让我们封装一个简单的预处理函数，它能够移除句子中常见的英文标点。

def remove_punctuation_basic(text):
    """
    移除基本英文标点符号。
    参数:
        text (str): 原始文本。
    返回:
        str: 移除标点后的文本。
    """
    # 定义要移除的标点字符集：,.!?;:“”‘’()[]{}
    # 注意：方括号[]在正则中表示字符集，匹配其中任意一个字符。
    pattern = r'[,.!?;:“”‘’()\[\]{}]'
    return re.sub(pattern, ' ', text)  # 替换为空格，避免单词粘连

# 测试
sample_text = "I can't believe it! This costs $19.99 (plus tax)... Really?"
result = remove_punctuation_basic(sample_text)
print(f"原始文本: {sample_text}")
print(f"处理后: {result}")
# 输出: 原始文本: I can't believe it! This costs $19.99 (plus tax)... Really?
# 输出: 处理后: I can't believe it  This costs $19 99  plus tax    Really

这个函数已经能处理大部分简单情况，但你会发现它把价格中的小数点.也移除了，并且没有处理好缩写can't和省略号...。这正是我们需要更精细策略的原因。

2. 攻克复杂符号：货币、网址与连字符

现实文本中的“噪音”远不止逗号和句号。货币符号、网址、带连字符的复合词，这些元素如果处理不当，会严重扭曲文本的原始含义。

2.1 保留货币与数字信息

在处理商品评论、金融新闻时，价格信息至关重要。我们的目标不是删除€6.99或$19.99，而是将其作为一个完整的token保留下来。

def extract_monetary_and_numbers(text):
    """
    从文本中提取货币金额和纯数字。
    参数:
        text (str): 原始文本。
    返回:
        list: 匹配到的货币金额和数字列表。
    """
    # 模式解释：
    # \$?        : 可选的美元符号
    #