如何对请求进行限流：综合指南

原创于 2026-08-06 14:24:14 发布 · 461 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

如何对请求进行限流：综合指南

限流会限制请求数量，保护服务器不被高流量压垮。这就像设置速度限制，确保没有人能同时用过多调用淹没应用程序。这样做可以让我保持稳定性，并为每位用户提供公平的体验。

在本文中，我将探讨几种请求限流方法，解释如何实现它们，并重点说明它们为何在现代软件开发和网页抓取中如此重要。

为什么要对请求限流？

在探讨如何对请求进行限流之前，有必要先了解为什么限流是必要的。主要原因包括：

服务器负载管理：当大量请求在短时间内发出时，服务器可能会过载，并降低用户体验性能。
公平使用：确保所有用户都能公平地使用服务器资源至关重要。如果没有限流，少数客户端可能会垄断资源，导致分配不公平。
防止滥用：恶意行为者可能会通过发出过量请求来滥用 API，无论是有意还是无意。限流有助于防止此类滥用行为。
成本管理：对于按请求数量计费的服务（例如许多云平台），限流可通过控制请求频率来帮助限制成本。

自动化解决方案

如果网页抓取是你的使用场景，使用这些工具之一可以为你自动完成整个限流过程，因此你无需做任何事情：

Bright Data：适用于复杂需求的强大代理式抓取。
ScraperAPI：价格实惠，为未受保护的网站提供多语言支持。
Oxylabs：高质量代理，基于 AI 的数据解析。
ScrapingBee：可通过验证码破解处理具有挑战性的网站。

我与这些提供商没有联盟关系，这些只是我和我的团队经常使用的工具。

请求限流的基本概念

请求限流可以在不同层级实现：客户端侧（发送请求之前）和服务器侧（处理请求时）。有几种常见的请求限流方法：

速率限制：在特定时间段内允许固定数量的请求。
漏桶算法：限制请求被处理的速度。
令牌桶算法：向客户端提供代表其可发出请求的令牌。
指数退避：以指数方式降低请求速率，以减轻服务器压力。

每种方法都有其优势，具体取决于使用场景和服务架构。

限流技术

速率限制

速率限制是最简单且最常见的请求限流形式。它会限制在特定时间窗口内发出的请求数量。

例如，如果某个 API 只允许每个客户端每分钟发出 100 个请求，那么速率限制器会拒绝超过该限制的请求，直到下一分钟开始。

实现：这种技术通常使用中间件，或使用 Flask、Express.js 等框架的内置功能。

from flask import Flask, request

from time import time

app = Flask(__name__)

rate_limit_window = 60 # 60 seconds

max_requests = 100

user_requests = {}

@app.route('/api')

def my_api():

current_time = time()

user_ip = request.remote_addr

if user_ip not in user_requests:

user_requests[user_ip] = []

# Remove outdated requests

user_requests[user_ip] = [req for req in user_requests[user_ip] if current_time - req < rate_limit_window]

if len(user_requests[user_ip]) >= max_requests:

return "Too many requests, please try again later.", 429

# Record new request

user_requests[user_ip].append(current_time)

return "Hello, World!"

在上面的示例中，滑动窗口速率限制器确保用户在 60 秒窗口内不会超过 100 个请求的限制。

漏桶算法

漏桶算法是另一种常见的请求限流方法。想象一个底部有孔的桶。水被倒入桶中，并以恒定速度漏出。当桶满时，任何额外的水都会溢出。

在请求限流中，桶会被传入请求填充，服务器以固定速率处理这些请求。如果传入请求的速率超过服务器可处理的速率，多余的请求就会被丢弃。

这种方法有助于平滑请求的突发峰值，并保持服务器处理负载稳定。

实现：漏桶算法可以对请求进行排队，并以稳定节奏处理它们。

import queue

import threading

import time

leaky_bucket = queue.Queue(maxsize=10) # Limit the number of items that can be queued

def process_request():

while True:

request = leaky_bucket.get()

if request is None:

break

print(f"Processing request {request}")

time.sleep(1) # Simulate processing time

leaky_bucket.task_done()

# Worker thread to process requests

threading.Thread(target=process_request, daemon=True).start()

# Adding requests to the bucket

for i in range(20):

if not leaky_bucket.full():

leaky_bucket.put(f"Request {i}")

else:

print(f"Request {i} was dropped due to throttling")

当令牌可用时，此实现允许请求突发，这对于必须优雅处理短暂需求峰值的使用场景很有帮助。

指数退避

指数退避是另一种常用于处理 API 重试的限流方法。客户端不会持续不断地发出请求，而是增加后续重试尝试之间的延迟。这有助于防止在拥塞期间使服务器过载。

使用场景：当服务临时返回“请求过多”（HTTP 429）或类似错误时，经常会使用它。

import time

def exponential_backoff():

attempt = 0

max_attempts = 5

while attempt < max_attempts:

try:

# Simulate API call

print(f"Attempt {attempt + 1}")

raise Exception("API limit reached")

except Exception as e:

print(e)

attempt += 1

delay = 2 ** attempt

print(f"Retrying in {delay} seconds…")

time.sleep(delay)

# Call the function

exponential_backoff()

这里的指数退避确保每次失败后请求频率都会降低，最终给服务器留出一些喘息空间。

服务器侧限流与客户端侧限流

虽然上述技术主要说明了服务器侧限流，但考虑客户端侧限流同样重要。

客户端侧限流

客户端侧限流有助于在请求到达服务器之前管理客户端发送的请求数量。这有助于在拒绝服务错误发生之前就避免它们。

例如，调用公共 API 的 JavaScript 客户端可以实现限流，以确保用户的浏览器不会让 API 端点过载。

function throttle(func, limit) {

let lastFunc;

let lastRan;

return function () {

const context = this;

const args = arguments;

if (!lastRan) {

func.apply(context, args);

lastRan = Date.now();

} else {

clearTimeout(lastFunc);

lastFunc = setTimeout(function () {

if (Date.now() - lastRan >= limit) {

func.apply(context, args);

lastRan = Date.now();

}

}, limit - (Date.now() - lastRan));

}

};

}

// Example usage

const makeApiCall = () => console.log("API request sent");

window.addEventListener("resize", throttle(makeApiCall, 2000));

上面的 JavaScript 代码定义了一个限流函数，用于限制响应窗口大小调整等事件时触发 API 请求的频率。

常用工具和框架

Nginx 速率限制

Nginx 是一款常用的 Web 服务器，内置了使用 limit_req_zone 指令处理速率限制的能力。这有助于在请求到达应用层之前，在 Web 服务器层面对其进行限流。

http {

limit_req_zone $binary_remote_addr 区域=one:10m rate=5r/s;

server {

location /api {

limit_req 区域=one burst=10 nodelay;

proxy_pass http://backend_server;

}

}

}