限流算法：别说算法了，就问你“阈值”怎么算？
在现代互联网应用中，限流是一种非常重要的技术手段，用于保护系统免受异常突发的流量冲击。限流算法是限制流量大小的关键，它可以分为静态算法和动态算法两类。本文将介绍常见的限流算法及其实现原理，并分享如何计算适当的阈值。
令牌桶算法
令牌桶算法是一种常见的静态限流算法。它通过以固定速率产生令牌，并放入一个桶中。每个请求需要从桶中获取一个令牌才能被执行。如果桶中有足够的令牌，请求就会被处理；否则，请求将被限流。令牌桶算法可以平滑处理突发流量，但要注意设置桶的容量，以免积攒过多的令牌导致系统无法承受突发请求。
漏桶算法
漏桶算法是另一种静态限流算法，它以固定速率将请求传递给业务逻辑。当不均匀速率的请求到达服务器时，限流器会以固定速率处理这些请求，类似于一个漏桶不断漏水。与令牌桶算法不同，漏桶算法处理请求的速率是绝对均匀的。选择令牌桶算法还是漏桶算法取决于业务需求和对请求处理速率的要求。
固定窗口与滑动窗口
固定窗口和滑动窗口是两种常见的动态限流算法。固定窗口算法在一个固定时间窗口内允许执行固定数量的请求，例如每秒钟只允许执行100个请求。而滑动窗口算法与固定窗口类似，但窗口会平滑地移动，而不是突然地移动。这样可以更好地适应流量的变化。动态限流算法可以根据一系列指标判断是否应该增加或减少流量，并且与TCP的拥塞控制非常相似。
限流对象
限流对象可以是集群级别的限流，也可以是针对具体业务对象的限流。例如，可以针对VIP用户进行无限流量，而对普通用户进行限流。另外，还可以根据IP地址或业务ID进行限流，以控制请求的数量。针对不同的限流对象，可以采用不同的限流策略和算法。
限流后的处理方法
当请求被限流时，可以采取以下处理方法：
- 同步阻塞等待一段时间：对于偶发性触发限流的请求，可以稍微阻塞等待一段时间，后续请求有很大概率得到处理。但需要注意控制超时时间，避免让人无限期地等待。
- 同步转异步：对于被限流的请求，可以将其存储起来，在业务低峰期进行处理。这类似于请求的降级策略，可以减轻系统负载。
- 调整负载均衡算法：如果某个请求被限流，可以告知负载均衡器减少向该节点发送请求的数量，以减轻节点压力。
计算阈值
确定适当的阈值是限流算法设计中的重要一环。阈值的计算需要综合考虑系统的容量、资源消耗、响应时间以及业务需求等因素。以下是一些常见的计算方法：
- 基于系统容量：根据系统的硬件配置、网络带宽和处理能力等因素，计算出系统可以承受的最大请求量。根据业务需求和性能指标，设置一个留有一定缓冲空间的阈值。
- 基于资源消耗：分析系统在处理一个请求时所消耗的资源，例如 CPU、内存、数据库连接等。通过监控和测试，了解系统在不同请求量下的资源消耗情况，根据资源的可用性设置合理的阈值。
- 基于响应时间：根据业务需求和用户体验要求，设置一个能够满足响应时间要求的阈值。通过压力测试和性能监控，确定在不同请求量下系统的响应时间，并根据需求来调整阈值。
- 基于业务需求：根据业务的特性和需求，确定不同业务对象的限流策略和阈值。例如，对于高价值的业务或VIP用户可以设置较高的阈值，而对于普通用户或低价值业务可以设置较低的阈值。
需要注意的是，阈值的设置不是一成不变的，需要进行监控和调整。根据系统的实际情况和业务的变化，及时调整阈值以保证系统的稳定性和性能。
以上是关于限流算法及阈值计算的简要介绍，希望对你有所帮助。限流是保护系统稳定性和可用性的重要手段，合理设置阈值是限流算法设计的关键之一。通过选择适合的限流算法和合理计算阈值，可以有效地保护系统免受异常流量冲击。
https://juejin.cn/post/7282245376425459768