指数加权平均(MEA)

关注

原创 2022-05-08 13:39:34 1.4k 阅读 AI 写同款· GEO 优化 ›

思维进化算法(MEA)优化BP神经网络针对EC存在的问题,孙承意等人于1998年提出了思维进化算法(Mind Evolutionary Al-gorithm,MEA)。本章将详细介绍思维进化算法的基本思想,并结合非线性函数拟合实例,在MATLAB环境下实现思维进化算法。阅读详情

1. 定义

滑动平均(exponential moving average)，或者叫做指数加权平均(exponentially weighted moving average)，可以用来估计变量的局部均值，使得变量的更新与一段时间内的历史取值有关。

2. 通俗解释

变量 $v$ 在 𝑡 时刻记 $v_{t}$ ， $\theta _{t}$ 为变量 𝑣在 𝑡 时刻的取值，即在不使用滑动平均模型时 $\theta _t = v_t$ ，在使用滑动平均模型后， $v_t$ 的更新公式如下：

$v_t = \beta \cdot v_{(t-1)}+(1-\beta) \cdot v_{(t)}$

上式中，𝛽∈[0,1)β∈[0,1)。若β=0 相当于没有使用滑动平均。

3. 代码实现

class EMA():
    def __init__(self, decay):
        self.decay = decay
        self.shadow = {}

    def register(self, name, val):
        self.shadow[name] = val

    def get(self, name):
        return self.shadow[name]

    def update(self, name, x):
        assert name in self.shadow
        new_average = (1.0 - self.decay) * x + self.decay * self.shadow[name]
        print(new_average)
        self.shadow[name] = new_average

# 假如a是第一个epoch后的参数
a = {"a":0.1,"b":0.2,'c':0.3,'d':1}
ema = EMA(0.5)


for name in a:
    ema.register(name, a[name])
# 假如a是第二个epoch后的参数
a = {"a":0.2,"b":0.3,'c':0.4,'d':2}
for name in a:
    ema.update(name, a[name])

输出结果如下：