Skip to main content
 首页 » 编程设计

尝试构建简单的神经网络时出现 Python 内存错误

2025年01月19日9小虾米

下面的一段代码在我运行时给我一个内存错误。它是我正在构建的简单神经网络的一部分。请记住,所有数学都是为了学习目的而写出来的:

learning_rate = 0.2 
costs = [] 
for i in range(50000): 
    ri = np.random.randint(len(data)) 
    point =data[ri] 
##    print (point) 
    z = point[0] * w1 + point[1] * w2 + b 
    pred = sigmoid(z) 
    target = point[2] 
    cost = np.square(pred-target) 
    costs.append(cost) 
    dcost_pred = 2* (pred-target) 
    dpred_dz = sigmoid_p(z) 
 
    dz_dw1 = point[0] 
    dz_dw2 = point[1] 
    dz_db = 1 
 
    dcost_dz = dcost_pred*dpred_dz     
    dcost_dw1 = dcost_pred*dpred_dz*dz_dw1 
    dcost_dw2 = dcost_pred*dpred_dz 
    dcost_db = dcost_dz * dz_db 
 
    w1 = w1 - learning_rate*dcost_dw1 
    w2 = w2 - learning_rate*dcost_dw2 
    b = b - learning_rate*dcost_db 
    plt.plot(costs) 
 
 
    if i % 100 == 0: 
 
        for j in range(len(data)): 
            cost_sum = 0 
            point = data[ri] 
            z = point[0]*w1+point[1]*w2+b 
            pred = sigmoid(z) 
            target = point[2] 
            cost_sum += np.square(pred-target) 
        costs.append(cost_sum/len(data)) 

当程序到达这一部分时,会导致以下错误:

Traceback (most recent call last): 
  File "D:\First Neual Net.py", line 89, in <module> 
    plt.plot(costs) 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\pyplot.py", line 3261, in plot 
    ret = ax.plot(*args, **kwargs) 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\__init__.py", line 1717, in inner 
    return func(ax, *args, **kwargs) 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\axes\_axes.py", line 1373, in plot 
    self.add_line(line) 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\axes\_base.py", line 1779, in add_line 
    self._update_line_limits(line) 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\axes\_base.py", line 1801, in _update_line_limits 
    path = line.get_path() 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\lines.py", line 957, in get_path 
    self.recache() 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\lines.py", line 667, in recache 
    self._xy = np.column_stack(np.broadcast_arrays(x, y)).astype(float) 
  File "C:\Program Files (x86)\Python36-32\lib\site-packages\numpy\lib\shape_base.py", line 353, in column_stack 
    return _nx.concatenate(arrays, 1) 
MemoryError 

有什么方法可以使这段代码更有效率吗?也许使用发电机?

请您参考如下方法:

错误

您可能打算将 cost_sum = 0 移出循环!

内存错误

您正在尝试绘制 50000 个点,matplotlib 肯定不会接受这一点,因此您可能希望减少绘制的点数。您似乎试图在代码底部的循环中执行此操作?

效率

让我们解决您问题的效率部分。现在,我无法评论如何使算法本身更高效,但我想我会提供让 Python 代码运行得更快的智慧。

我首先要说的是:Python 编译器(位于解释器后面)几乎没有进行任何优化,因此常见的优化编译器通常会自行应用到我们这里。

公共(public)子表达式消除

在你的代码中你使用了这样的东西:

dcost_dz = dcost_pred*dpred_dz     
dcost_dw1 = dcost_pred*dpred_dz*dz_dw1 
dcost_dw2 = dcost_pred*dpred_dz 

这真的很低效!我们正在重新计算 dcost_pred*dpred_dx 3 次!只使用我们已经分配给的变量会好得多:

dcost_dz = dcost_pred*dpred_dz     
dcost_dw1 = dcost_dz*dz_dw1 
dcost_dw2 = dcost_dz 

从正确的角度来看,循环的每次迭代少了 4 条指令(14 对 10)。

以类似的方式,每次迭代重新计算 point[0] 和 point[1] 两次,为什么不使用 (x, y) = data [ri] 代替?

循环提升

您还可以在循环迭代期间进行一些重新计算。例如,每次迭代您都会发现数据大小多达 3 次不同的时间,并且这不会改变。所以在循环之前计算它:

for i in range(50000): 
    ri = np.random.randint(len(data)) 

成为

datasz = len(data) 
for i in range(50000): 
    ri = np.random.randint(datasz) 

此外,np.random.randint 甚至需要花费 3 条指令才能访问,甚至无需考虑调用。如果您真的对性能很敏感,您也可以将其移出循环:

datasz = len(data) 
randint = np.random.randint 
for i in range(50000): 
    ri = randint(datasz) 

强度降低

有时,某些运算符的执行速度比其他运算符更快。例如;

b = b - learning_rate*dcost_db 

使用BINARY_SUBTRACT指令,但是

b -= learning_rate*dcost_db 

使用 INPLACE_SUBTRACT 指令。就地指令可能会更快一些,因此需要考虑一些事情(但您需要测试该理论)。

绘制每次迭代

如评论中所述(很好地发现了@HFBrowning),您在每次迭代中绘制所有点,这绝对会削弱性能!

列表追加

因为您知道要插入的列表的大小(50500 或什么?),您可以使用类似以下内容将列表分配为该大小:costs = [0] * 50500,这当列表变满时,可以节省大量重新分配列表大小的时间。您将停止使用追加并开始分配给索引。但请记住,除非您只在循环结束后绘制一次,否则这会导致您的情节变得怪异!