下面的一段代码在我运行时给我一个内存错误。它是我正在构建的简单神经网络的一部分。请记住,所有数学都是为了学习目的而写出来的:
learning_rate = 0.2
costs = []
for i in range(50000):
ri = np.random.randint(len(data))
point =data[ri]
## print (point)
z = point[0] * w1 + point[1] * w2 + b
pred = sigmoid(z)
target = point[2]
cost = np.square(pred-target)
costs.append(cost)
dcost_pred = 2* (pred-target)
dpred_dz = sigmoid_p(z)
dz_dw1 = point[0]
dz_dw2 = point[1]
dz_db = 1
dcost_dz = dcost_pred*dpred_dz
dcost_dw1 = dcost_pred*dpred_dz*dz_dw1
dcost_dw2 = dcost_pred*dpred_dz
dcost_db = dcost_dz * dz_db
w1 = w1 - learning_rate*dcost_dw1
w2 = w2 - learning_rate*dcost_dw2
b = b - learning_rate*dcost_db
plt.plot(costs)
if i % 100 == 0:
for j in range(len(data)):
cost_sum = 0
point = data[ri]
z = point[0]*w1+point[1]*w2+b
pred = sigmoid(z)
target = point[2]
cost_sum += np.square(pred-target)
costs.append(cost_sum/len(data))
当程序到达这一部分时,会导致以下错误:
Traceback (most recent call last):
File "D:\First Neual Net.py", line 89, in <module>
plt.plot(costs)
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\pyplot.py", line 3261, in plot
ret = ax.plot(*args, **kwargs)
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\__init__.py", line 1717, in inner
return func(ax, *args, **kwargs)
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\axes\_axes.py", line 1373, in plot
self.add_line(line)
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\axes\_base.py", line 1779, in add_line
self._update_line_limits(line)
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\axes\_base.py", line 1801, in _update_line_limits
path = line.get_path()
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\lines.py", line 957, in get_path
self.recache()
File "C:\Program Files (x86)\Python36-32\lib\site-packages\matplotlib\lines.py", line 667, in recache
self._xy = np.column_stack(np.broadcast_arrays(x, y)).astype(float)
File "C:\Program Files (x86)\Python36-32\lib\site-packages\numpy\lib\shape_base.py", line 353, in column_stack
return _nx.concatenate(arrays, 1)
MemoryError
有什么方法可以使这段代码更有效率吗?也许使用发电机?
请您参考如下方法:
错误
您可能打算将 cost_sum = 0 移出循环!
内存错误
您正在尝试绘制 50000 个点,matplotlib 肯定不会接受这一点,因此您可能希望减少绘制的点数。您似乎试图在代码底部的循环中执行此操作?
效率
让我们解决您问题的效率部分。现在,我无法评论如何使算法本身更高效,但我想我会提供让 Python 代码运行得更快的智慧。
我首先要说的是:Python 编译器(位于解释器后面)几乎没有进行任何优化,因此常见的优化编译器通常会自行应用到我们这里。
公共(public)子表达式消除
在你的代码中你使用了这样的东西:
dcost_dz = dcost_pred*dpred_dz
dcost_dw1 = dcost_pred*dpred_dz*dz_dw1
dcost_dw2 = dcost_pred*dpred_dz
这真的很低效!我们正在重新计算 dcost_pred*dpred_dx 3 次!只使用我们已经分配给的变量会好得多:
dcost_dz = dcost_pred*dpred_dz
dcost_dw1 = dcost_dz*dz_dw1
dcost_dw2 = dcost_dz
从正确的角度来看,循环的每次迭代少了 4 条指令(14 对 10)。
以类似的方式,每次迭代重新计算 point[0] 和 point[1] 两次,为什么不使用 (x, y) = data [ri] 代替?
循环提升
您还可以在循环迭代期间进行一些重新计算。例如,每次迭代您都会发现数据大小多达 3 次不同的时间,并且这不会改变。所以在循环之前计算它:
for i in range(50000):
ri = np.random.randint(len(data))
成为
datasz = len(data)
for i in range(50000):
ri = np.random.randint(datasz)
此外,np.random.randint 甚至需要花费 3 条指令才能访问,甚至无需考虑调用。如果您真的对性能很敏感,您也可以将其移出循环:
datasz = len(data)
randint = np.random.randint
for i in range(50000):
ri = randint(datasz)
强度降低
有时,某些运算符的执行速度比其他运算符更快。例如;
b = b - learning_rate*dcost_db
使用BINARY_SUBTRACT指令,但是
b -= learning_rate*dcost_db
使用 INPLACE_SUBTRACT 指令。就地指令可能会更快一些,因此需要考虑一些事情(但您需要测试该理论)。
绘制每次迭代
如评论中所述(很好地发现了@HFBrowning),您在每次迭代中绘制所有点,这绝对会削弱性能!
列表追加
因为您知道要插入的列表的大小(50500 或什么?),您可以使用类似以下内容将列表分配为该大小:costs = [0] * 50500,这当列表变满时,可以节省大量重新分配列表大小的时间。您将停止使用追加并开始分配给索引。但请记住,除非您只在循环结束后绘制一次,否则这会导致您的情节变得怪异!
