当前位置:贵波网 > 生活 > 正文

python出现MemoryError

2021-08-01 11

要破这个东西,要先破你的算法。 先别说破这个词了。

梳理你的算法,避免三重循环, 避免大量使用字典的多次嵌套。

显然你的数据量巨大。还用这么耗内存,耗CPU的算法。只有算法改良了才能解决这个问题。即使给你C语编程,你都能把内存用光了。你把矩阵放在字典里,内存肯定吃不消。顺便说一下,你用的python应该是32位的。如果是64位的会好些。

在python里,大数据处理一定要减少字典使用。如果字典项超过一定值比为2万,就要小心。 字典主要是用来统计用,不用来计算。 建议你考虑numpy.array做。如果不想用它就用Array,如果还不想可以用blist(第三方包),最差也要用list。字典虽然查找比list快,但是它耗更多内存。

比如你这个问题,你可以先考虑两步走。不要把算法放在一起,虽然效率高,但是后期维护成本高。

第一步计算“浏览过每种物品的人数”, 这个可以用字典。但是因为要做人与物品的关联,所以,应该是说错了。 应该是“计算某个浏览过某个物品”。

你这里与时间没有关系。算法应该没有计算“时间”加权。

我理解你的算法应该是用户浏览”两个物品时”,则累加两个物品同时浏览次数。

并将次数除以,用户分别浏览i,j次数乘积的开根方。 这本来是一个很简单的算法。 你弄太复杂了。

建议你这样。 你使用两个字典,分别这样
items_browsed_by_user[userid][product_id]
items_browsed_cross [userid][[product_id_i, product_id_j]]
记着在给items_browsed_cross [userid][(product_id_i, product_id_j)]赋值时。保证product_id_i < product_id_j
这样你只需要一半的内存就可以存i*j矩阵。因为先浏览i, 再j和先j再i, 结果是一样的。

最理想的办法是给userid编写一个编号,从0到number of users, 这样直接用数组就可以存放。不需要字典。 再给product_id编号用顺序号代替。 这样内存占用更少。只需要一个二维数组就可以存贮数据。

如果内存还不足够,就要引入稀疏矩阵。

如果还不足够,也可以的。每次计算,只计算一行。然后存贮到硬盘上。按行按列分别计算。这在大数据环境里很容易就做到了。
本周热门
热门文章
热门关注