我有 3 个数组:长度为 5000000 的 ["id": "word"] 对数组“words”,长度为 13000 的唯一 ID 数组“ids”和唯一单词数组“dict”(字典)长度为 500000。这是我的代码:
matrix = sparse.lil_matrix((len(ids), len(dict)))
for i in words:
matrix[id.index(i['id']), dict.index(i['word'])] += 1.0
但是它工作起来太慢了(我工作了15个小时还没有得到一个矩阵)。有什么想法可以优化我的代码吗?
请您参考如下方法:
首先不要将数组命名为dict,它会造成混淆并隐藏内置类型dict。
这里的问题是你在二次时间做所有事情,所以首先将你的数组 dict 和 id 转换成字典,其中每个 word 或 id 指向它的索引。
matrix = sparse.lil_matrix((len(ids), len(dict)))
dict_from_dict = {word: ind for ind, word in enumerate(dict)}
dict_from_id = {id: ind for ind, id in enumerate(id)}
for i in words:
matrix[dict_from_id[i['id']], dict_from_dict[i['word']] += 1.0
