我有两本看起来像这样的字典:
dict_of_items = tf_idf_by_doc {1: [('dog', 3), ('bird', 0)], 2: [('egret', 2), ('cat', 3), ('bird', 0), ('aardvark', 1)], 3: [('fish', 6), ('bird', 0), ('dog', 1), ('aardvark', 5)], 4: [('fish', 6), ('bird', 0), ('dog', 1), ('aardvark', 2)], 5: [('egret', 4), ('bird', 0)], 6: [('bird', 0)], 7: [('dog', 5), ('bird', 0)], 8: [('bird', 0), ('aardvark', 1)]}
dict_of_search = {1: [('bird', 0), ('dog', 1), ('cat', 3)]}
我需要计算 dict_of_search 和 dict_of_items 中的每个键 之间的点积,然后存储生成的点积值并按键跟踪。我的意思是……
在 dict_of_items 中,1 和 dict_of_search 中的项目有一个向量:
| | dict_of_items_1 | dict_of_search |
|:----:|:---------------:|:--------------:|
| bird | 0 | 0 |
| dog | 3 | 1 |
| cat | 0 | 3 |
所以我的点积将是:3
期望的结果将是 dict_of_items 中的键及其各自的点积与 dict_of_search 相比的字典(这将永远是一个项目),按点积降序排序。
但是,我不确定如何将我的字典的形状转换成两个数组来执行向量计算,尤其是当其中一个术语没有出现时如何处理(例如,在上面的示例中 cat 没有出现在 dict_of_items_1 的键 1 中。
我已经尝试过使用 numpy...
import numpy as numpy
def main():
test_arr_1 = [1,2,3]
test_arr_2 = [3,2,6]
first_dot_product = numpy.dot(test_arr_1, test_arr_2)
print("First Example: ", first_dot_product)
test_arr_3 = [3,0,1]
test_arr_4 = [2,10]
second_dot_product = numpy.dot(test_arr_3, test_arr_4)
print("Second Example Missing Value: ", second_dot_product)
main()
但这失败了,因为向量的大小和形状不同。
ValueError: shapes (3,) and (2,) not aligned: 3 (dim 0) != 2 (dim 0)
我还尝试将字典值 reshape 为列表:
def main():
dict_of_items = {'1': [('bird', 0), ('dog', 3), ('egret', 2), ('bird', 0), ('aardvark', 1), ('cat', 3), ('dog', 1), ('bird', 0), ('fish', 6), ('aardvark', 5), ('dog', 1), ('bird', 0), ('fish', 6), ('aardvark', 2), ('egret', 4), ('bird', 0), ('bird', 0), ('bird', 0), ('dog', 5), ('bird', 0), ('aardvark', 1)]}
test_list_of_lists = []
for k, v in dict_of_items.items():
curr_list = []
for aTuple in v:
curr_list.append(aTuple[1])
test_list_of_lists.append(curr_list)
print(test_list_of_lists)
main()
但这只是错误地将所有内容合并到一个列表中:[[0, 3, 2, 0, 1, 3, 1, 0, 6, 5, 1, 0, 6, 2, 4, 0, 0, 0, 5, 0, 1]]
我也看了this post ,但该词典的格式要简单得多。
请您参考如下方法:
要计算 dict_of_search 与 dict_of_items 上的值的文档乘积,您可以这样做:
def prod(source, target):
return sum(source.get(key, 0) * target.get(key, 0) for key in source.keys() | target.keys())
dict_of_items = {1: [('dog', 3), ('bird', 0)], 2: [('egret', 2), ('cat', 3), ('bird', 0), ('aardvark', 1)],
3: [('fish', 6), ('bird', 0), ('dog', 1), ('aardvark', 5)],
4: [('fish', 6), ('bird', 0), ('dog', 1), ('aardvark', 2)], 5: [('egret', 4), ('bird', 0)],
6: [('bird', 0)], 7: [('dog', 5), ('bird', 0)], 8: [('bird', 0), ('aardvark', 1)]}
dict_of_search = {1: [('bird', 0), ('dog', 1), ('cat', 3)]}
for k, v in dict_of_items.items():
for se in dict_of_search.values():
print(k, prod(dict(v), dict(se)))
输出
1 3
2 9
3 1
4 1
5 0
6 0
7 5
8 0
如果要将结果存储在字典中,请执行:
result = {}
for k, v in dict_of_items.items():
for se in dict_of_search.values():
result[k] = prod(dict(v), dict(se))
print(result)
输出
{1: 3, 2: 9, 3: 1, 4: 1, 5: 0, 6: 0, 7: 5, 8: 0}
