Skip to main content
 首页 » 编程设计

python之嵌套 for 循环遍历 python 列表

2024年12月31日9jillzhang

我必须遍历超过 4000 个项目的列表,并使用 python 中的推荐算法检查它们的相似性。

该脚本需要很长时间才能运行(10-11 小时),我想结合多线程来提高速度,但不知 Prop 体怎么做。

    import numpy as np 
    import pandas as pd 
    import matplotlib.pyplot as plt 
 
    data=pd.read_csv('data.csv',index_col=0, encoding="ISO-8859-1")        
 
    # Get list of unique items 
    itemList=list(set(data["product_ref"].tolist())) 
 
    # Get count of customers 
    userCount=len(set(data["customer_id"].tolist())) 
 
    # Create an empty data frame to store item affinity scores for items. 
    itemAffinity= pd.DataFrame(columns=('item1', 'item2', 'score')) 
 
    def itemUsers(ind): 
      return data[data.product_ref==itemList[ind]]["customer_id"].tolist() 
 
    rowCount=0 
    for ind1 in range(len(itemList)):  
        item1Users = itemUsers(ind1)  
        pool = Pool() 
        pool.map(loop2, data_inputs) 
        for ind2 in range(ind1+1, len(itemList)):  
            print(ind1, ":", ind2)        
            item2Users = itemUsers(ind2)  
            commonUsers= len(set(item1Users).intersection(set(item2Users)))  
            score=commonUsers / userCount 
            itemAffinity.loc[rowCount] = [itemList[ind1],itemList[ind2],score]  
            rowCount +=1 

请您参考如下方法:

合并多线程不会改善您的运行时间。

这样想,当您使用多线程时,您会在多个线程之间分散计算时间 - 当您可以将其分散在一个进程上时。

例如,当您在线程上等待用户输入并且您想在等待时进行计算时,它可能会有所帮助,但这不是您的情况。