Skip to main content
 首页 » 编程设计

python之推荐系统中的 split

2025年04月02日1098°冷暖

我有一个包含 Userid、ItemID、Ratings 的 Spark Dataframe。我正在建立一个推荐系统。

数据是这样的:

originalDF.show(5) 
+----+----+------+ 
|user|item|rating| 
+----+----+------+ 
| 353|   0|     1| 
| 353|   1|     1| 
| 353|   2|     1| 
| 354|   3|     1| 
| 354|   4|     1| 
+----+----+------+ 

它拥有 56K 独立用户和 8500 件独立商品。

因此,如果您看到每个 UserID 都有每个 Item 和相应评分的记录 (RoW)。因此每个用户 ID 有多个记录。

现在我通过随机拆分 0.6、0.2、0.2% 将其拆分为训练、验证和测试。所以基本上 60% 的随机记录用于训练,20% 用于验证,其余 20% 用于测试,如下所示:

random_split=originalDF.randomSplit(split_perc,seed=20) 
 
return random_split[0],random_split[1],random_split[2] 

这给我留下了以下数据集计数

train,validation,test=train_test_split(split_sdf,[0.6,0.2,0.2]) 
​ 
print "Training size is {}".format(train.count()) 
print "Validation size is {}".format(validation.count()) 
print "Test size is {}".format(test.count()) 
'/' 
print "Original Dataset Size is {}".format(split_sdf.count()) 
Training size is 179950 
Validation size is 59828 
Test size is 60223 
Original Dataset Size is 300001 

现在我在训练数据上训练 Spark pyspark.ml.ALS 算法。

als = ALS(rank=120, maxIter=15, regParam=0.01, implicitPrefs=True) 
model = als.fit(train) 

当我检查模型对象中的 userFactors 和 itemFactors 时,我得到了这个:

itemF=model.itemFactors 
itemF.toPandas().shape 
Out[111]: 
(7686, 2) 
In [113]: 
 
userF=model.userFactors 
userF.toPandas().shape 
Out[113]: 
(47176, 2) 

这意味着它只给我第一个的预测因子矩阵。训练数据中的唯一用户和项目。

现在我如何为每个用户获得所有项目的预测?。

如果我这样做

prediction=model.transform(originalDF) 

其中 OriginalDF 是整个数据集,它被分解为训练、验证和测试,它会为每个用户提供所有项目的预测吗?

我的问题是,如果我的数据集有 56K 个用户 X 8.5K 个项目,那么我想找到相同的 56K X8.5K 而不仅仅是 47K X7.6K 训练数据的预测矩阵。

我在这里做错了什么?我知道该数据仅适用于 47k X7.6K 训练数据,而不适用于原始的 56k X8.5K 评级数据。那么我是否将数据拆分为 train,val 错误?

我知道对于推荐系统,应该为每个用户随机屏蔽某些项目的一些评级,并将剩余的用于训练并在这些屏蔽值上进行测试。我在这里做了同样的事情,因为用户的每条记录都是对不同项目的评级。当我们随机拆分时,我们实际上是在掩盖用户的一些评分,而不是将它们用于训练。

请指教。

编辑:

在具有用户 X 项目矩阵(56K 用户 X 8.5 项目)的典型推荐系统中

我们基本上屏蔽(使其为 0)每个用户的一些随机项目评级。然后将整个矩阵传递给推荐算法并将其分解为两个因素矩阵的乘积。

但是在 Spark 中,我们不使用 Userx 项矩阵。我们基本上将每个项目列评分作为每个用户的单独行,而不是有 8.5K 个项目列。

因此,如果您在原始用户-项目矩阵中看到屏蔽(将某些项目评级设为 0),则与不为 spark 数据框中的每个用户使用一些随机行是一样的。正确的?

这是我找到的一种将数据拆分(这也是我使用的方法)到训练和验证中的方法

training_RDD, validation_RDD, test_RDD = small_ratings_data.randomSplit([6, 2, 2], seed=0L) 
validation_for_predict_RDD = validation_RDD.map(lambda x: (x[0], x[1])) 
test_for_predict_RDD = test_RDD.map(lambda x: (x[0], x[1])) 

我在这里也使用了类似的 randomSplit 东西。所以我不确定这里出了什么问题。

我可以理解,由于训练数据没有所有用户和项目,项目因素矩阵也只有那么多用户和项目因素。那么我该如何克服呢?最后我基本上需要一个所有用户和项目的预测矩阵。

请您参考如下方法:

所有 ids:

  • 用户
  • 产品

您希望其预测必须出现在训练集中。使用随机拆分不是一种可以用来确保的方法(它不等同于数据屏蔽)。