我正在尝试将 spark Dataframe 转换为标记点。 Dataframe 被命名为 DF，看起来像:
+-----+-----+-----+-----+-----+-----+-----+-----+-----+------+-----+
|step1|step2|step3|step4|step5|step6|step7|step8|step9|step10|class|
+-----+-----+-----+-----+-----+-----+-----+-----+-----+------+-----+
| 14| 14| 0| 14| 14| 4| 11| 10| 0| 7| 1|
| 11| 10| 14| 0| 14| 18| 18| 14| 7| 7| 1|
| 14| 14| 14| 14| 14| 14| 7| 0| 7| 0| 1|
| 14| 14| 14| 14| 7| 7| 14| 14| 0| 11| 1|
| 14| 14| 14| 14| 14| 14| 14| 7| 14| 7| 1|
| 14| 14| 14| 14| 14| 14| 14| 0| 7| 7| 1|
| 14| 14| 14| 14| 14| 14| 14| 7| 14| 7| 1|
| 17| 14| 0| 7| 0| 0| 14| 7| 0| 7| 1|
| 14| 14| 14| 7| 7| 14| 7| 14| 14| 7| 1|
| 14| 14| 14| 14| 14| 14| 14| 7| 7| 7| 1|
| 7| 14| 14| 14| 14| 0| 14| 7| 0| 14| 1|
| 14| 14| 14| 14| 14| 0| 14| 7| 7| 7| 1|
根据文档，我正在尝试做的是:
(training, test) = DF.randomSplit([0.8,0.2])
print training
def parsePoint(line):
values = [float(x) for x in line.split(' ')]
return LabeledPoint(values[0], values[:1])
trainLabeled = training.rdd.map(parsePoint)
model = SVMWithSGD.train(trainLabeled, iterations=100)
但是我得到了错误:
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob.
星火版本 2.0.1
请您参考如下方法:
如果没有看到您的数据，我无法确定，但 SVMWithSGD 的一个常见问题来自标签。
您需要使用 LabeledPoint(就像您所做的那样)并确保第一个参数为 0.0 或 1.0。错误可能来自 x[-1] 是另一个值(不是 0 也不是 1)。
你能检查一下吗？
希望对你有帮助
编辑(获取数据后):
下摆。让我们回到基础知识:SVM(大致)“学习如何将数据分成两类”(这不是很正式，但让我们暂时考虑一下)。也就是说，您的数据集必须是:X 形状为 n x D 的矩阵(n 行数，D 特征数)，以及包含数据标签的 y 矩阵 n x 1。标签是二进制的，通常表示为 {0, 1}(或 {-1, 1}，这对于数学更方便)。 这是相当“数学”的方法。通常你有一个 data 矩阵，你通过“提取”一列作为标签在 X 和 y 之间分割。 (此列中的所有值必须是 0、1)。
长话短说:SVM 会将您的数据分类为两个类。
标签(=类，其值为0或1)可以看作是用于拆分数据的两个类别。所以你必须有一个只有 0 或 1 的列。
例如如果我构建我的电影数据集，我可以设置一个列“我喜欢它吗？” label=1 如果我喜欢这部电影，label=0 如果我不喜欢，然后训练我的 SVM 来预测我应该喜欢哪部电影
我没有在您的数据中看到哪一列是标签。如果你有超过 2 个类，SVM 不适合你，你将不得不看看多元分类(这超出了这里的范围，告诉我它是否是你想要的)。
我猜你的目标对你来说并不是很清楚。例如，人们不会使用 ID 列训练分类，这几乎没有意义。如果我错了，请解释您对数据的期望。 (您还可以解释列指的是什么)。
pltrdy
