我将 spark 与 python 一起使用。上传 csv 文件后，我需要解析 csv 文件中的一列，该列的数字长度为 22 位。为了解析该列，我使用了 LongType() 。我使用 map() 函数来定义列。 以下是我在 pyspark 中的命令。
>>> test=sc.textFile("test.csv")
>>> header=test.first()
>>> schemaString = header.replace('"','')
>>> testfields = [StructField(field_name, StringType(), True) for field_name in schemaString.split(',')]
>>> testfields[5].dataType = LongType()
>>> testschema = StructType(testfields)
>>> testHeader = test.filter(lambda l: "test_date" in l)
>>> testNoHeader = test.subtract(testHeader)
>>> test_temp = testNoHeader.map(lambda k: k.split(",")).map(lambda
p:(p[0],p[1],p[2],p[3],p[4],***float(p[5].strip('"'))***,p[6],p[7]))
>>> test_temp.top(2)
注意:我还尝试在变量 test_temp 中用“long”和“bigint”代替“float”，但 spark 中的错误是“keyword not”成立' 以下是输出
[('2012-03-14', '7', '1698.00', 'XYZ02abc008793060653', 'II93', ***8.27370028700801e+21*** , 'W0W0000000000007', '879870080088815007'), ('2002-03-14', '1', '999.00', 'ABC02E000050086941', 'II93', 8.37670028702205e+21, 'A0B0080000012523', '870870080000012421')]
我的csv文件中的值如下: 8.27370028700801e+21 是 8273700287008010012345 8.37670028702205e+21 是 8376700287022050054321
当我从中创建一个数据框然后查询它时，
>>> test_df = sqlContext.createDataFrame(test_temp, testschema)
>>> test_df.registerTempTable("test")
>>> sqlContext.sql("SELECT test_column FROM test").show()
test_column 为所有记录提供值“null”。
那么，如何解决spark中解析大数的问题，非常感谢您的帮助
请您参考如下方法:
好吧，类型很重要。由于您将数据转换为 float，因此您不能在 DataFrame 中使用 LongType。它并不仅仅因为 PySpark 在类型方面相对宽容。
此外，8273700287008010012345 太大而无法表示为 LongType，后者只能表示 -9223372036854775808 和 9223372036854775807 之间的值。
如果你想将数据转换为 DataFrame，你必须使用 DoubleType:
from pyspark.sql.types import *
rdd = sc.parallelize([(8.27370028700801e+21, )])
schema = StructType([StructField("x", DoubleType(), False)])
rdd.toDF(schema).show()
## +-------------------+
## | x|
## +-------------------+
## |8.27370028700801E21|
## +-------------------+
通常，直接使用 DataFrames 处理此问题是一个更好的主意:
from pyspark.sql.functions import col
str_df = sc.parallelize([("8273700287008010012345", )]).toDF(["x"])
str_df.select(col("x").cast("double")).show()
## +-------------------+
## | x|
## +-------------------+
## |8.27370028700801E21|
## +-------------------+
如果您不想使用Double，您可以转换为具有指定精度的Decimal:
str_df.select(col("x").cast(DecimalType(38))).show(1, False)
## +----------------------+
## |x |
## +----------------------+
## |8273700287008010012345|
## +----------------------+
