我有一个尺寸为 100*512 的 csv 文件，我想在 spark 中进一步处理它。该文件的问题是它不包含标题，即 column names 。我需要这些列名称以便在 machine learning 中进行进一步的 ETL。我在另一个文件(文本文件)中有列名。我必须将这些列名称作为标题放在上面提到的 csv 文件中。 例如
CSV 文件:-
ab 1 23 sf 23 hjh
hs 6 89 iu 98 adf
gh 7 78 pi 54 ngj
jh 5 22 kj 78 jdk
列标题文件:-
one,two,three,four,five, six
我想要这样的输出:-
one two three four five six
ab 1 23 sf 23 hjh
hs 6 89 iu 98 adf
gh 7 78 pi 54 ngj
jh 5 22 kj 78 jdk
请建议一些将列标题添加到 CSV 文件的方法。(不替换 csv 文件的行。 我尝试将其转换为 Pandas 数据框，但无法获得预期的输出。
请您参考如下方法:
首先阅读您的 csv 文件:
from pandas import read_csv
df = read_csv('test.csv')
如果您的数据集中有两列(a 列和 b 列)，请使用:
df.columns = ['a', 'b']
将这个新数据框写入csv
df.to_csv('test_2.csv')
