对于我在 Stack Overflow 上的第一个问题,我得到了一个我希望是独特/有趣的问题!
我有关于技能评估的数据,目前在一个非常大的 pandas 数据框中。每行代表一个学生,每列包含他们在特定技能评估中的分数。总共有大约 200 项技能评估,每个学生仅在这些评估的一小部分中获得分数(通常为 1 - 20 分,但有些学生的分数更高)。
示例数据帧结构:
id skill1 skill2 skill3 skill4 skill5 ....
1 10 50 NaN 3 NaN
2 Nan 10 2 70 NaN
3 23 NaN 45 NaN 5
我正在尝试将此数据转换为每个学生的空格分隔字符串,格式如下,以便我们可以将其导入不同的数据存储区:
skill1:10 skill2:50 skill4:3
skill2:10 skill3:2 skill4:70
(请注意没有评估分数的技能不会添加到列表中)
我创建了一个 lambda 函数来将所有这些技能值与其列标签连接起来:
skillmerge = lambda row: ' '.join([str(row.index[i])+':'+str(row[i]) for i in range(0,len(row)) if row[i]!=np.nan])
当我创建一个系列(1 名学生)进行测试时,lambda 函数用不到一秒钟的时间以我想要的格式创建输出字符串。但是,当我创建一个只有 2 行的数据框时(再次用于测试目的),该函数需要几分钟才能完成这 2 行:
testing_df['combined_skills'] = testing_df.apply(skillmerge, axis=1)
鉴于我在这个数据集中有几百万学生,我正在寻找使这个过程可靠地更快地工作的方法。关于我可以在哪里解决这个问题的任何想法?
在此先感谢您帮助我解决第一个 SO 问题! :D
请您参考如下方法:
使用 to_json 然后修复它
def to_str(x):
return x.dropna().to_json(double_precision=0) \
.replace('"', '').replace(',', ' ').strip("{}")
df.T.apply(to_str)
或者使用列表理解和join
def to_str(x):
return " ".join(["{}:{}".format(k, int(v)) for k, v in x.dropna().iteritems()])
df.T.apply(to_str)
都给
id
1 skill1:10 skill2:50 skill4:3
2 skill2:10 skill3:2 skill4:70
3 skill1:23 skill3:45 skill5:5
dtype: object
让您的解决方案发挥作用
skillmerge = lambda row: ' '.join([str(row.index[i])+':'+str(row[i]) for i in range(len(row)) if not np.isnan(row[i])])
df.T.apply(skillmerge)
请注意 np.nan == np.nan 的计算结果为 False。为了测试 np.nan,请使用 np.isnan 或 pd.isnull 或 pd.notnull。这个事实正在抛弃你的解决方案。我将其替换为 not np.isnan 并且它有效。
我捕获机会做我想做的事,因为我更喜欢它。
