Skip to main content
 首页 » 编程设计

python之将数百列和列索引连接成一个字符串

2025年04月02日24rubylouvre

对于我在 Stack Overflow 上的第一个问题,我得到了一个我希望是独特/有趣的问题!

我有关于技能评估的数据,目前在一个非常大的 pandas 数据框中。每行代表一个学生,每列包含他们在特定技能评估中的分数。总共有大约 200 项技能评估,每个学生仅在这些评估的一小部分中获得分数(通常为 1 - 20 分,但有些学生的分数更高)。

示例数据帧结构:

id    skill1  skill2  skill3  skill4  skill5 .... 
1     10      50      NaN     3       NaN 
2     Nan     10      2       70      NaN 
3     23      NaN     45      NaN     5 

我正在尝试将此数据转换为每个学生的空格分隔字符串,格式如下,以便我们可以将其导入不同的数据存储区:

skill1:10 skill2:50 skill4:3 
skill2:10 skill3:2 skill4:70 

(请注意没有评估分数的技能不会添加到列表中)

我创建了一个 lambda 函数来将所有这些技能值与其列标签连接起来:

skillmerge = lambda row: ' '.join([str(row.index[i])+':'+str(row[i]) for i in range(0,len(row)) if row[i]!=np.nan]) 

当我创建一个系列(1 名学生)进行测试时,lambda 函数用不到一秒钟的时间以我想要的格式创建输出字符串。但是,当我创建一个只有 2 行的数据框时(再次用于测试目的),该函数需要几分钟才能完成这 2 行:

testing_df['combined_skills'] = testing_df.apply(skillmerge, axis=1) 

鉴于我在这个数据集中有几百万学生,我正在寻找使这个过程可靠地更快地工作的方法。关于我可以在哪里解决这个问题的任何想法?

在此先感谢您帮助我解决第一个 SO 问题! :D

请您参考如下方法:

使用 to_json 然后修复它

def to_str(x): 
    return x.dropna().to_json(double_precision=0) \ 
            .replace('"', '').replace(',', ' ').strip("{}") 
 
df.T.apply(to_str) 

或者使用列表理解和join

def to_str(x): 
    return " ".join(["{}:{}".format(k, int(v)) for k, v in x.dropna().iteritems()]) 
 
df.T.apply(to_str) 

都给

id 
1    skill1:10 skill2:50 skill4:3 
2    skill2:10 skill3:2 skill4:70 
3    skill1:23 skill3:45 skill5:5 
dtype: object 

让您的解决方案发挥作用

skillmerge = lambda row: ' '.join([str(row.index[i])+':'+str(row[i]) for i in range(len(row)) if not np.isnan(row[i])]) 
 
df.T.apply(skillmerge) 

请注意 np.nan == np.nan 的计算结果为 False。为了测试 np.nan,请使用 np.isnan 或 pd.isnull 或 pd.notnull。这个事实正在抛弃你的解决方案。我将其替换为 not np.isnan 并且它有效。

我捕获机会做我想做的事,因为我更喜欢它。