我正在使用以下代码连接两个数据框:
new_df = df_1.join(df_2, on=['field_A', 'field_B', 'field_C'], how='left_outer')
上面的代码工作正常，但有时 df_1 和 df_2 有数百列。是否可以使用模式加入而不是手动添加所有列？或者有什么方法可以将模式转换为列表？非常感谢!
请您参考如下方法:
如果您的意思是以某种方式让 join 合并列数据类型，则您不能加入模式。您可以做的是先提取列名，然后将它们作为 on= 的列表参数传递，如下所示:
join_cols = df_1.columns
df_1.join(df_2, on=join_cols, how='left_outer')
现在显然你必须编辑 join_cols 的内容以确保它只有你真正想要加入的名称 df_1 和 df_2 上。但是，如果有数百个有效列，这可能比一一添加要快得多。您还可以使 join_cols 成为 df_1 和 df_2 列的交集，然后在更合适的情况下从那里进行编辑。
编辑:虽然我应该补充一点，Spark 2.0 的发布实际上是任何一天，而且我还没有精通所有的变化。因此，这可能也值得研究，或提供 future 的解决方案。
