我使用 Python 3.4、Pandas 0.16.2 和 Jupyter Notebook 作为我的 IDE。
我正在导入以下两个数据框,如下所示:
Lookup = pd.read_excel("LookupMergeOutput.xlsx")
Concatenated = pd.read_csv('Concatenated.csv', error_bad_lines = False, na_values='', iterator=True, chunksize=1000)
data = pd.concat([chunk for chunk in Concatenated], ignore_index=True)
数据
Lookup 数据框规范:23353 行 8; 8列
Columns: Dtype:
LOGINNAME object
FIRSTNAME object
LASTNAME object
ID_y int64
CREATEUSERID int64
REVISIONUSERID int64
BEGINDATE object
ENDDATE object
data 数据框规范:23653 行; 667列
此数据框中合并的相关列是 REFERENCE_ID 和
data.REFERENCE_ID.dtype
作为“对象”
要合并的列是 ID_y 和 REFERENCE_ID(在 data 数据框中)。 Lookup 中的列包含唯一值计数(例如 265926639 等)。
data 数据帧具有唯一值,但也有一个条目的重复实例(例如,265946567 的三个实例。此外,还有以下错误字符串漫画:421D6158-22D4-EDAC-0DEA-33B1FB5CC7AF。
目标: 合并 Lookup 和 data 到键列 ID_y 和 REFERENCE_ID,分别。
*** 引用资料和先前搜索的答案,但收效甚微:
- Left merge without reindexing
- Conditional Merge
- Chris Albon's Tutorial
- Merging multiple dataframes
- Data Carpentry's Review
到目前为止我尝试了什么:
merged_left = pd.merge(left=Lookup,right=data, how='left', left_on='ID_y', right_on='REFERENCE_ID')
这将返回所有 Lookup 数据,但 data 数据框的所有 667 列返回为 null值。
理论上,如果两个“关键”列中有共同的数字,data 数据框的数据就会匹配。我的假设是存在数据类型冲突,或者因为 data 数据帧中存在重复数字,合并没有发生。我想避免在 data 列中删除重复项或多个键实例,因为这可能包含有效数据。
我还尝试将 ID_y 列重命名为 REFERENCE_ID 并按如下方式执行合并:
Lookup=Lookup.rename(columns = {'ID_y':'REFERENCE_ID'})
这会产生一个 null 数据框(只有列,没有值)。我还尝试将索引设置为 ID_y 和 REFERENCE_ID,然后对索引执行合并:
Lookup = Lookup.set_index('ID_y')
data = data.set_index('REFERENCE_ID')
merged_on_index = pd.merge(Lookup,data, left_index=True,right_index=True)
我收到以下回溯:
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
<ipython-input-35-3909fd759082> in <module>()
----> 1 pd.merge(AgentLookup,data,left_index=True,right_index=True)
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\tools\merge.py in merge(left, right, how, on, left_on, right_on, left_index, right_index, sort, suffixes, copy)
36 right_index=right_index, sort=sort, suffixes=suffixes,
37 copy=copy)
---> 38 return op.get_result()
39 if __debug__:
40 merge.__doc__ = _merge_doc % '\nleft : DataFrame'
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\tools\merge.py in get_result(self)
184
185 def get_result(self):
--> 186 join_index, left_indexer, right_indexer = self._get_join_info()
187
188 ldata, rdata = self.left._data, self.right._data
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\tools\merge.py in _get_join_info(self)
257 if self.left_index and self.right_index:
258 join_index, left_indexer, right_indexer = \
--> 259 left_ax.join(right_ax, how=self.how, return_indexers=True)
260 elif self.right_index and self.how == 'left':
261 join_index, left_indexer, right_indexer = \
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\core\index.py in join(self, other, how, level, return_indexers)
2041 other = other.astype('O')
2042 return this.join(other, how=how,
-> 2043 return_indexers=return_indexers)
2044
2045 _validate_join_method(how)
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\core\index.py in join(self, other, how, level, return_indexers)
2054 else:
2055 return self._join_non_unique(other, how=how,
-> 2056 return_indexers=return_indexers)
2057 elif self.is_monotonic and other.is_monotonic:
2058 try:
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\core\index.py in _join_non_unique(self, other, how, return_indexers)
2125
2126 left_idx, right_idx = _get_join_indexers([self.values], [other.values],
-> 2127 how=how, sort=True)
2128
2129 left_idx = com._ensure_platform_int(left_idx)
C:\WinPython-64bit-3.4.3.5\python-3.4.3.amd64\lib\site-packages\pandas\tools\merge.py in _get_join_indexers(left_keys, right_keys, sort, how)
459
460 # get left & right join labels and num. of levels at each location
--> 461 llab, rlab, shape = map(list, zip( * map(fkeys, left_keys, right_keys)))
462
463 # get flat i8 keys from label lists
TypeError: type object argument after * must be a sequence, not map
此时,我不知道什么才是最好的策略。我欢迎对后续步骤的反馈。
请您参考如下方法:
您的两个连接字段都是不同的数据类型。 REFERENCE_ID 作为对象类型,ID_y 作为数字 int64 类型。有趣的是,pandas 中的 object dtype 是一个 NumPy ndarray它包含指向可变长度字符串项的指针。此外,当导入的数据同时包含字符串和数字时,object 是最通用的数据类型。
考虑使用 astype 将连接字段转换为相同的数据类型.当然,字符串往往是最宽松的,允许使用连字符等各种字符。
字符串转换:
data['REFERENCE_ID'] = data['REFERENCE_ID'].apply(str) # NOTICE APPLY HERE
LookUp['ID_y'] = LookUp['ID_y'].astype(str)
数值转换:
data['REFERENCE_ID'] = data['REFERENCE_ID'].astype(int)
组合:
data['REFERENCE_ID'] = data['REFERENCE_ID'].astype(str).astype(int)
LookUp['ID_y'] = LookUp['ID_y'].astype(str).astype(int)
