我想编写一个 python 脚本,从 Kaggle.com 下载一个公共(public)数据集。
Kaggle API 是用 python 编写的,但我能找到的几乎所有文档和资源都是关于如何在命令行中使用 API 的,关于如何使用 kaggle 的很少python 中的库。
一些用户似乎知道如何做到这一点,例如参见several answers to this question ,但提示不足以解决我的具体问题。
也就是说,我有一个如下所示的脚本:
from kaggle.api.kaggle_api_extended import KaggleApi
api = KaggleApi('content of my json metadata file')
file = api.datasets_download_file(
owner_slug='the-owner-slug',
dataset_slug='the-dataset-slug',
file_name='the-file-name.csv',
)
我是通过查看方法的签名得出这个结论的:
api.datasets_download_file(owner_slug, dataset_slug, file_name, **kwargs)
我收到以下错误:
UnicodeDecodeError: 'utf-8' 编解码器无法解码位置 12 中的字节 0xa1:无效的起始字节
除了这个特定问题的解决方案之外,我真的很高兴知道如何使用 Kaggle 库解决错误,而不是检查代码本身。事实上,也许这个问题与 utf-encoding 无关,但我不知道如何解决这个问题。如果只是文件名错误,或者像这样愚蠢的事情怎么办?
csv 文件没什么特别的:三列,第一列是时间戳,另外两列是整数。
请您参考如下方法:
我发布了一个 blog post这解释了竞争、数据集和内核交互的大多数常见用例。
以下是在 Python 中使用 Kaggle API 所涉及的步骤。
设置 API key
转到您的 Kaggle 帐户选项卡 https://www.kaggle.com/<username>/account 然后点击“创建 API token ”。将下载名为 kaggle.json 的文件。将此文件移至 Mac 和 Linux 中的 ~/.kaggle/文件夹或 Windows 中的 C:\Users
或者,您可以使用 kaggle.json 中的值填充 KAGGLE_USERNAME 和 KAGGLE_KEY 环境变量,以使 API 进行身份验证。
使用 API 服务器进行身份验证
from kaggle.api.kaggle_api_extended import KaggleApi
api = KaggleApi()
api.authenticate()
下载数据集
# Download all files of a dataset
# Signature: dataset_download_files(dataset, path=None, force=False, quiet=True, unzip=False)
api.dataset_download_files('avenn98/world-of-warcraft-demographics')
# download single file
#Signature: dataset_download_file(dataset, file_name, path=None, force=False, quiet=True)
api.dataset_download_file('avenn98/world-of-warcraft-demographics','WoW Demographics.csv')
下载比赛文件
# Download all files for a competition
# Signature: competition_download_files(competition, path=None, force=False, quiet=True)
api.competition_download_files('titanic')
# Download single file for a competition
# Signature: competition_download_file(competition, file_name, path=None, force=False, quiet=False)
api.competition_download_file('titanic','gender_submission.csv')
提交比赛
# Signature: competition_submit(file_name, message, competition,quiet=False)
api.competition_submit('gender_submission.csv','API Submission','titanic')
检索排行榜
# Signature: competition_view_leaderboard(id, **kwargs)
leaderboard = api.competition_view_leaderboard('titanic')
