Skip to main content
 首页 » 编程设计

python之Kaggle API *在* python 中的文档

2024年11月24日12lidabo

我想编写一个 python 脚本,从 Kaggle.com 下载一个公共(public)数据集。

Kaggle API 是用 python 编写的,但我能找到的几乎所有文档和资源都是关于如何在命令行中使用 API 的,关于如何使用 kaggle 的很少python 中的库。

一些用户似乎知道如何做到这一点,例如参见several answers to this question ,但提示不足以解决我的具体问题。

也就是说,我有一个如下所示的脚本:

from kaggle.api.kaggle_api_extended import KaggleApi 
 
api = KaggleApi('content of my json metadata file') 
 
file = api.datasets_download_file( 
    owner_slug='the-owner-slug', 
    dataset_slug='the-dataset-slug', 
    file_name='the-file-name.csv', 
) 

我是通过查看方法的签名得出这个结论的:
api.datasets_download_file(owner_slug, dataset_slug, file_name, **kwargs)

我收到以下错误:

UnicodeDecodeError: 'utf-8' 编解码器无法解码位置 12 中的字节 0xa1:无效的起始字节

除了这个特定问题的解决方案之外,我真的很高兴知道如何使用 Kaggle 库解决错误,而不是检查代码本身。事实上,也许这个问题与 utf-encoding 无关,但我不知道如何解决这个问题。如果只是文件名错误,或者像这样愚蠢的事情怎么办?

csv 文件没什么特别的:三列,第一列是时间戳,另外两列是整数。

请您参考如下方法:

我发布了一个 blog post这解释了竞争、数据集和内核交互的大多数常见用例。

以下是在 Python 中使用 Kaggle API 所涉及的步骤。

设置 API key

转到您的 Kaggle 帐户选项卡 https://www.kaggle.com/<username>/account 然后点击“创建 API token ”。将下载名为 kaggle.json 的文件。将此文件移至 Mac 和 Linux 中的 ~/.kaggle/文件夹或 Windows 中的 C:\Users .kaggle\。

或者,您可以使用 kaggle.json 中的值填充 KAGGLE_USERNAME 和 KAGGLE_KEY 环境变量,以使 API 进行身份验证。

使用 API 服务器进行身份验证

from kaggle.api.kaggle_api_extended import KaggleApi 
api = KaggleApi() 
api.authenticate() 

下载数据集

# Download all files of a dataset 
# Signature: dataset_download_files(dataset, path=None, force=False, quiet=True, unzip=False) 
api.dataset_download_files('avenn98/world-of-warcraft-demographics') 
 
# download single file 
#Signature: dataset_download_file(dataset, file_name, path=None, force=False, quiet=True) 
api.dataset_download_file('avenn98/world-of-warcraft-demographics','WoW Demographics.csv') 

下载比赛文件

# Download all files for a competition 
# Signature: competition_download_files(competition, path=None, force=False, quiet=True) 
api.competition_download_files('titanic') 
 
# Download single file for a competition 
# Signature: competition_download_file(competition, file_name, path=None, force=False, quiet=False) 
api.competition_download_file('titanic','gender_submission.csv') 

提交比赛

# Signature: competition_submit(file_name, message, competition,quiet=False) 
api.competition_submit('gender_submission.csv','API Submission','titanic') 

检索排行榜

# Signature: competition_view_leaderboard(id, **kwargs) 
leaderboard = api.competition_view_leaderboard('titanic')