Skip to main content
 首页 » 编程设计

python之如何从 Microsoft Azure 的 Jupyter Notebook 中的 Kaggle 读取文件

2024年11月24日8kevingrace

我正在使用 Microsoft Azure 中的 Jupyter Notebook。由于我无法在 Azure 中上传大文件,因此我需要从链接中读取它。我要读取的 csv 文件在 Kaggle 中。

我是这样做的:

!pip install kaggle 
 
import os 
 
os.environ['KAGGLE_USERNAME'] = "*********" 
 
os.environ['KAGGLE_KEY'] = "*********" 
 
import kaggle 

但我现在不知道如何读取文件。 在其他情况下,我使用 pandas 来读取文件: file = pd.read_csv("文件/链接") 然后我就可以清理和组织我的数据了。 但它在这种情况下不起作用。 你能帮帮我吗?

我希望能够像使用 pd.read_csv 一样读取和操作数据,因为我的数据科学项目需要它。 这是我希望能够使用的数据集:https://www.kaggle.com/START-UMD/gtd#globalterrorismdb_0718dist.csv

请您参考如下方法:

Kaggle 已经为其命令行 API 提供了大量文档 here ,它是使用 Python 构建的,可以找到源代码 here所以逆向工程是非常直接的,以便以 Python 方式使用 Kaggle API。

假设您已经将用户名和 key 导出为环境变量

import os 
os.environ['KAGGLE_USERNAME'] = '<kaggle-user-name>' 
os.environ['KAGGLE_KEY'] = '<kaggle-key>' 
os.environ['KAGGLE_PROXY'] = '<proxy-address>' ## skip this step if you are not working behind a firewall 

或者 您已从 Kaggle 帐户页面的 API 部分成功下载 kaggle.json 并将此 JSON 复制到 ~/.kaggle/ 即系统中的 Kaggle 配置目录。

然后,您可以在 Jupyter notebook 中使用以下代码将此数据集加载到 pandas 数据帧:

  1. 导入库
import kaggle as kg 
import pandas as pd 
 
  1. 将数据集下载到本地
kg.api.authenticate() 
kg.api.dataset_download_files(dataset="START-UMD/gtd", path='gt.zip', unzip=True) 
  1. 读取下载的数据集
df = pd.read_csv('gt.zip/globalterrorismdb_0718dist.csv', encoding='ISO-8859-1')