相比之下，用戶要操縱門戶網(wǎng)站費(fèi)時(shí)費(fèi)力，因?yàn)楦信d趣的數(shù)據(jù)集沒有簡(jiǎn)單直觀的API或下載鏈接，必須跳轉(zhuǎn)多個(gè)頁(yè)面才能轉(zhuǎn)到目標(biāo)數(shù)據(jù)所在的原始頁(yè)面。此外，如果你對(duì)特定類型的機(jī)器學(xué)習(xí)任務(wù)（例如回歸或分類）感興趣并且想要下載與該任務(wù)相對(duì)應(yīng)的所有數(shù)據(jù)集，很難通過簡(jiǎn)單的命令實(shí)現(xiàn)。

我很高興能為UCI ML網(wǎng)站引入一個(gè)簡(jiǎn)單直觀的API，用戶可以輕松查找數(shù)據(jù)集描述，搜索他們感興趣的特定數(shù)據(jù)集，甚至可以按大小或機(jī)器學(xué)習(xí)任務(wù)分類下載數(shù)據(jù)集。

從此處下載

這是一個(gè)由MIT授權(quán)的Python 3.6開源代碼庫(kù)，它提供了函數(shù)和方法，以便用戶通過交互方式使用UCI ML數(shù)據(jù)集。以下Github頁(yè)面可以下載/復(fù)制/分離代碼庫(kù)。

附Github：

https://github.com/tirthajyoti/UCI-ML-API

所需要的包

運(yùn)行此代碼只需要以下三個(gè)廣泛使用的Python包。為了便于安裝這些支持包，setup.bash和setup.bat文件包含在我的repo中。只需在Linux / Windows shell中運(yùn)行即可！

• Pandas
• Beautifulsoup 4
• Requests

如何運(yùn)行？

首先，確保你已連接到網(wǎng)絡(luò)！然后，只需下載/克隆Github中的repo，確保安裝了以上包。

git clone https://github.com/tirthajyoti/UCI-ML-API.git

{your_local_directory}

然后轉(zhuǎn)到已克隆Git的your_local_directory并在終端上運(yùn)行以下命令。

python Main.py

隨后將打開一個(gè)菜單，允許你執(zhí)行各種任務(wù)。菜單的屏幕截圖如下：

目前支持的特征和函數(shù)

以下是目前應(yīng)用的特征（即上圖中1-9）

1. 抓取整個(gè)網(wǎng)站以構(gòu)建本地?cái)?shù)據(jù)庫(kù)，其中包括數(shù)據(jù)集名稱，描述和URL。

2. 抓取整個(gè)網(wǎng)站以構(gòu)建本地?cái)?shù)據(jù)庫(kù)，其中包括數(shù)據(jù)集名稱，大小和機(jī)器學(xué)習(xí)任務(wù)。

3. 搜索并下載特定數(shù)據(jù)集。

4. 下載前幾個(gè)數(shù)據(jù)集。

5. 顯示所有數(shù)據(jù)集的名稱。

6. 顯示所有數(shù)據(jù)集的簡(jiǎn)要描述。

7. 搜索數(shù)據(jù)集的單行描述和網(wǎng)頁(yè)鏈接（了解更多信息）。

8. 根據(jù)數(shù)據(jù)集大小下載數(shù)據(jù)集。

9. 根據(jù)與之關(guān)聯(lián)的機(jī)器學(xué)習(xí)任務(wù)下載數(shù)據(jù)集。

案例（搜索并下載某個(gè)數(shù)據(jù)集）

例如，如果要下載著名的Iris數(shù)據(jù)集，只需從菜單中選擇選項(xiàng)3，輸入存儲(chǔ)的本地?cái)?shù)據(jù)庫(kù)的名稱（以便搜索更迅速）。 就可以下載Iris數(shù)據(jù)集并將其存儲(chǔ)在名為“Iris”的文件夾中！

案例（搜索包含關(guān)鍵詞的數(shù)據(jù)集）

如果選擇選項(xiàng)7，將使用關(guān)鍵字進(jìn)行搜索，得到名稱與搜索字符串匹配的所有數(shù)據(jù)集（甚至部分）的簡(jiǎn)短摘要。你還可以獲得每個(gè)結(jié)果的網(wǎng)頁(yè)鏈接，以便根據(jù)需要進(jìn)一步探索數(shù)據(jù)。 下面的屏幕截圖是使用關(guān)鍵詞Cancer進(jìn)行搜索的結(jié)果。

如果你想另辟蹊徑

如果你想避開這個(gè)簡(jiǎn)單的用戶API，而使用基礎(chǔ)函數(shù)，也是可行的。

大致流程如下，首先導(dǎo)入必要的包。

from UCI_ML_Functions import *import pandas as pd

read_dataset_table()：從url讀取數(shù)據(jù)集并進(jìn)一步處理以便后續(xù)的數(shù)據(jù)清洗和分類。

url：

https://archive.ics.uci.edu/ml/datasets.html

clean_dataset_table()：清洗原始數(shù)據(jù)集（數(shù)據(jù)框?qū)ο螅―ataFrame））并返回?cái)?shù)據(jù)。處理后的數(shù)據(jù)刪除了包含空缺值的觀測(cè)。并且刪除了“默認(rèn)任務(wù)”列，該列用來(lái)顯示與數(shù)據(jù)集關(guān)聯(lián)的主機(jī)學(xué)習(xí)任務(wù)。

build_local_table(filename=None, msg_flag=True)：讀取UCI ML網(wǎng)站并使用名稱，大小，ML任務(wù)，數(shù)據(jù)類型等信息構(gòu)建本地表。

• filename :用戶可以選擇的文件名。如果未選擇，則選擇默認(rèn)名稱（’UCI table.csv’）
• msg_flag：控制信息復(fù)雜度（verbosity）

build_dataset_list()：抓取UCI ML數(shù)據(jù)集頁(yè)面的信息，并構(gòu)建包含所有數(shù)據(jù)集信息的列表。

build_dataset_dictionary()：抓取UCI ML數(shù)據(jù)集頁(yè)面的信息，并構(gòu)建包含所有數(shù)據(jù)集名稱和描述的字典(dictionary)。此外，還對(duì)應(yīng)數(shù)據(jù)集生成了唯一標(biāo)識(shí)符，下載器需要這個(gè)標(biāo)識(shí)符字符串來(lái)下載數(shù)據(jù)文件。這種情況下，通用名稱不起作用。

build_full_dataframe()：構(gòu)建一個(gè)包含所有信息的數(shù)據(jù)框（DataFrame），包括用于下載數(shù)據(jù)的URL鏈接。

build_local_database(filename=None, msg_flag=True)：讀取UCI ML網(wǎng)站并使用以下信息構(gòu)建本地?cái)?shù)據(jù)庫(kù)：name，abstract，data page URL。

• filename：可由用戶選擇的文件名。如果未選擇，程序?qū)⑦x擇默認(rèn)名稱（’UCI database.csv’）
• msg_flag：控制信息復(fù)雜度（verbosity）

return_abstract(name,local_database=None,msg_flag=False)：通過搜索給定的名稱，返回特定數(shù)據(jù)集的單行描述（以及更多信息的網(wǎng)頁(yè)鏈接）。

• local_database：本地存儲(chǔ)的數(shù)據(jù)庫(kù)名稱（CSV文件），即在同一目錄中，其中包含有關(guān)UCI ML repo上所有數(shù)據(jù)集的信息
• msg_flag：控制信息復(fù)雜度（verbosity）

describe_all_dataset(msg_flag=False)：調(diào)用build_dataset_dictionary函數(shù)并顯示所有數(shù)據(jù)集的描述。

print_all_datasets_names(msg_flag=False)：調(diào)用build_dataset_dictionary函數(shù)并顯示所有數(shù)據(jù)集的名稱。

extract_url_dataset(dataset,msg_flag=False)：給定數(shù)據(jù)集標(biāo)識(shí)符，此函數(shù)提取實(shí)際原始數(shù)據(jù)所在頁(yè)面的URL。

download_dataset_url(url,directory,msg_flag=False,download_flag=True)：從給定url中的鏈接下載所有文件。

• msg_flag：控制信息復(fù)雜度（verbosity）
• download_flag：默認(rèn)為True。如果設(shè)置為False，則僅創(chuàng)建目錄但不下載（用于測(cè)試目的）

download_datasets(num=10,local_database=None,msg_flag=True,download_flag=True)：下載數(shù)據(jù)集并將它們放在以數(shù)據(jù)集命名的本地目錄中。默認(rèn)情況下，僅下載前10個(gè)數(shù)據(jù)集。用戶可以選擇要下載的數(shù)據(jù)集數(shù)量。

• msg_flag：控制信息復(fù)雜度（verbosity）
• download_flag：默認(rèn)為True。如果設(shè)置為False，則僅創(chuàng)建目錄但不啟動(dòng)下載（用于測(cè)試目的）

download_dataset_name(name,local_database=None,msg_flag=True,download_flag=True)：根據(jù)下載指定名稱的數(shù)據(jù)集。

• local_database：本地存儲(chǔ)的數(shù)據(jù)庫(kù)名稱（CSV文件），即在同一目錄中包含有關(guān)UCI ML存儲(chǔ)庫(kù)中所有數(shù)據(jù)集的名稱和URL信息
• msg_flag：控制信息復(fù)雜度（verbosity）
• download_flag：默認(rèn)為True。如果設(shè)置為False，則僅創(chuàng)建目錄但不啟動(dòng)下載（用于測(cè)試目的）

download_datasets_size(size=’Small’,local_database=None,local_table=None,msg_flag=False,download_flag=True)：下載滿足’size’標(biāo)準(zhǔn)的所有數(shù)據(jù)集。

• size：用戶想要下載的數(shù)據(jù)集的大小。取值可以是以下任何一種：‘Small’, ‘Medium’, ‘Large’, ’Extra Large’。
• local_database：本地存儲(chǔ)的數(shù)據(jù)庫(kù)名稱（CSV文件），即在同一目錄中包含有關(guān)UCI ML存儲(chǔ)庫(kù)中所有數(shù)據(jù)集的名稱和URL信息。
• local_table：本地存儲(chǔ)的數(shù)據(jù)庫(kù)名稱（CSV文件），即在同一目錄中包含關(guān)于UCI ML repo上所有數(shù)據(jù)集的特征信息，即樣本數(shù)量以及數(shù)據(jù)集執(zhí)行的機(jī)器學(xué)習(xí)任務(wù)類型。
• msg_flag：控制信息復(fù)雜度（verbosity）。
• download_flag：默認(rèn)值為True。如果設(shè)置為False，則僅創(chuàng)建目錄而不下載（用于測(cè)試目的）。

download_datasets_task(task=’Classification’,local_database=None,local_table=None,msg_flag=False,download_flag=True)：下載用戶想要的所有符合ML任務(wù)標(biāo)準(zhǔn)的數(shù)據(jù)集。

• task：用戶想要下載數(shù)據(jù)集的機(jī)器學(xué)習(xí)任務(wù)。task取值可以是以下任何一種：’Classification’, ‘Recommender Systems’, ‘Regression’, ‘Other/Unknown’, ‘Clustering’, ‘Causal Discovery’
• local_database：本地存儲(chǔ)的數(shù)據(jù)庫(kù)名稱（CSV文件），即在同一目錄中包含有關(guān)UCI ML存儲(chǔ)庫(kù)中所有數(shù)據(jù)集的名稱和URL信息
• local_table：本地存儲(chǔ)的數(shù)據(jù)庫(kù)名稱（CSV文件），即在同一目錄中包含關(guān)于UCI ML repo上所有數(shù)據(jù)集的特征信息，即樣本數(shù)量以及數(shù)據(jù)集執(zhí)行的機(jī)器學(xué)習(xí)任務(wù)類型
• msg_flag：控制信息復(fù)雜度（verbosity）
• download_flag：默認(rèn)值為True。如果設(shè)置為False，則僅創(chuàng)建目錄而不下載（用于測(cè)試目的）

原文標(biāo)題：

Introducing a simple and intuitive Python API for UCI machine learning repository

原文鏈接：

https://www.codementor.io/tirthajyotisarkar/introducing-a-simple-and-intuitive-python-api-for-uci-machine-learning-repository-p8dfargnt

本文章轉(zhuǎn)載微信公眾號(hào)@數(shù)據(jù)派THU

#你可能也喜歡這些API文章!

企業(yè)工商數(shù)據(jù)API用哪種？

2024年創(chuàng)建社交媒體帖子的最佳圖像工具API

2024年小型企業(yè)的7個(gè)最佳短信應(yīng)用API

用gin寫簡(jiǎn)單的crud后端API接口

最新LangChain+GLM4開發(fā)AI應(yīng)用程序系列（一）：快速入門篇

深度解析：臨床試驗(yàn)數(shù)據(jù)庫(kù)CT.gov與API接口指南

2024年您產(chǎn)品必備的10大AI API推薦

GraphRAG：基于PolarDB+通義千問api+LangChain的知識(shí)圖譜定制實(shí)踐

使用Node.js、Express和MySQL構(gòu)建REST API