2021年P(guān)ython十佳ML庫大盤點，國產(chǎn)選手GitHub半年獲5k+star

作者：函擎 2021-12-28 11:06:22

2021年里AI飛速發(fā)展，優(yōu)秀算法層出不窮，令我們大開眼界。而真正要將這些算法實現(xiàn)，一定少不了Python這個主流機器學習語言的加持。

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

2021年里AI飛速發(fā)展，優(yōu)秀算法層出不窮，令我們大開眼界。

而真正要將這些算法實現(xiàn)，一定少不了Python這個主流機器學習語言的加持。

今年各大公司和研究小組都推出了一系列方便使用的高性能開源庫，其中還不乏一些國產(chǎn)的優(yōu)秀作品。

在這里將盤點出最佳的10名，致力于幫你解決各種問題。

如果你還在為模型訓練中的“雜務(wù)”頭疼，那就快來看看吧。

1. Awkward Array

根據(jù)官方介紹，Awkward Array用于嵌套的、大小不一的數(shù)據(jù)，包括任意長度的列表、記錄、混合的類型和缺失數(shù)據(jù)，使用起來類似NumPy。

看起來像是升級版的NumPy呀。

果然，不同長度的數(shù)組可以直接放在一起運算。

并且，官方表示Awkward Array不僅使用起來更簡便，在速度和內(nèi)存上也有量級的優(yōu)勢。

看看是不是可以安排上了～

https://pypi.org/project/awkward/

2. Jupytext

相信大家對Jupyter Notebook都不陌生。

當你有了Jupytext這個小插件就可以將Jupyter Notebook和IDE完美結(jié)合，聽起來是不是很棒！

從此Jupyter Notebook可以被存儲為Markdown文件或多種語言的腳本文件。

Jupytext可以做的事主要有：

在Python中使用的樣子：

此項目在Github上已有5k+star。

https://github.com/mwouts/jupytext

3. Gradio

比Streamlit還輕量的UI設(shè)計庫，Gradio讓你輕松在瀏覽器中“玩轉(zhuǎn)”你的模型，可以直接在瀏覽器中拖放圖片，粘貼文字，錄制聲音，等等。

只要將launch()函數(shù)中的參數(shù)設(shè)置為share=True，還能得到一個可分享的網(wǎng)址，拿到鏈接的朋友在電腦和手機端都能打開，活脫脫就是一個小程序。

時常需要做Demo的小伙伴快看起來吧，此項目在Github上已有4.5k+star。

https://github.com/gradio-app/gradio

4. Hub

這個Hub在數(shù)據(jù)管理和數(shù)據(jù)預(yù)處理上可是一把好手。

它可以處理任何類型，任何大小的數(shù)據(jù)，并且因為數(shù)據(jù)儲存在云端上，所以可以無縫在任何機器上訪問。

被壓縮為二進制字節(jié)的數(shù)據(jù)可以被存儲在任何地方，并且只有在需要的時候才會被獲取，所以沒有TB級硬盤也可以處理TB級數(shù)據(jù)。

Hub貼心地提供了重要API，支持數(shù)據(jù)在常用工具（PyTorch等）上的使用，數(shù)據(jù)版本控制，數(shù)據(jù)轉(zhuǎn)換等功能。

此項目在github上已有4.1k+star。

https://github.com/activeloopai/Hub

5. AugLy

AugLy是facebook最新推出的數(shù)據(jù)增強庫，同時支持語音，文本，圖像和視頻類型的數(shù)據(jù)，包含了100多種增強方式。

數(shù)據(jù)對于模型訓練至關(guān)重要，而標注大規(guī)模數(shù)據(jù)十分困難。由于人力資源，和模型特性的限制，數(shù)據(jù)增強的應(yīng)用越來越廣泛。

AugLy的優(yōu)點：

處理類型更為全面。其他的數(shù)據(jù)增強庫，例如Albumentations和NVIDIA DALI，主要負責圖像相關(guān)數(shù)據(jù)的處理，文字數(shù)據(jù)不支持。
處理方式十分人性化。AugLy可以將一張圖片做成備忘錄，在圖片/視頻上疊加文字/Emojis，轉(zhuǎn)發(fā)社交媒體上的截圖，還可以幫助你處理諸如拷貝檢測、仇恨言論檢測或版權(quán)侵權(quán)等問題。

此項目在Github上已有4.1k+star。

https://github.com/facebookresearch/AugLy

6. Evidently

Evidently是用來監(jiān)測模型效果的工具，可從Pandas DataFrame或csv文件中生成交互式可視化報告和JSON格式的效果簡介。在Jupyter Notebook中可以使用。