[[434541]]

Python的卓越靈活性和易用性使其成為最受歡迎的編程語(yǔ)言之一，尤其是對(duì)于數(shù)據(jù)處理和機(jī)器學(xué)習(xí)方面來(lái)說(shuō)，其強(qiáng)大的數(shù)據(jù)處理庫(kù)和算法庫(kù)使得python成為入門(mén)數(shù)據(jù)科學(xué)的首選語(yǔ)言。在日常使用中，CSV，JSON和XML三種數(shù)據(jù)格式占據(jù)主導(dǎo)地位。下面我將針對(duì)三種數(shù)據(jù)格式來(lái)分享其快速處理的方法。

CSV數(shù)據(jù)

CSV是存儲(chǔ)數(shù)據(jù)的最常用方法。在Kaggle比賽的大部分?jǐn)?shù)據(jù)都是以這種方式存儲(chǔ)的。我們可以使用內(nèi)置的Python csv庫(kù)來(lái)讀取和寫(xiě)入CSV。通常，我們會(huì)將數(shù)據(jù)讀入列表列表。

看看下面的代碼。當(dāng)我們運(yùn)行csv.reader()所有CSV數(shù)據(jù)變得可訪問(wèn)時(shí)。該csvreader.next()函數(shù)從CSV中讀取一行; 每次調(diào)用它，它都會(huì)移動(dòng)到下一行。我們也可以使用for循環(huán)遍歷csv的每一行for row in csvreader 。確保每行中的列數(shù)相同，否則，在處理列表列表時(shí)，最終可能會(huì)遇到一些錯(cuò)誤。 

import csv   
filename = "my_data.csv"  
fields = []   
rows = []     
# Reading csv file   
with open(filename, 'r') as csvfile:  
    # Creating a csv reader object   
    csvcsvreader = csv.reader(csvfile)   
    # Extracting field names in the first row   
    fields = csvreader.next()   
    # Extracting each data row one by one   
    for row in csvreader:   
        rows.append(row)    
# Printing out the first 5 rows   
for row in rows[:5]:   
    print(row) 

在Python中寫(xiě)入CSV同樣容易。在單個(gè)列表中設(shè)置字段名稱(chēng)，并在列表列表中設(shè)置數(shù)據(jù)。這次我們將創(chuàng)建一個(gè)writer()對(duì)象并使用它將我們的數(shù)據(jù)寫(xiě)入文件，與讀取時(shí)的方法基本一樣。 

import csv   
# Field names   
fields = ['Name', 'Goals', 'Assists', 'Shots']   
# Rows of data in the csv file   
rows = [ ['Emily', '12', '18', '112'],  
         ['Katie', '8', '24', '96'],   
         ['John', '16', '9', '101'],   
         ['Mike', '3', '14', '82']]  
filename = "soccer.csv"  
# Writing to csv file   
with open(filename, 'w+') as csvfile:   
    # Creating a csv writer object   
    csvcsvwriter = csv.writer(csvfile)   
    # Writing the fields   
    csvwriter.writerow(fields)  
    # Writing the data rows   
    csvwriter.writerows(rows) 

我們可以使用Pandas將CSV轉(zhuǎn)換為快速單行的字典列表。將數(shù)據(jù)格式化為字典列表后，我們將使用該dicttoxml庫(kù)將其轉(zhuǎn)換為XML格式。我們還將其保存為JSON文件！ 

import pandas as pd  
from dicttoxml import dicttoxml  
import json  
# Building our dataframe  
data = {'Name': ['Emily', 'Katie', 'John', 'Mike'],  
        'Goals': [12, 8, 16, 3],  
        'Assists': [18, 24, 9, 14],  
        'Shots': [112, 96, 101, 82]  
        }  
df = pd.DataFrame(data, columns=data.keys())  
# Converting the dataframe to a dictionary  
# Then save it to file  
data_dict = df.to_dict(orient="records")  
with open('output.json', "w+") as f:  
    json.dump(data_dict, f, indent=4)  
# Converting the dataframe to XML  
# Then save it to file  
xml_data = dicttoxml(data_dict).decode()  
with open("output.xml", "w+") as f:  
    f.write(xml_data) 

JSON數(shù)據(jù)

JSON提供了一種簡(jiǎn)潔且易于閱讀的格式，它保持了字典式結(jié)構(gòu)。就像CSV一樣，Python有一個(gè)內(nèi)置的JSON模塊，使閱讀和寫(xiě)作變得非常簡(jiǎn)單！我們以字典的形式讀取CSV時(shí)，然后我們將該字典格式數(shù)據(jù)寫(xiě)入文件。 

import json  
import pandas as pd  
# Read the data from file  
# We now have a Python dictionary  
with open('data.json') as f: 
   data_listofdict = json.load(f)  
# We can do the same thing with pandas  
data_df = pd.read_json('data.json', orient='records')  
# We can write a dictionary to JSON like so  
# Use 'indent' and 'sort_keys' to make the JSON 
# file look nice  
with open('new_data.json', 'w+') as json_file:  
    json.dump(data_listofdict, json_file, indent=4, sort_keys=True)  
# And again the same thing with pandas  
export = data_df.to_json('new_data.json', orient='records') 

正如我們之前看到的，一旦我們獲得了數(shù)據(jù)，就可以通過(guò)pandas或使用內(nèi)置的Python CSV模塊輕松轉(zhuǎn)換為CSV。轉(zhuǎn)換為XML時(shí)，可以使用dicttoxml庫(kù)。具體代碼如下： 

import json  
import pandas as pd  
import csv  
# Read the data from file  
# We now have a Python dictionary  
with open('data.json') as f:  
    data_listofdict = json.load(f)  
# Writing a list of dicts to CSV  
keys = data_listofdict[0].keys()  
with open('saved_data.csv', 'wb') as output_file:  
    dict_writer = csv.DictWriter(output_file, keys)  
    dict_writer.writeheader()  
    dict_writer.writerows(data_listofdict) 

XML數(shù)據(jù)

XML與CSV和JSON有點(diǎn)不同。CSV和JSON由于其既簡(jiǎn)單又快速，可以方便人們進(jìn)行閱讀，編寫(xiě)和解釋。而XML占用更多的內(nèi)存空間，傳送和儲(chǔ)存需要更大的帶寬，更多存儲(chǔ)空間和更久的運(yùn)行時(shí)間。但是XML也有一些基于JSON和CSV的額外功能：您可以使用命名空間來(lái)構(gòu)建和共享結(jié)構(gòu)標(biāo)準(zhǔn)，更好地傳承，以及使用XML、DTD等數(shù)據(jù)表示的行業(yè)標(biāo)準(zhǔn)化方法。

要讀入XML數(shù)據(jù)，我們將使用Python的內(nèi)置XML模塊和子模ElementTree。我們可以使用xmltodict庫(kù)將ElementTree對(duì)象轉(zhuǎn)換為字典。一旦我們有了字典，我們就可以轉(zhuǎn)換為CSV，JSON或Pandas Dataframe！具體代碼如下： 

import xml.etree.ElementTree as ET  
import xmltodict  
import json  
tree = ET.parse('output.xml')  
xml_data = tree.getroot()  
xmlstr = ET.tostring(xml_data, encoding='utf8', method='xml') 
data_dict = dict(xmltodict.parse(xmlstr))  
print(data_dict)  
with open('new_data_2.json', 'w+') as json_file: 
     json.dump(data_dict, json_file, indent=4, sort_keys=True)