[[130302]]

存儲—-塊設備，文件系統，集群文件系統，分布式文件系統，光纖SCSI，iSCSI，RAID等。

網絡—-以太網，光纖網，蜂窩網絡，WIFI，VLAN等。

計算機體系結構，主要就是CPU指令集。x86,ARM等。

USB協議。需要知道URB包。

PCI協議，PCI-E協議?，F代計算機的外設都是PCI協議和PCI-E協議的。顯卡現在全是通過 PCI-E協議連接到計算機上的。相對來說減少了很多需要學習的知識。搞虛擬化就需要深入掌握PCI協議。

圖像處理–圖像壓縮，視頻實時編碼等。

3D游戲

關系數據庫

NoSQL數據庫

操作系統

分布式操作系統

編譯原理

機器學習–現在大數據要用哦！

了解這些領域知識，也包括了解該領域現有的商用硬件、商用軟件和開源軟件。很多時候，你要完成的工作，已經有現成的工具了。你只要使用現成的工具就可以完成任務，不需要進行開發。有時候，只需要組合現有的工具，寫一些腳本就可以完成任務。

如，我一次要實現一個雙向同步任務。找到了一個優秀的開源軟件Unison，編寫一下配置文件就圓滿地完成了任務。不需要編寫任何代碼。

還有一次，要做高可用，用Python調用了幾個開源軟件就輕松實現了。

編寫安裝程序，定制操作系統，知道了操作系統的領域知識，寫幾行腳本就可以輕松搞定。

不具備領域知識的人，就可能不得不進行大量無謂的開發，甚至開發很久之后才發現，這根本就是一條死路。

另外，扎實的領域知識，可以大大提高編程調試、查錯的能力。知道編譯器和編程語言運行時工作原理，就能快速根據編譯錯誤和警告信息修改代碼。

知道操作系統底層運行機制，就能快速找到運行時錯誤的問題根源。如，有一次我編寫一個windows升級服務程序。它是一個windows服務，需要執行dos腳本，這個腳本會替換掉這個windows服務本身。發現有時腳本執行無效，查了一晚上，發現當windows服務安裝后，***次啟動就執行腳本時就會有權限問題，log都正確，但實際執行這個腳本沒有任何效果。但一旦windows服務程序啟動一次之后就ok。這必然是windows操作系統底層安全機制的問題，因為我對Windows內核了解不多，因此花了很長時間才發現這個問題，并對造成這個問題的根源并不清楚。

0段—領域知識菜鳥

對領域知識沒有多少認知，通過搜索引擎找到一些該領域的軟件和硬件的介紹性文章，按照文章指示配置和使用軟件。勉強能夠使用現有軟硬件。

1段—領域知識行家

了解領域內常用硬件，深入掌握領域內常用軟件的配置和使用技巧。能夠使用現有軟硬件熟練搭建解決方案，能夠解決實際工作中遇到的種種問題。

2段—領域知識專家

當你不僅僅掌握了該領域的軟件和工具，知道怎么用，還知道其原理，“知其然，也知其所以然”，就是該領域的知識專家了。

你知道網絡協議的原理，你才能在網絡出現問題時知道是哪里可能出現了問題。是mac沖突，ip沖突，還是網絡環路？

你知道存儲的原理，你才能知道為什么這種存儲方式不適合虛擬化，那種存儲方式適合虛擬化，另一種方式適合資料備份。

你知道PCI協議，你才能知道你怎樣才能虛擬化一個硬件設備。

你知道網卡硬件協議，你才能模擬出一個虛擬機能正常使用的虛擬網卡。

你知道視頻編碼格式和原理，才能知道什么視頻格式占用帶寬最少，什么視頻格式占用CPU最少。

你了解IntelVT/Amd V指令集，才能知道虛擬化是怎樣實現的。

你明白工作流其實就是狀態機，在遇到復雜工作流程時，你才能知道怎樣設計滿足要求的工作流引擎。

3段—科學家

你是領域知識專家，但你的知識都是來自于書本，來自于其他人的。

如果你滿足于當領域知識專家，你只能拾人牙慧，永遠別想超越。別人的研究成果，未必愿意告訴你。當別人告訴你的時候，它可能已經發現了更新的理論，并且新一代產品可能馬上就要發布了。

科學家是探索未知，勇于創新的人，是推動人類社會進步的人。

傳說，思科的一位高管曾經半開玩笑地說過：“如果思科停止了新技術的研發，華為就會找不著方向”。這是在嘲笑華為只是處在領域知識專家的水平，只能山寨無法超越。我不知道華為的實際情況，但希望現在的華為已經走到了領跑者的位置。

歐文·雅各布斯發現了CDMA碼分多址的原理，并發現它在通訊上大有可為，組建了高通公司。高通公司主要以專利授權費為生，它雇傭了大量科學家在通訊領域展開研究。有人說高通是專利流氓。這些人不明白知識的價值。在他們眼里，Windows的合理價格就應該是5元錢，一張光盤的價格。iPhone就應該是1000多元裸機的價格。高通是專利流氓，那你也流氓一個CDMA，LTE出來給我看看！

X86芯片在設計上沒有考慮虛擬化。因此會有所謂的“虛擬化漏洞”出現。就是說，一些CPU特權指令執行時，在虛擬機環境下不會拋出異常，因此就無法切換到Host。這樣，X86芯片上就無法運行虛擬機。

VmWare公司是由美國的幾位科學家在1998年創建的。他們發現可以使用二進制翻譯的技術，在X86計算機上運行虛擬機。

Xen虛擬化軟件也是幾位科學家發明的。他們發現只要修改虛擬機操作系統和Host操作系統的內核，在需要執行“虛擬化漏洞”指令時直接調用Host的功能，就可以實現虛擬化，而且大大提高了虛擬機的運行性能。

后來，Intel為自己的芯片添加了IntelVT指令集，Amd為自己的芯片添加了AmdV指令集，彌補了“虛擬化漏洞”。于是就有了KVM虛擬機軟件，它直接用CPU硬件指令實現虛擬化。

KVM在執行CPU指令時，是直接在物理CPU上運行的，因此效率極高。但是，虛擬機運行虛擬外設時，就必須用軟件模擬，因此虛擬機的IO訪問速度很慢。

IBM科學家RustyRussell，借鑒了Xen的研發經驗，創建了VirtIO技術。就是在虛擬機中編寫一套PCI虛擬設備和驅動，這套虛擬PCI設備有一塊虛擬設備內存。這個虛擬設備內存Host是可以訪問的，虛擬機通過VirtIO驅動程序也可以訪問。也就是一塊內存在虛擬機和Host中共享，這就解決了虛擬機的IO性能問題。

再講一個搜索引擎的故事：

很久以前，我要給一個程序添加搜索功能。剛開始使用sql查詢實現，發現實在太慢了。后來找了開源的Lucene項目。它使用反向索引技術，通過在文件中創建反向索引，大大提高了搜索速度。

Google的兩位創始人發現了html中link的秘密，他們發現可以通過html頁面的link關系來為每一個html頁面設置權重。也就是PageRank算法。于是，Google的自動搜索引擎擊敗了Yahoo人工分類的搜索引擎。

OK，利用反向索引技術和PageRank，以及一個簡單的html爬蟲機器人，我們就可以創建一個搜索引擎了。但是，互聯網很大，每天產生大量新網頁，要為整個互聯網建立反向索引是很困難的。

若干年后Google又公開了三篇論文：Googlefs、Mapreduce、Bigtable。于是Lucene項目的開發者根據Google的Mapreduce論文開發了Hadoop項目。MapReduce就是使用大量計算機存儲數據并計算，***匯總結果。使用Hadoop+反向索引+PageRank，就可以創建搜索引擎了。Yahoo,Baidu等公司紛紛基于Hadoop開發了自己的搜索引擎。

但是，其他公司的搜索引擎效果還是沒法和Google相比。這一點我們程序員最清楚。像我，就總是翻薔出去，只為了Google一下。

Google黑板報上發表了吳軍博士的一些文章，其中介紹了很多機器學習方面的知識。從文中可以知道，Google其實使用機器學習來分析搜集到的頁面。Google明顯不會把這個公式公開出來。即使有一天Google真的公開了這個公式，那么可以想見Google肯定又研發出了更加犀利的秘籍，山寨貨的搜索引擎效果還是比不上Google的。

山寨是通向創新的必由之路。在成為領域的領頭羊和***之前，必然要經過學習，模仿的階段。但要成為行業的老大，成為Champion，必須勇于彎道超車，勇敢地走上創新之路，成為真正的科學家，真正的大牛！

總結

編程能力可分為兩個維度：一個是編程技能水平，另一個是領域知識水平。

有些程序員可能把精力都花在提升編程技能上了，領域知識知之甚少，這其實在日常工作中也是極其有害的。有些需求可能早已經有了現成、開源免費的解決方案，或者只需要組合幾個現有軟件就可以快速搞定，而他們卻不得不自己花大量時間去開發。另外，缺少領域知識，在程序出現非預期狀況時，很難快速定位到問題的根源，很難解決bug。