聊聊中間件開發
本文轉載自微信公眾號「Kirito的技術分享」，作者kiritomoe。轉載本文請聯系Kirito的技術分享公眾號。
最近頻繁地在跟實習生候選人打交道，每次新接觸一個候選人，都要花上一定的時間去介紹我們團隊，候選人問的最多的一個問題就是「中間件部門一般是干嘛的?」，恰好我之前也接觸過一些想從事中間件開發的小伙伴，問過我「現在轉行做中間件開發還來得及嗎?」諸如此類的問題，索性就寫一篇文章，聊聊我個人這些年做中間件開發的感受吧。
什么是中間件開發?
我大四實習時，在一個 20 多人的軟件開發團隊第一次接觸了中間件，當時項目的架構師引入了微博開源的 RPC 框架 Motan，借助于這個框架，我們迅速構建起了一個基于微服務架構的內部電商系統。接著在項目中，由于業務需求，我們又引入了 ActiveMQ...在這個階段，我已經在使用中間件了，但似乎沒有接觸到中間件開發，更多的是使用層面上的接觸。
我畢業后的第一份工作，公司有幾百號研發，當時的 leader 看我對中間件比較感興趣，有意把我分配在了基礎架構團隊，我第一次真正意義上成為了一名”中間件研發“，平時主要的工作，是基于開源的 Kong 和 Dubbo，進行一些內部的改造，以提供給業務團隊更好地使用。這個階段，做的事還是比較雜的，業務團隊對某些中間件有定制化的需求，都需要去了解這個中間件，熟悉源碼。這段時間，也是我成長最快的一個時期，我是在這個期間學會了 Docker、Neo4j、Kong 等以前從來沒接觸過的技術，并且更加深入地了解 Dubbo 這類 RPC 框架的原理。可能坐在我旁邊的就是一個訂單部門的同學，拋了一個功能點讓我來改造。
現在，我供職于阿里云云原生中間件，相較于上一份中間件研發工作，阿里云這類互聯網大公司，任意一個中間件都有少則數人，多則數十人負責，中間件部門和業務部門之間也有著明確的界限。在這里，中間件團隊的職責可以細分為三個方向：
- 中間件團隊會被業務團隊的需求所驅動，為集團內部提供定制化的解決方案，俗稱「自研」。所以你可能并不了解到 HSF、Diamond 這些阿里內部的中間件。
- 中間件團隊會從事開源，花費大量的精力提升中間件的極致性能，提升開源影響力，引領技術先進性。這部分中間件則比較為人所熟知，例如 Dubbo、Spring Cloud Alibaba、RocketMQ、Nacos。
- 中間件會在阿里云輸出商業化產品，相比開源產品，提供更高的 SLA、更強大的功能、更友好的交互。這部分商業化產品諸如：微服務引擎 MSE、消息隊列 RocketMQ、分布式應用鏈路追蹤 ARMS。
我的這三段經歷，正好反應了不同規模的公司對中間件開發的不同需求。小公司使用中間件，例如 RPC、MQ、緩存等，基本是由業務開發人員自己維護的。但如果后臺研發達到數百人，基本就會組建自己的中間件團隊，或者選擇使用阿里云等云廠商提供的中間件產品。
中間件開發和業務開發的區別
在我看來，中間件開發和業務開發并沒有什么高下之分，非要說區別的話，有點像游戲里面的不同轉職，有人選擇的是魔法師，有人選擇的是戰士。在職場的練級過程中，每個人的總技能點數是一樣的，業務開發有點向全能戰士的方向去發展，各個點都涉獵一點，但每個方向能夠分配到技能點自然就少了;中間件開發就像《因為太怕痛，就全點防御力了》里面的主角，把技能點都分配到了一個方向。
假設你是在一個小公司工作，現階段并沒有專門的中間件團隊，大家都是業務開發，此時我們做一個假設：公司即將成立一個中間件團隊或者叫基礎架構部，那么會是哪一類人容易被選中呢?一定是那些技術功底扎實，對中間件感興趣，研究過源碼的人。這個假設并非憑空捏造，很多互聯網公司的中間件團隊都是這么一點點壯大起來的。我想說什么呢?業務開發和中間件開發一開始并沒有明確的界限，因此，不用顧忌你現在是不是在從事業務開發，只要你對中間件感興趣，有過源碼級別的研究，就可以成為一個中間件開發。
中間件開發需要具備哪些素質?
越是大的公司，大的中間件團隊，責任分工就越垂直。基本在大公司，一個中間件開發可能花幾年時間在某一個垂直方向深耕。以下是一些常見的中間件方向，當然，這個分類在各個公司可能由于組織架構的原因，略有不同。
- 微服務治理。例如 RPC 相關中間件，注冊中心，配置中心，限流熔斷，鏈路追蹤等等。開源產品例如：Dubbo、SpringCloud、Nacos、Zookeeper、Sentinel、Hystrix、Zipkin。
- 消息隊列。微服務一般強調的同步通信，消息隊列單獨列出來，主要是因為其異步的機制。開源產品例如：RocketMQ、Kafka
- 存儲中間件。例如緩存，數據庫等等，例如 Mysql、Redis。值得一提的是，由于存儲相關的系統一般都非常復雜，特別是在分布式存儲領域，體系更是繁雜，在阿里內部一般將數據庫和緩存這種存儲類型的產品當成是和中間件平級的存在，所以如果有人說 Mysql 和 Redis 不是中間件，也沒有啥好爭吵的。
- 存儲 Proxy。典型的如 ShardingSphere。
- 網關。例如 Spring Cloud Gateway、Kong、Nginx。
- ServiceMesh。Envoy、Istio 在阿里這邊也被劃分在中間件部門。
其實可以發現，中間件其實并沒有一個明確的定義，到底哪些開源產品可以是中間件，哪些又不是。
列舉完這些典型的中間件，繼續討論這一節的主題，一個中間件開發者需要具備哪些素質?
語言基礎。從 Java 程序員的角度，基礎通常就是：集合，并發，JVM，常用工具類。
操作系統基礎。中間件開發人員經常和操作系統打交道，所以計算機基礎也必不可少，我列舉一些關鍵詞，供各位參考
- 文件 IO。例如 pageCache，mmap，direct IO 等概念。
- 進程線程。例如 green thread，協程等概念。
- 內存/CPU。例如 cgroup，cache line，bound core 等概念。
網絡基礎。可以發現上述的每一個中間件都離不開網絡通信，一定需要對 TCP 和 HTTP 的原理爛熟于心，框架層面需要熟悉 NIO、Netty、GRPC、HttpClient 等常用的網絡框架/工具。
分布式相關知識。了解 CAP， paxos，raft，zab，2pc/3pc，base 等理論知識，例如我看到有一些應屆生簡歷中的一個項目經歷就很有意思：根據 MIT 課程 Lab 實現 Raft 協議的 POC。
源碼閱讀能力。我認為源碼閱讀能力是一個中間件開發者必備的素質，網上經常能看到各種源碼分析文章，通過閱讀開源中間件的源碼，可以借鑒別人的設計理念，提升自身的編碼水準。
保持技術熱情，擁抱變化。中間件技術日新月異，可能一個打敗一個中間件的不是同類的產品，而是整體的大環境，例如近幾年云原生大火，所有中間件幾乎都在擁抱變化，主動向 K8s 對齊，在這個大背景下，就需要中間件開發者擁有 K8s 的基礎認知能力，熟悉 pod、service、deployment、statefulSet、operator 這些 K8s 的基本概念。
如何成為中間件開發
看完上述這些要求，可能會有一些同學開始咋舌了，但其實也沒那么可怕，這跟最早學習 Java 基礎是一樣的，很多東西一開始沒有接觸過，覺得很難，但熟悉之后會發現，也就那么回事。
我的技術交流群中經常會有同學抱怨說，平時只能接觸到 CRUD，根本接觸不到這些”高大上“的技術。我想說的是，機會都是自己找的。我這里有幾個切實可行的建議：
- 參與開源社區的項目，貢獻代碼。了解一個中間件最好的方式就是貢獻它，帶著問題有的放矢地研究源碼，是我比較推薦的方式，你所需要做的是尋找一個合適的 issue，解決它。不斷重復這個過程，你其實就是一個中間件開發了!
- 多動手做實驗。很多上面提到的中間件開發應用的素質都可以通過動手做實驗的方式來學習，例如動手實現一個簡易的 RPC 框架，實現一個 Raft 協議的 POC，通過 benchmark 對比 FileChannel 和 MMAP 的性能，相信我，這比看書、看視頻、看博客有用的多的多。
- 參與中間件挑戰賽。最早是阿里會舉辦一年一度的中間件性能挑戰賽，后來也有一些其他公司如華為開始效仿這類比賽，參與這些挑戰賽也可以積累非常多的經驗，同時你還可以借著組隊，結交非常多的朋友。
