運維必備的DevOps工具鏈大盤點
本篇文章中將介紹一些能夠幫助你實現 DevOps 目標的核心技術類別和具體技術。
關于 DevOps 及其工具，需要記住：
-
持續改進是目標；
-
DevOps 不是花錢買來的；
-
分階段采用工具。
為什么計劃工具對于 DevOps 來說很重要？
-
分享目標；
-
透明性；
-
賦能。
GitLab 是一個基于 Web 的 DevOps 生命周期工具。它提供了一個 Git 倉庫管理器，具備 wiki、問題跟蹤和 CI/CD 管道功能，采用的是 GitLab 公司的開源許可。
Tasktop 允許將所有這些工具添加到敏捷、ALM、PPM 和 ITSM 中，實現了對整個生命周期前所未有的可見性。
VersionOne 支持 Scrum、看板、XP、SAFe 和混合開發方法，并使跨團隊、程序、軟件組合和企業的計劃、跟蹤和報告變得更容易。
敏捷項目管理工具，是開發人員圍繞高優先級共享 backlog 進行實時協作的首選工具。
Trello 是一個基于 Web 的看板風格的清單應用程序，是 Atlassian 的子公司。
很多團隊用它來計劃各自的工作 sprint。
使用敏捷工具，包括 Scrum、看板和其他敏捷方法儀表板來更好地跟蹤軟件項目并進行計劃。
這些都是可視化工作、分享計劃、跟蹤進展、確保朝著目標前進的好方法。
為什么問題跟蹤對 DevOps 來說很重要？
-
用戶響應；
-
減少知識損耗；
-
反饋閉環。
Jira 是由 Atlassian 公司開發的問題跟蹤產品，提供了 bug 跟蹤和敏捷項目管理功能。
YouTrack 是 JetBrains 公司開發的一款基于瀏覽器的 bug 跟蹤、問題跟蹤系統和項目管理軟件。它支持基于查詢的問題搜索——包括自動完成、批量處理問題、定制問題屬性集以及創建自定義工作流。
Zendesk 讓客戶問題跟蹤變得更簡單，包括優步和 Airbnb 在內的很多公司都使用 Zendesk 作為他們的問題跟蹤軟件。
為什么源碼控制對 DevOps 來說很重要？
-
資產管控；
-
減少傳輸損耗；
-
促進團隊合作。
Git 是一個分布式版本控制系統，用于在軟件開發期間跟蹤源代碼的變更。它是為協調程序員之間的工作而設計的，但它也可用于跟蹤文件的變更。它專注于速度、數據完整性和對分布式、非線性工作流的支持。
GitHub 提供了 Git 分布式版本控制和源代碼管理功能，以及自有的一些特性。
GitLab 的版本控制通過世界級的源代碼管理功能幫助你的開發團隊共享、協作和最大化他們的生產力。
Bitbucket 是 Atlassian 公司為使用 Mercurial 或 Git 版本控制系統的源代碼和開發項目提供的基于 Web 的版本控制代碼庫托管服務。
Apache Subversion 是一種軟件版本控制系統，采用了 Apache 開發源碼許可。軟件開發人員使用 Subversion 來維護文件的當前和歷史版本，例如源代碼、Web 頁面和文檔。
為什么構建工具對 DevOps 來說很重要？
-
一致的打包效果；
-
自動化錯誤探測；
-
盡早發現質量問題。
Maven 是一個主要用于 Java 項目的自動化構建工具。Maven 還可以用來構建和管理用 C#、Ruby、Scala 和其他語言開發的項目。
Gradle 是一個開源的自動化構建系統，基于 Apache Ant 和 Apache Maven 的概念，引入了一種基于 groovy 的領域特定語言。
Microsoft Build Engine，更廣為人知的名字是 MSBuild，是一個開源免費的托管代碼和原生 C++ 代碼構建工具集，是.Net Framework 的一部分。Visual Studio 就使用 MSBuild 作為構建工具。
Rake 是一個軟件任務管理和自動化構建工具。用戶可以指定任務和描述依賴關系，還可以對同一個命名空間中的組任務指定和描述依賴關系。
JFrog Artifactory 是一種用于保存構建過程所產生的用于發布和部署的二進制文件的工具。Artifactory 提供了多種包格式支持，如 Maven、Debian、npm、Helm、Ruby、Python 和 Docker。
JFrog 提供了高可用性、復制、災難恢復、可伸縮性，并可集成很多自有和云存儲產品。
Sonatype Nexus 是一個存儲庫管理器。可用于代理、收集和管理依賴項，這樣就不用經常為一堆的 jar 文件感到煩惱。它讓軟件的發行變得更容易。
在內部，你可以配置構建工具，把工件發布到 Nexus，然后其他開發人員就可以使用它們了。
NuGet 是.Net 包管理器。NuGet 客戶端工具提供了生成和使用包的能力。
NuGet Gallery 是程序包作者和使用者的中心包倉庫。
為什么測試工具對 DevOps 來說很重要？
-
將注意力放在質量上；
-
提升產品信心。
JUnit 是一個用于 Java 的單元測試框架。JUnit 在測試驅動開發當中扮演著非常重要的角色，它是單元測試框架家族 xUnit(源于 SUnit) 的一員。
xUnit.net 是一個用于.Net Framework 的開源單元測試工具，由 NUnit 的原作者開發。
Selenium 是用于測試 Web 應用程序的框架。Selenium 提供了一個回放工具，用于編寫功能測試，省去了學習腳本語言的麻煩。
Jasmine 是一個開源的 JavaScript 測試框架。它的目標是可以在任何支持 JavaScript 的平臺上運行，不干擾應用程序或 IDE，并具有易于閱讀的語法。它深受其他單元測試框架的影響，比如 Screw.Unit、JSSpec、JSpec 和 RSpec。
Cucumber 是一個支持行為驅動開發的工具。Cucumber BDD 方法的核心是一個叫作 Gherkin 的語言解析器，可以用用戶能夠理解的邏輯語言來指定預期的軟件行為。
為什么持續集成和部署對 DevOps 來說很重要？
-
快速反饋；
-
減少缺陷和等待時間。
Jenkins 是一個免費開源的自動化服務器。Jenkins 幫助自動化軟件開發過程中的非人為操作部分。它是一個基于服務器的系統，運行在 Servlet 容器中，比如 Apache Tomcat。
CircleCI 是全球最大的共享 CI/CD 平臺，是代碼從想法變成可交付產品的中心樞紐。
作為最常用的 DevOps 工具之一，CircleCI 每天要處理超過 100 萬個構建任務，它可以訪問到工程團隊協作以及代碼運行的數據。Spotify、Coinbase、Stitch Fix 和 BuzzFeed 等公司都使用 CircleCI 來提高工程團隊的工作效率，發布更好的產品。
Travis CI 是一個托管的 CI 服務，用于構建和測試托管在 GitHub 上的軟件項目。Travis CI 為私人項目提供各種付費計劃和免費開源計劃。TravisPro 部署在客戶自己的硬件上，提供專有版本的定制部署。
Concourse 是一個用 Go 開發的自動化系統，最常用于 CI/CD，用于伸縮任何類型 (從簡單到復雜的) 的自動化管道。
AWS CodePipeline 是一個全托管的 CD 服務，可以幫助你自動化發布管道，以便快速可靠地更新應用程序和基礎設施。
每當發生代碼變更時，CodePipeline 會根據你定義的發布模型自動化發布過程的構建、測試和部署階段，讓你能夠快速、可靠地交付特性和更新。
你可以輕松地將 AWS 代碼管道與第三方服務 (如 GitHub) 或自定義插件集成。在使用 AWS CodePipeline 時，你只需要為所使用的內容付費，沒有預付費用。
為 Linux、macOS 和 Windows 建立云托管管道。構建 Web、桌面和移動應用程序，并將其部署到云端或本地。
通過管道自動化構建和部署，減少在具體細節上花費的時間，把更多的時間花在創造性的事情上。
為什么 CD 工具對于 DevOps 來說很重要？
-
減少預發布庫存；
-
自動化復雜的管道；
-
統一團隊為客戶創造價值的目標。
Spinnaker 是一個免費開源的 CD 軟件平臺，最初由 Netflix 開發，后被谷歌收購，并進行了擴展。
Spinnaker 是一個多云 CD 平臺，用于快速發布軟件變更。它將強大而靈活的管道管理系統與主要云提供商的集成結合在了一起。
Octopus Deploy 是一個自動化的部署和發布管理工具，全球領先的 CD 團隊都在使用它。
Octopus 是一個工具集，可以極大簡化 DevOps 過程，通過云或虛擬機對大量微服務或應用程序進行持續測試和部署。
AWS CodeDeploy 是一種全托管的部署服務，可以將軟件部署自動化到各種計算服務，如 Amazon EC2、AWS Fargate、AWS Lambda 和本地服務器。
你可以使用 AWS CodeDeploy 來自動化軟件部署，減少容易出錯的手動操作。
配置管理工具為什么對于 DevOps 來說很重要？
-
保持一致性；
-
基礎設施即代碼。
Terraform 是 HashiCorp 公司開發的開源基礎結構即代碼 (IaC) 軟件工具。用戶可以使用一種高級配置語言 (叫作 Hashicorp 配置語言或 JSON) 來定義和提供數據中心基礎設施。
BOSH 是一個將小型和大型云軟件的發布工程、部署和生命周期管理結合起來的項目。BOSH 可以基于數百個 VM 配置和部署軟件。它還可以執行監空、故障恢復和軟件更新，沒有停機時間或者停機時間很短。
雖然開發 BOSH 是為了部署云計算，但它也可以用于部署幾乎任何其他軟件 (例如 Hadoop)。BOSH 特別適合大型分布式系統。
此外，BOSH 還支持多種基礎設施即服務 (IaaS) 提供商，如 VMware vSphere、谷歌云平臺、Amazon Web Services EC2、Microsoft Azure、OpenStack 和阿里巴巴云。BOSH 提供了一個云供應商接口 (CPI)，用戶可用它擴展 BOSH，以便支持其他 IaaS 提供商，如 Apache CloudStack 和 VirtualBox。
Chef 是一個配置管理工具，用于處理物理服務器、虛擬機和云端的機器配置。很多公司用 Chef 控制和管理他們的基礎設施，如 Facebook、Etsy、Cheezburger 和 Indiegogo。
Chef 公司是持續自動化軟件的領導者、應用自動化的革新者以及 DevOps 運動的發起者之一。Chef 與全球 1000 多家最具創新性的公司合作，提供快速交付軟件的實踐和平臺，以實現他們的數字化轉型愿景。
Ansible 是一款開源的軟件配置、配置管理和應用程序部署工具。它運行在 Unix 家族系統上，可以配置 Unix 家族系統和 Windows。它可以使用自己的聲明性語言來描述系統配置。
Puppet 提供了定義系統需要哪些軟件和配置的能力，然后在初始設置之后維護指定的狀態。
Puppet 使用與 Ruby 類似的聲明性領域特定語言 (DSL) 為特定環境或基礎設施定義配置參數。Puppet 通過使用一個叫作 Facter 的實用程序來發現系統信息，Facter 是在安裝 Puppet 軟件包時一起安裝的。
Puppet 主節點通過清單來管理它所控制的所有節點的重要配置信息。
被主節點控制的其他節點安裝了 Puppet 并運行 Puppet 代理 (一個守護進程)。代理節點收集的有關節點的配置信息將發送給主節點。主節點根據應該如何配置來編譯目錄，其他節點使用這些信息來更新自己的配置。
Puppet 使用了拉取模式，代理節點定時輪詢主機，查詢特定于站點和特定于節點的配置。在這個基礎設施中，Puppet 代理應用程序通常作為后臺服務運行在托管節點上。
谷歌云部署管理器是一種基礎設施管理服務，讓谷歌云平臺資源的創建、部署和管理變得更簡單。
為什么云平臺對 DevOps 來說很重要？
-
友好的自動化；
-
具有可觀察性的運行時。
Amazon Web Service(AWS) 是一個安全的云服務平臺，提供計算能力、數據庫存儲、內容交付和其他幫助企業擴大規模和增長的功能。
簡而言之，AWS 可以做以下這些事情：
-
在云端運行 Web 和應用服務器，托管動態網站；
-
將所有文件安全地存儲在云端，這樣你就可以從任何地方訪問它們；
-
使用托管數據庫，如 MySQL、PostgreSQL、Oracle 或 SQL Server 來存儲信息；
-
使用內容分發網絡 (CDN) 在世界各地快速交付靜態和動態文件；
-
批量發送電子郵件給你的客戶。
微軟 Azure 是微軟創建的云計算服務，通過微軟數據中心構建、測試、部署和管理應用程序和服務。
微軟 Azure，原來叫作 Windows Azure，是微軟的公共云計算平臺。它提供一系列云服務，包括計算、分析、存儲和網絡。用戶可以選擇這些服務來開發和擴展新的應用程序，或者在公共云中運行現有的應用程序。
谷歌云平臺由谷歌提供，是一套云計算服務，運行在谷歌用來運行其終端用戶產品 (如谷歌搜索、Gmail 和 YouTube) 相同的基礎設施上。
谷歌云平臺提供在 web 上部署應用程序所需的計算資源，專注于為個人和企業提供一個構建和運行軟件的地方，并通過 Web 連接軟件用戶。
你使用谷歌提供的云計算服務來迎接業務方面的挑戰，包括數據管理、混合和多云、人工智能和機器學習。
Pivotal Cloud Foundry (PCF) 是一個開源的多云應用平臺即服務 (PaaS)，由 501 組織 Cloud Foundry Foundation 負責管理。該軟件最初由 VMware 開發，后來轉到 Pivotal 軟件公司。2019 年底，隨著 VMware 收購 Pivotal，又被帶回到 VMware。
PCF 是一個用于部署、管理和持續交付應用程序、容器和功能的多云平臺。PCF 允許開發人員快速部署和交付軟件，而不需要管理底層基礎設施。
Heroku 是一個支持多種編程語言的云 PaaS。作為首批云平臺之一，Heroku 從 2007 年 6 月就開始開發，當時它只支持 Ruby 編程語言，但現在支持 Java Node.js、Scala、Clojure、Python、PHP 和 Go。
Heroku 是一個基于容器的云 PaaS。開發人員使用 Heroku 來部署、管理和擴展現代應用程序。這個平臺優雅、靈活、易于使用，為開發人員提供了發布應用程序最簡單的途徑。
阿里云、騰訊云、華為云、京東云等各類型廠商都是國內用戶的可選項。
容器調度程序的主要任務是在最合適的主機上啟動容器并將它們連接在一起。它必須通過自動故障轉移來處理故障，并且當單個實例有太多數據需要處理 / 計算時，它需要能夠擴展容器。
三個最流行的容器調度器是 Docker Swarm、Apache Mesos 和 Kubernetes。
Docker Swarm 是 Docker 開發的一種容器調度程序。這個集群解決方案提供了一些優勢，比如使用標準 Docker API 等。
Mesos 的目的是構建一個可擴展、高效的系統，可以支持大量的框架。這也是一個主要的問題：一些框架，如 Hadoop 和 MPI，是獨立開發的——因此不可能在框架之間進行細粒度的共享。
Mesos 的目的是添加一個薄薄的資源共享層，為框架提供訪問集群資源的公共接口。Mesos 將調度控制委托給框架，因為很多框架已經實現了復雜的調度。
根據集群上運行的作業類型，框架可以分為四種，其中一些框架提供了原生 Docker 支持，比如 Marathon。在 Mesos 0.20.0 中添加了對 Docker 容器的支持。
Kubernetes 是一個用于編配 Docker 容器的系統，它通過標簽和 Pod 的概念將容器分為邏輯單元。Pod 是 Kubernetes 和其他兩種解決方案之間的主要區別——它們是一組容器集合，形成一起部署和調度的服務。與基于關聯性的容器 (如 Swarm 和 Mesos) 調度相比，這種方法簡化了集群的管理。
Kubernetes 調度器的任務是監控帶有空 PodSpec 的 Pod。NodeName 指定將容器安排在集群中的某個位置。
這是與 Swarm 和 Mesos 的不同之處，Kubernetes 允許開發者在運行 Pod 時通過定義 PodSpec.NodeName 來繞過調度器。
調度器使用謂詞和優先級來定義 Pod 應該運行在哪些節點上。我們可以使用新的調度器策略配置覆蓋這些默認值。
我們可以通過命令行標志 policy-config-file 指定一個 JSON 文件，在啟動 Kubernetes 時將會使用該文件描述的謂語和優先級，調度器將使用這些定義好的策略。
為什么監控和日志工具對于 DevOps 來說很重要？
-
快速恢復；
-
響應速度；
-
透明性；
-
發生事故時減少人工干預。
ELK 是三個開源產品的集合——Elasticsearch、Logstash 和 Kibana。它們都是由 Elastic 公司開發、管理和維護的。
-
E 代表 ElasticSearch——用于存儲日志；
-
L 代表 Logstash——用于傳輸、處理和存儲日志；
-
K 代表 Kibana——一個可視化工具 (Web 界面)。
Datadog 是一個針對云規模應用程序的監控服務，通過基于 SaaS 的數據分析平臺來監控服務器、數據庫、工具和服務。
Datadog 應用程序性能監控 (APM 或跟蹤) 幫助用戶深入了解應用程序性能——從自動生成的儀表盤（監控關鍵指標，如請求量和延遲）到單個請求的詳細跟蹤信息——與日志和基礎設施監控信息并列展示。
當向應用程序發出請求時，Datadog 可以看到分布式系統的跟蹤，并向用戶顯示關于這個請求的系統數據。
New Relic 是一家總部位于加州舊金山的科技公司，它開發基于云的軟件，幫助網站和應用程序所有者跟蹤服務性能。
New Relic 的應用程序性能監控軟件分析產品 (APM) 提供有關 Web 應用程序性能和最終用戶體驗滿意度的實時和趨勢數據。
Prometheus 是一款用于事件監控和警報的免費應用程序。它在時間序列數據庫中記錄實時指標，基于 HTTP 拉取模型，支持靈活的查詢和實時警報。
Prometheus 服務器的核心原理是抓取——也就是說，調用各個節點暴露出來的指標端點。它定期收集這些指標并將它們存儲在本地。
Zipkin 是一個分布式跟蹤系統。它用于收集診斷延遲問題所需的時間數據，提供了數據的收集和查找功能。
如果日志文件中有跟蹤 ID，則可以直接跳指定位置。否則的話，你可以基于服務、操作名稱、tagsm 和持續時間等屬性進行查詢。它將為你匯總出一些有趣的數據，例如花費在服務上的時間百分比以及操作是否失敗。
Azure Monitor 提供了一個全面的解決方案，用來收集、分析和執行來自云端和本地環境的遙測數據，從而最大化應用程序和服務的可用性和性能。
它可以幫助你了解應用程序的執行情況，并主動識別影響它們的問題以及它們所依賴的資源。
幾個 Azure Monitor 的使用場景：
-
使用 Application Insights 檢測和診斷應用程序和依賴項之間的問題；
-
將基礎設施問題與用于 VM 的 Azure Monitor 和用于容器的 Azure Monitor 關聯起來；
-
使用日志分析深入監控數據，進行故障排除和深入診斷；
-
通過智能警報和自動運維支持大規模操作；
-
使用 Azure 儀表板和工作簿進行可視化。
為什么通信工具對于 DevOps 來說很重要？
-
連接團隊；
-
減少等待時間；
-
改進團隊協作。
Slack 是由 Slack 公司開發的即時通訊平臺。
Slack 本質上是整個公司的一個聊天室，旨在取代電子郵件成為溝通和分享的主要方式。你可以用頻道進行分組討論，也可以通過私有消息進行信息、文件共享，等等。
微軟 Teams 是一個統一的通信和協作平臺，結合了工作討論、視頻會議、文件存儲和應用程序集成。
Teams 是一種基于聊天的協作工具，它為全球、遠程和分布式的團隊提供協作能力，并通過公共空間共享信息。你可以使用它提供的一些很酷的功能，比如文檔協作、一對一聊天、團隊聊天，等等。
谷歌 Hangouts 是谷歌開發的一款通訊軟件產品。Hangouts 最初是 Google+ 的一個功能，在 2013 年谷歌開始將 Google+ Messenger 和谷歌 Talk 的功能整合到 Hangouts 中，成為了一個獨立的產品。
Hangouts Chat 是進行組織內交流的一種有效方式。你可以與一名或多名同事發送信息，可以創建聊天室進行多人討論，并使用機器人來進行工作自動化。你可以在電腦瀏覽器和 Android 或 iOS 手機 App 中使用 Hangouts Chat。
Zoom Video Communications 是一家遠程會議服務公司，總部設在加利福尼亞州的圣何塞。它提供了一種遠程會議服務，結合了視頻會議、在線會議、聊天和移動協作。
Skype 更適合尋找整體商業解決方案的團隊，而 Zoom 更適合頻繁進行視頻聊天和會議的團隊。不過，這兩種工具都不是專門為遠程工作而構建的。
騰訊會議、釘釘、飛書、WeLink 等。
知識分享工具為什么對于 DevOps 來說很重要？
-
減少知識浪費；
-
提高新員工的效率；
-
減少犯同樣的錯誤。
GitHub Pages 是一個靜態站點托管服務，直接從 GitHub 上的存儲庫獲取 HTML、CSS 和 JavaScript 文件，可在構建過程中運行這些文件，然后發布網站。你可以在 GitHub Pages 示例集合中看到 GitHub Pages 站點的示例。
Confluence 是一個由 Atlassian 開發并發布的協作程序。Atlassian 用 Java 編程語言開發了 Confluence，并于 2004 年首次發布。
Confluence 是一個 Wiki 協作工具，用于幫助團隊有效地協作和共享知識。你可以用 Confluence 捕獲項目需求、將任務分配給特定用戶，并用 Team Calendar 插件一次性管理多個日歷。
Jekyll 是一個支持博客的靜態站點生成器，用于個人、項目或組織站點。它是由 GitHub 聯合創始人 Tom Preston-Werner 用 Ruby 開發的，并采用了 MIT 開源許可。
Jekyll 是一個解析引擎，打包成 Ruby gem，用來基于動態組件構建靜態網站。
谷歌 Sites 是谷歌提供的一個結構化的 Wiki 和網頁制作工具。谷歌 Sites 的目標是讓任何人都能夠創建支持不同編輯器協作的簡單 Web 站點。
這些站點在每一個屏幕上（從桌面到智能手機）看起來都很棒——做到這些都不需要學習設計或編程。
這篇文章涵蓋的所有類別可以幫助你更好地實施 DevOps。其中任何一種都很有用，而且我認為所有這些都是你需要的，幫助團隊以可持續的方式向客戶交付價值，并幫助你脫穎而出。
我提到了 DevOps 工具鏈，比如規劃工具、問題跟蹤工具、源代碼控制管理、構建和測試代碼、持續集成和部署源代碼、管理配置、使用云平臺，然后是監控和日志，以及溝通和知識共享。
我希望你能夠喜歡這篇文章。DevOps 是一種令人興奮的工作方式，盡管它不是唯一的方式，甚至不是最好的方式。更好的東西可能會在未來出現，但目前看來，它似乎代表了一種很好的團隊協作方式。它讓團隊共同努力，交付價值，同時也幫助他們專注于客戶，而不僅僅是技術或內部的東西，也包括了速度、學習以及公司的未來。
