了解最新公司動態及行業資訊
近年來,軟件世界發生了巨大變化。從操作系統、數據庫等底層基礎設施,到分布式系統、大數據、云計算、機器學習等基礎領域,從單體應用、MVC、基于服務,到基于微服務等應用開發模式從IaaS、PaaS等從CaaS到FaaS,運維技術(尤其是大型復雜分布式系統的運維)越來越重要,成為IT企業提高生產力的核心.
隨著運維越來越受到重視,運維體系逐漸豐富,出現了研發、測試、運維等概念。容器技術從底層重構運維,打通開發、測試、部署、運維全流程,進一步推動運維系統從工具化向平臺化、自動化的逐步遷移和聰明。本文將從下到上對運維技術進行一次徹底的梳理和盤點。
微服務
微服務是近年來提出的概念。它通過將應用解耦成多個服務來提高模塊化程度,更容易理解、開發、測試和部署服務器運維技術,更適合小團隊快速迭代協同開發。同時,每個服務也可以使用不同的技術來促進持續演進。業界領先的互聯網公司已經構建了微服務框架(例如基于Boot/Cloud等開源項目),以應對其在快速迭代過程中的業務復雜性和效率。最近,微服務配置管理、容器化部署、自動化測試、微服務治理、微服務監控、安全、容錯等領域也越來越受到關注。
SRE
SRE (Site, ) 是谷歌的最佳實踐,用于服務的容量規劃和實施,保證服務的可靠性和性能,在軟件基礎設施層面構建自動化工具來代替人工操作,從而以更好地應對其業務復雜且不斷變化的需求。
& CI/CD
容器逐漸成為軟件開發的主流,近兩年迅速成長為核心,在持續集成、持續部署、持續發布等方面受到越來越多的關注。隨著新的自動化工具的不斷涌現,容器及其相關生態系統(尤其是容器編排工具及其對有狀態服務的支持)的成熟,以及微服務的廣泛應用,越來越多的相關工具將在不斷的集成中在集成過程中,自動化持續測試也將變得更加流行,以更有效地控制質量、確保安全、降低成本、控制風險、提高效率,并更有效地支持復雜的大規模分布式應用程序。
容器優化與實踐
在過去的幾年中,核心容器技術不斷發展,以其易于構建、分發和部署的特性成為 IT 基礎設施中的關鍵技術。容器技術通過標準化運行環境,連接應用開發、測試和運維。它簡單、輕量、高度可移植,可以更有效地利用資源,并能有效解決軟件依賴問題,提高研發效率,降低研發成本。因此,業界不斷通過容器優化其軟件發布。將現有應用程序容器化的過程。
然而,容器技術本身也面臨著諸多挑戰。未來在容器標準化、容器安全、容器網絡、容器存儲方面還有很大的提升空間,特別是對數據庫等有狀態服務的支持。容器的可管理性和易用性也有待進一步提高。
容器編排和管理
隨著其他容器技術的廣泛應用,容器編排和管理也越來越受到重視,涌現出Yu、Mesos、Swarm Mode等優秀的開源生態和解決方案。他們試圖將當前以資源為中心的管理方式轉變為以應用程序為中心的管理方式,并嘗試將應用程序的基礎組件(如配置、服務、負載均衡等)標準化,以實現更好的可管理性。隨著CaaS的發展,私有或公有容器云越來越多,越來越成熟,用戶體驗也越來越好,從而顯著降低遷移成本。
但在大規模實踐中,灰度發布、資源調度、隔離、運維監控、日志記錄等仍需進一步成熟和規范??鐢祿行膽霉芾?、支持混合云環境、跨云服務 遷移、安全等方面仍存在困難和挑戰。
自動化運維
隨著虛擬化、容器化等技術的出現,運維管理的復雜度和難度大大增加。因此,必須通過專業化、標準化、流程化的方式來實現運維的自動化。行業內提升效率的自動化工具有很多,如、Chef等。各大主流互聯網公司也在逐步從工具自動化向一站式自動化運維管理平臺演進,實現部署的一站式處理,配置、監控、告警等,實現資源和流程的標準化統一,應用運行狀態可視化管理,提高運維質量,降低運維成本。
智能運維
隨著監控范圍的不斷擴大,其產生的數據具有多樣性、多維性、非結構化的特點,并可能與業務數據相關。傳統的人工分析處理方法效率低、成本高。隨著大數據和人工智能的興起,越來越多的智能分析算法也被應用到運維領域。智能報警和故障自動恢復發揮更大作用,從而進一步降低運維成本。
運維基礎設施
運維基礎設施涵蓋網絡、機器、機房、機架、存儲等管理,涉及基礎資源、機架設計與交付、網絡架構設計、數據架構規劃、操作系統、系統軟件、環境交付、機器報廢更換等方向。
業界已經構建了CMDB來支持服務交付流程和相應的管理流程,也構建了相應的初始化、部署、運行、監控、日志等工具。隨著虛擬化、容器化、云計算的發展,運維基礎設施也從提供資源轉變為提供能力,從而提高了基礎設施對上層應用的透明性,從而提高了基礎設施的靈活性。
數據庫運維
數據庫運維涉及數據庫部署架構、容量規劃、性能調優、數據備份與恢復、數據遷移、數據庫監控與審計、數據庫運維管理、故障排除等一系列服務。
隨著互聯網的廣泛使用,數據庫運維也呈現出新的形式。近年來,在遠程多活、在線表模式變更、海量數據遷移、故障排查等部署方式中,通過一系列工具盡可能減少數據庫整體不可用時間,從而盡可能減少對用戶的影響。影響。同時,為了簡化數據庫的部署和管理,以容器化的方式管理和調度數據庫逐漸成為熱點之一。最后,通過對數據庫中各項指標的分析挖掘,提供智能診斷解決方案,提前預測和控制風險,提高處理效率,提高系統整體穩定性。
大數據運維
隨著數據的快速增長服務器運維技術,底層生態系統也發揮著越來越重要的作用。涵蓋離線計算、流式計算、即席查詢等使用方式。Spark、Kafka、Hbase、Storm等也應運而生。等優秀的開源項目。在大數據平臺的運維中,由于分布式架構、多源異構數據存儲、數據處理框架更加多樣化和復雜等問題,大數據的運維也變得異常復雜。
大數據運維的主要目標是提高資源利用率,降低大數據系統運維的復雜度,提高用戶友好度。其中,計算資源的統一管理和調度能力、基于容器的各類大數據系統的混合部署能力、快速彈性伸縮能力、跨數據中心容災能力、大數據應用監控能力,以及快速靈活的故障定位能力也變得越來越重要。
運維監控
監控是IT系統運維中保證核心服務穩定性和可用性的重要環節。涵蓋網絡、主機、業務、應用、性能等方面,涉及故障快速通知、故障準確定位、性能分析診斷等。目前業界比較流行和廣泛使用的開源監控軟件有Cacti、Cacti等。
隨著應用規模的迅速擴大和微服務、容器等技術的快速發展,新的監控形式應運而生。監控方式也從類式演變為流式,基于監控指標對海量數據進行流式傳輸,并通過可視化平臺實時展示這些監控指標。此外,隨著基礎設施變得更加動態化,監控不僅關心單個節點的運行狀態,還關心整個應用程序的健康狀況。全鏈路跟蹤等技術也應運而生并得到廣泛應用。
運維安全
在互聯網化、移動化的背景下,應用逐漸上云,傳統邊界越來越模糊,安全也有了新的發展趨勢。過去,安全技術主要是防御,使用傳統的防火墻和入侵防御系統。現在,除了加強傳統的安全措施外,還將威脅建模、自動安全掃描、安全功能測試等安全實踐引入開發過程,從而降低安全風險,縮短安全問題的反饋周期。同時,安全也從提前預防轉向持續檢測和快速響應。通過對攻擊行為的持續檢測,可以對安全事件進行快速響應,
游戲開發與運維
近年來,網絡游戲的發展非常迅速,使用通用框架和引擎進行游戲開發的趨勢越來越明顯。在游戲運維方面,除了常規的運維方式外,游戲也有自己的特點。首先,由于端游、網頁游戲和手游的形式不同,在組網方式、發行渠道、生命周期長短等方面存在差異。因此,網絡接入、多通道分布、容量規劃、網絡時延、文件數據高可靠接入的運維等方面都帶來了挑戰。
其次,由于用戶增長的不可預測性,游戲運維必須具備快速擴容和縮容能力,且多采用混合云或公有云技術架構,最大限度地發揮其橫向擴展能力。最后,在發生大規模DDOS異常流量攻擊時,游戲運維應具備多級流量清洗保護機制和服務降級能力,盡可能保證可用性。
互聯網金融與運維
近年來,互聯網金融出現井噴式發展,也為其注入了科技創新基因。微服務、容器化、大數據、云計算等技術為互聯網金融的快速迭代提供了基礎。但是,與現在的應用運維相比,互聯網金融行業有自己的特點。在數據留存、安全合規、抗攻擊能力、支付結算、金融監管、數據安全、大數據風控、高級別安全防護等方面有自己的特色。其他方面也有強烈的需求甚至是強制性的金融監管規范,這也對互聯網金融的運維提出了更高的挑戰。
極客時尚黑科技
有趣且易于理解的云計算