混沌工程，是一套通過在（準）生產環境，對IT架構和業務系統進行壓力與故障模擬實驗，主動曝露實驗對象脆弱性的方法論，能有效地幫助探索和避免潛在的穩定性缺陷，檢驗和提升系統高可用性和容錯性，提升故障響應修復效率，減小事故影響，從而打造更具彈性、更抗風險的系統，掌握系統運行時各種行為規律，持續提高技術團隊的應急能力和抗壓素養。
但是傳統的混沌工程也有自身的缺陷。根據反脆弱性理論，IT組織的脆弱性來自于內部隨機事件和外部壓力事件，但現階段混沌方案，只側重于來自內部，面向架構的故障注入；而欠缺來自外部，面向業務的故障注入。同時由于歷史原因，大部分混沌工程方案，并未形成跨架構的能力，在“軟件定義一切”的大背景下，絕大多數的故障注入，又都會對IaaS，PaaS和SaaS產生影響。
一、“三位一體”超級混沌工程的提出
基于傳統混沌工程的局限性，廣州掌動智能科技有限公司首次提出“三位一體”超級混沌工程方案，即在原有混沌工程的基礎上，增加了“業務級故障”注入能力和實驗過程中實時“跨棧跟蹤”能力，是一套IT系統穩定性和可靠性的保障方案。
二、何為“三位一體”？
1.混沌業務級故障注入
通過配置不同參數，組合不同業務報文，播放不同類型的業務交易，實現對被測對象的容量爆破，容錯爆破，風險爆破。
2.混沌架構級故障注入
通過執行不同策略的故障腳本，實現對架構級、應用級的混沌爆破，主要以資源耗盡，錯誤配置，人工切換等方法，實現故障注入。
3.跨架構全棧觀測能力
通過資產、指標（KPI/KQI）和業特征務（API/SQL/報文），實現基于性能異常方法的故障注入監控告警以及基于故障定位方法的故障爆炸半徑測量
三、具備哪些主要能力？
1、業務級故障注入能力
●業務壓力注入：無規律，瞬時隨機的大規模業務并發，通過響應時間、辦理成功率等數據，檢測系統對尖峰流量的抗沖擊能力，伸縮性以及自恢復能力
●業務錯誤注入：構建錯誤數據、錯誤流程、重復數據等場景，通過返回報文的正確性校驗，檢測系統對非正常數據的容錯能力
●業務風險注入：構建業務敏感數據、攻擊性數據等場景，通過對系統返回的報文進行校驗，檢測系統管對與風險業務的應對能力。
2、架構級故障注入能力
從“主機與網絡”、“中間件”、“數據庫”、“微服務”等層面對IT基礎架構進行故障注入。平臺內置117個原子故障用例，支持場景編排和私有故障腳本編排。同時平臺內置70+實踐場景庫，可以幫助用戶快速開展混沌工程實驗。
3、跨架構全棧觀測能力
支持對傳統架構、虛機云、容器云進行細粒度指標的觀測能力，主要表現在如下幾個方面：
●豐富的TCP/UDP的會話指標：實時的分析全部或特定網卡的TCP/UDP會話，并可以將分析結果，以UDP封裝JSON格式的數據，實時轉發到外部的數據接收端；主要的通信指標包括，聚合后的四元組信息，MAC，VXLAN/GRE編號，以及全部標志位信息
●豐富的業務級監控指標：實時分析HTTP/URL/XML等會話和負載內容，并可以將其內容和主要指標，以UDP封裝的JSON數據，實時轉發到外部的數據接收端
●DB/SQL的指標和內容：實時分析SQL會話內容，并可以將其內容和主要指標，以UDP封裝的JSON數據，實時轉發到外部的數據接收端；支持的DB包括但不限于Oracle，MySQL，SQLserver等結構化數據庫
●進程信息：如上三類功能，都可以與宿主機的進程相關聯，通過分析進程的活躍程度（CPU/MEM用量），進一步定位業務安全風險
四、應用場景包含哪些？
1.判斷微服務容錯能力
通過模擬調用延遲、服務不可用、機器資源滿載等，查看發生故障的節點或實例是否被自動隔離、停止執行、下線，流量調度是否正確，預案是否有效。
2.驗證容器編排配置是否合理
通過模擬殺服務Pod、殺節點、增大Pod資源負載，觀察系統服務可用性，驗證副本配置、資源限制配置以及Pod下部署的容器是否合理。
3.驗證監控告警的時效性
通過對系統注入故障，驗證監控指標是否準確，監控維度是否完善，告警閾值是否合理，告警是否快速，告警接收人是否正確，通知渠道是否可用等，提升監控告警的準確性和時效性。
4.驗證PaaS層是否健壯
通過模擬上層資源負載，驗證調度系統的有效性；模擬依賴的分布式存儲不可用，驗證系統的容錯能力；模擬調度節點不可用，測試調度任務是否自動遷移到可用節點；模擬主備節點故障，測試主備切換是否正常。
5.驗證SaaS層應用是否健壯
通過對系統注入業務壓力、業務錯誤故障、業務風險故障等，驗證系統的對尖峰流量的抗沖擊能力、伸縮性以及恢復能力是否符合預期，以及系統面對瞬時壓力是，IaaS層和PaaS層的各種表現是否符合預期。
6.提升定位與解決問題的應急能力
通過故障突襲，隨機對系統注入故障，考察相關人員對問題的應急能力，以及問題上報、處理流程是否合理，達到以戰養戰，鍛煉人定位與解決問題的能力。
五、方案有什么優勢？
1、架構級故障和業務級故障聚合爆破實驗方案
●業務級全類型故障注入能力
通過不同的業務壓力，量化IT架構的劣化趨勢、通過業務錯誤故障用例，驗證業務容錯能力、通過注入安全風險樣本，驗證風險防護能力。
●故障演練場景多樣化
自動化演練平臺，豐富多樣和持續拓展的故障演練場景庫，包括了各種場景：常見的基礎設施資源場景，應用級別的故障注入式場景，云原生領域的演練場景。
●數據支持賦能管理
數據賦能運維團隊能力，深入挖掘復雜系統潛在風險，持續提升系統、資源、人員等各方面保障能力，可管、可控、可視化、可考核、可提升。
●混沌能力市場
打造共享、共贏的場景庫生態, 積累專家實踐經驗，聚合專業服務, 并可量化貢獻；提供上傳及下載服務，后臺審核與驗證, 提供專業可靠安全保障。
●自定義腳本能力
提供支持自定義腳本底層故障注入的實現支持；提供完善故障注入的能力和效率。主機層/云原生層環境跨棧（跨架構）感知, 構建服務間調用鏈，實時顯示服務間連接狀態，對攻擊中的故障注入點和故障是否排除實時動態可視化展示。
●領先雙引擎驅動（chaos blade/chaos mesh）
chaos blade/chaos mesh將故障演練的環節分為多個節點，用戶可以根據需要添加自己的流程節點。同時，靈活的流程編排支持一次演練包含多個場景，通過不同的策略配置來達到不同的故障注入效果。
●實驗直播監看，全局演練沙盤
運維人員保障工作量化，并提供可視化直播與回放實時記錄，運維人員的操作可細粒度操作記錄。
●可擴展性支持
以插件方式提供支撐服務, 實現更多更好得擴展性；結合多方插件, 實現更多的實驗場景覆蓋。
2、跨架構全棧的觀測能力
從傳統架構，網絡，到云IaaS，PaaS，再到SaaS業務級的Metrics和Tracing的可觀測性能力；簡單可靠，方法統一，對租戶和業務無擾，對云網環境無壓力。
3、經驗豐富的一、二線實施團隊
●一線實施團隊，具備超大型混沌項目的實施經驗，高效率、高安全性的工程實施方案；
●二線顧問團隊，具備業界知名的技術背景，為用戶制訂專業的IT脆弱性監控與加固方案。
六、方案價值所在
1、主動暴露實驗對象的脆弱性，賦予穩態系統賦予更多彈性特征。將風險事件實例化，并根據混沌工程的輸出，完善系統應急措施，降低故障發生時爆炸影響，強化系統“自愈”能力
2、混沌變量反映了現實世界中的事件，從內部IT到業務錯誤事件的模擬注入，可以快速了解他們正在構建的服務是否健壯，是否可以彈性擴容，是否可以處理計劃外的故障
3、沉淀通用的故障模式，以可控成本在線上重放，以持續性的演練和回歸方式運營來暴露問題，不斷推動系統、工具、流程、人員能力的不斷前進
4、提前進行混沌工程，進行預警備案，提高事故預測和預警能力，有效降低事故率
5、采用自動化故障注入，追蹤觀測，節省人力資源，降低成本
如對“三位一體”超級混沌工程方案感興趣，歡迎關注掌動智能官網了解。
免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。
關鍵詞：
