勵志

勵志人生知識庫

yarn作用

YARN(Yet Another Resource Negotiator)是Hadoop生態系統中的一個關鍵組件,主要用於資源的統一管理和作業調度。其作用如下:

資源管理。YARN負責集群中的資源分配和管理,包括CPU核心記憶體磁碟空間等。它允許多個應用程式同時在同一Hadoop集群上運行,實現資源的有效共享。

作業調度。YARN負責調度各種作業,如MapReduce作業、Spark應用程式等。它將可用資源分配給不同的應用程式,並監控它們的進度,以確保資源的合理利用。

分離資源管理和應用程式管理。通過將這兩部分分離,分別由ResourceManagerApplicationMaster負責。ResourceManager負責資源管理和調度,而ApplicationMaster則負責與具體應用程式相關的任務切分、任務調度和容錯等。

支持多個框架。YARN支持多種計算框架,如Spark和Flink,它們都可以運行在YARN之上,由YARN進行統一管理和資源分配。

框架升級更容易。在YARN中,計算框架作為用戶程式庫存在客戶端,當需要進行升級時,只需升級用戶程式庫,簡化了升級過程。

高可用性和彈性伸縮。YARN支持高可用性集群配置和自動HA部署,同時提供便捷的運維和監控報警功能,支持彈性伸縮和優雅下線。

此外,YARN是一個快速、可靠、安全的JavaScript包管理器,用於管理JavaScript包的依賴關係、版本號和安裝。