PySpark是一箇允許使用Python語言編寫和運行應用程序的庫，這些應用程序利用了Apache Spark的分佈式計算能力。
PySpark作爲Python的API，爲Apache Spark提供了接口，使得Python開發者能夠利用Spark的核心功能，如Spark SQL、DataFrame、Streaming、MLlib(Machine Learning)以及Spark Core等。PySpark特別適合於大數據探索性分析、機器學習模型開發和ETL(Extract, Transform, Load)工作，如果用戶熟悉Python語言及其數據科學庫（如pandas），那麼PySpark是一箇理想的大數據分析和建模工具。