python spark

# 使用 PySpark 进行简单的数据处理示例

# 导入 PySpark 模块
from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("Python Spark Example") \
    .getOrCreate()

# 创建一个简单的 DataFrame
data = [("James", "Smith", "USA", 30),
        ("Michael", "Rose", "USA", 40),
        ("Robert", "Williams", "UK", 50),
        ("Maria", "Jones", "USA", 60)]

columns = ["firstname", "lastname", "country", "age"]

df = spark.createDataFrame(data, columns)

# 显示 DataFrame 内容
df.show()

# 筛选出年龄大于 40 的记录
filtered_df = df.filter(df.age > 40)

# 显示筛选后的 DataFrame 内容
filtered_df.show()

# 关闭 SparkSession
spark.stop()

解释说明：

1. 导入模块：首先导入 pyspark.sql.SparkSession，这是 PySpark 中用于创建和管理 Spark 应用程序的入口点。
2. 创建 SparkSession：通过 SparkSession.builder 创建一个 SparkSession 实例，并设置应用程序名称为 "Python Spark Example"。
3. 创建 DataFrame：定义一个包含一些简单数据的列表 data，并指定列名 columns。使用 spark.createDataFrame 方法将数据转换为 DataFrame。
4. 显示 DataFrame：使用 df.show() 方法显示 DataFrame 的内容。
5. 数据过滤：使用 filter 方法筛选出年龄大于 40 的记录，并将结果存储在新的 DataFrame filtered_df 中。
6. 显示筛选后的 DataFrame：再次使用 show() 方法显示筛选后的 DataFrame 内容。
7. 关闭 SparkSession：最后调用 spark.stop() 关闭 SparkSession。

这个示例展示了如何使用 PySpark 进行基本的数据处理操作，包括创建 DataFrame、过滤数据和显示结果。