文章最前： 我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的动态，一起学习，共同进步。
Spark Connect 为 Spark 引入了解耦的客户端-服务器架构，允许使用DataFrame API远程连接到 Spark 集群。
本笔记本通过一个简单的分步示例演示如何使用 Spark Connect 构建在处理数据时需要利用 Spark 强大功能的任何类型的应用程序。
Spark Connect 包括客户端和服务器组件，我们将向您展示如何设置和使用这两个组件。
要启动支持 Spark Connect 会话的 Spark，请运行该start-connect-server.sh脚本。
现在 Spark 服务器正在运行，我们可以使用 Spark Connect 远程连接到它。我们通过在运行应用程序的客户端上创建远程 Spark 会话来实现此目的。在此之前，我们需要确保停止现有的常规 Spark 会话，因为它无法与我们即将创建的远程 Spark Connect 会话共存。
- from pyspark.sql import SparkSession
- SparkSession.builder.master("local[*]").getOrCreate().stop()
localhost:15002. 现在我们可以使用以下命令在客户端上创建远程 Spark 会话。
spark = SparkSession.builder.remote("sc://localhost:15002").getOrCreate()
远程 Spark 会话创建成功后，就可以像常规 Spark 会话一样使用它。因此，您可以使用以下命令创建DataFrame。
- from datetime import datetime, date
- from pyspark.sql import Row
-
- df = spark.createDataFrame([
- Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),
- Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),
- Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))
- ])
- df.show()
+---+---+-------+----------+-------------------+ | a| b| c| d| e| +---+---+-------+----------+-------------------+ | 1|2.0|string1|2000-01-01|2000-01-01 12:00:00| | 2|3.0|string2|2000-02-01|2000-01-02 12:00:00| | 4|5.0|string3|2000-03-01|2000-01-03 12:00:00| +---+---+-------+----------+-------------------+