spark查看日志

Logger

当 Spark 任务已经提交到集群运行后，可以通过以下几种方式查看LoggerFactory输出的日志：

1. Web 界面：在 Spark 任务运行时，可以通过访问 Spark 的 Web UI 来查看日志。通常，可以在浏览器中输入http://:4040来访问 Spark 的 Web UI，其中是运行 Spark 驱动程序的节点的 IP 地址或主机名。在 Web UI 中，可以查看任务的执行情况、日志输出等信息。
2. 服务器端日志：Spark 任务的日志通常会输出到服务器端的日志文件中。可以通过登录到运行 Spark 任务的服务器，找到相应的日志文件进行查看。日志文件的位置可能因 Spark 的部署方式和配置而有所不同。一般来说，日志文件可能位于以下目录之一：
   • /yarn/container-logs/：如果是在 YARN 模式下运行 Spark 任务。
   • /spark/work/：如果是在 Spark 独立模式下运行任务。
   • /tmp/logs/：某些情况下，日志可能会存储在临时目录中。
3. YARN 日志聚合：如果启用了 YARN 的日志聚合功能，可以使用 YARN 的日志收集工具来查看 Spark 任务的日志。可以通过运行yarn logs -applicationId 命令来收集指定应用程序的日志，其中是 Spark 任务的应用程序 ID。
4. Spark 历史服务器：如果配置了 Spark 历史服务器，可以通过访问历史服务器的 Web UI 来查看过去运行的 Spark 任务的日志。历史服务器会存储任务的执行信息和日志，以便后续查看和分析。

println

在 Spark 任务中，println输出的内容会被发送到标准输出（stdout）。要查看这些输出的日志，可以通过以下几种方式：

1. Web 界面：如果你是通过 YARN 等资源管理器提交 Spark 任务，可以在相应的 Web 界面上查看日志。在 YARN 的 Web 界面中，找到对应的 Spark 任务，点击进入任务详情页面，通常可以在“Logs”或“stdout”选项卡中查看println输出的内容。
2. 服务器端日志文件：Spark 任务的 stdout 日志通常会输出到服务器上的特定目录。可以通过查找服务器上的日志目录（如 /yarn/container-logs/）来找到对应的日志文件。在日志文件中，可以搜索println输出的内容。
3. Spark UI：如果任务正在运行中，并且你可以访问 Spark UI，可以在 Spark UI 中查看 stdout 日志。在 Spark UI 的“Executors”选项卡中，找到对应的 executor，然后点击“stdout”链接查看输出的日志内容。