• 中的your-spark-app.jar是个jars包,还是jar文件,如果是jar文件该怎么找


    spark-submit --class SparkJoin your-spark-app.jar "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\ratings.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\movies.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\output"
    

    中的your-spark-app.jar是个jars包,还是jar文件,如果是jar文件该怎么找file:///D:/Spark/spark-2.3.1-bin-hadoop2.6/spark-2.3.1-bin-hadoop2.6/jars/

    • 阿里嘎多学长 2024-06-03 16:42
      关注

      以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳:


      在Spark提交命令中,your-spark-app.jar通常指的是一个包含你的Spark应用程序代码的JAR文件。这个JAR文件是编译你的应用程序后生成的,它包含了应用程序的类文件和任何必要的资源文件。它不是一个JAR包,而是一个单独的JAR文件。

      要找到your-spark-app.jar,你需要按照以下步骤操作:

      1. 编译你的Spark应用程序:使用Scala或Java编译器编译你的Spark应用程序,生成JAR文件。如果你使用的是Scala,通常使用sbt package命令来编译和打包应用程序。

      2. 定位JAR文件:编译完成后,JAR文件通常位于项目的target目录下,具体路径取决于你的构建工具和项目配置。

      3. 使用JAR文件:一旦找到JAR文件,你就可以在spark-submit命令中使用它了。

      例如,如果你的项目结构如下:

      SparkRddDemo1/
      |-- src/
      |   |-- main/
      |       |-- scala/
      |           |-- SparkJoin/
      |-- target/
          |-- scala-2.11/
              |-- your-spark-app.jar
      

      那么,your-spark-app.jar将位于SparkRddDemo1/target/scala-2.11/目录下。

      至于你提供的路径file:///D:/Spark/spark-2.3.1-bin-hadoop2.6/spark-2.3.1-bin-hadoop2.6/jars/,这是Spark的安装目录下的jars文件夹,它包含了Spark运行时所需的所有JAR文件。your-spark-app.jar不应该在这个目录下,它应该是你单独编译生成的。

      如果你需要编译Scala项目并生成JAR文件,可以使用以下命令(假设你使用的是sbt):

      sbt clean
      sbt package
      

      这将清理之前的构建产物并重新编译打包你的应用程序。

      参考资料

      请注意,这些链接提供了关于Spark和sbt的一般信息,具体的编译和打包步骤可能需要根据你的项目配置和环境进行调整。

      展开全部

    • 专家-赤兔[在线] 全栈领域优质创作者 2024-06-03 16:42
      关注

      引自免费微信小程序:皆我百晓生

      在提供的命令行中,your-spark-app.jar 是一个 jar 文件,它是包含你的 Spark 应用程序的主要 Java 类(在这个例子中是 SparkJoin)的归档文件。要找到这个 jar 文件,你需要知道它的确切位置。

      如果你是在本地开发环境中编译了 Spark 应用程序,那么通常你会在项目的构建目录(比如 Maven 或者 SBT 项目中的 target 目录)中找到它。例如,如果你使用的是 Maven,可能的路径可能是:

      /target/your-spark-app-.jar
      

      如果你已经将项目打包并部署到生产环境,那么 jar 文件应该会存放在服务器上某个特定的位置,这取决于你的部署流程。在这种情况下,你需要从服务器上的正确路径获取它。

      如果你不确定 jar 文件在哪里,可以检查你的构建脚本(Maven 的 pom.xml 或 SBT 的 build.sbt),它们通常会指定输出 jar 文件的路径。

      在给定的 spark-submit 命令中,your-spark-app.jar 应替换为实际的 jar 文件路径。例如,如果 jar 文件位于 file:///D:/path/to/your-jar/your-spark-app.jar,则命令应修改为:

      spark-submit --class SparkJoin file:///D:/path/to/your-jar/your-spark-app.jar "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\ratings.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\movies.dat" "D:\JAVA homework\SparkRddDemo1\src\main\scala\SparkJoin\ml-1m\output"
      

      确保将 file:///D:/path/to/your-jar/your-spark-app.jar 替换为你实际的 jar 文件路径,并且其他参数(输入和输出文件路径)也匹配你的实际情况。

  • 相关阅读:
    成都优优聚能带给你什么?
    【Java面试题】请说一下Netty中Reactor模式的理解
    【组合回溯递归】【树层去重used标记】Leetcode 40. 组合总和 II
    cocoaPods管理之后工程结构变化
    c++面试题目汇总-1-57
    神经网络参数优化算法,神经网络损失函数设计
    win10录屏功能怎么打开,详细图文教学,轻松学会
    软件测试1
    为什么短信验证码要设置有效期?
    第三十七篇 Vue中封装Swiper组件
  • 原文地址:https://ask.csdn.net/questions/8113415