2024年5月4日发(作者：)
Spark作业与MapReduce作业同样可以先在本地发测试，本地执行模式与集群提交
模式，代码的功能相同，因此本书多数采用本地发模式。讲解使用IDEA工具发
WordCount单词计数程序的相关步骤。
1.创建Maven，新建资源文件夹
创建一个Maven工程，名为“spark_chapter02”。创建好后，在main和test目
录下分别创建一个名称为scala的文件夹，创建好的目录结构如图1所示。
图1Spark_chapter02目录结构
在图1中，选中main目录下的scala文件夹，单击右键选择【MarkDirectoryas】
→【SourcesRoot】，将文件夹标记为资源文件夹类型;同样的，选中test目录下的scala
文件夹，单击右键选择【MarkDirectoryas】→【TestSourcesRoot】将文件夹标记为测
1
试资源文件夹类型。其中，资源文件夹中存放源码文件，测试文件夹中存放发中测试的源
码文件。
相关依赖、打包件
Maven一个管理工具，虽然们刚才创建好了，但却不能识别Spark类，因此，们需
要将Spark相关的依赖到Maven中。打文件，在该文件中的依赖如下所示：
2
发布者：admin，转转请注明出处：http://www.yc00.com/web/1714820256a2522312.html
评论列表（0条）