

私は apache spark にコミットしてまだ日が浅いのですが、最近 example module から spark object (spark LR)
のデバックをしたところエラーが発生してしまいました。  
具体的には、以下のメッセージが表示されます。

[code]

    C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\Murmur3_x86_32.java
    Error:(69, 22) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.Murmur3_x86_32
    C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\CountMinSketchImpl.java
    Error:(220, 51) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.CountMinSketchImpl
    Error:(221, 51) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.CountMinSketchImpl
    C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\BloomFilterImpl.java
    Error:(87, 51) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
    Error:(88, 51) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
    Error:(110, 51) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
    Error:(111, 51) java: シンボルを見つけられません
      シンボル:   変数 Platform
      場所: クラス org.apache.spark.util.sketch.BloomFilterImpl
    
[/code]

可能であれば、run/debug configuration の設定まで教えてもらえるとありがたいです。


CC BY-SA 3.0
2018-05-01T03:06:59.097
43681
2020-03-28T09:02:00.243
2018-05-01T03:44:27.287
3060
28369
question
java apache scala spark
Apache Spark のデバックに関してIntelliJを利用しているのですが、毎回エラーが発生します


>
> C:\Users\frpgm\IdeaProject\junichi\common\sketch\src\main\java\org\apache\spark\util\sketch\Murmur3_x86_32.java  
>  Error:(69, 22) java: シンボルを見つけられません  
>  シンボル: 変数 Platform  
>  場所: クラス org.apache.spark.util.sketch.Murmur3_x86_32

最初のエラーは、ソースコードでは以下の行です（他のエラーも同じですが）。

<https://github.com/apache/spark/blob/master/common/sketch/src/main/java/org/apache/spark/util/sketch/Murmur3_x86_32.java#L69>

簡単にいうと、ソースコードをビルド（コンパイル）できていません。`Platform`といのは、`Murmur3_x86_32`というクラスと同じパッケージにあるクラス`Platform`のことです。このクラスのclassファイルか、それを含むjarファイルが見つけられていません。

Qiitaにご要望の記事が掲載されているようです。他にもいろいろなブログで紹介されているようでしたが、どれかを参考に最初からやり直した方が早いかもしれませんね。

**Apache SparkのソースファイルをIntelliJでデバッグする**  
<https://qiita.com/iyunoriue/items/66a563dce56afd130dab>

**Scala + Apache Spark をIntelliJにて開発する方法**  
<https://qiita.com/yk-tanigawa/items/4fc86c7e0e529c3b2fa0>


CC BY-SA 4.0
2018-05-17T08:12:54.980
44036
2018-05-17T08:12:54.980
21092
43681
answer