23671


sparkからhbaseへアクセスし、RDDを作成しようとしていますがimportの段階でエラーになります。  
HBaseContextを使用したいため、com.cloudera.spark.hbase.HBaseContextが含まれるjarファイルの入手元、jarファイル名を教えて頂けないでしょうか。

環境：  
CentOS release 6.2 (Final)  
spark-1.5.0-bin-hadoop2.6.tgz  
hadoop-2.6.0(cdh5.4.9)

[code]

    scala> import org.apache.hadoop.hbase.client.{HBaseAdmin, Result}
    import org.apache.hadoop.hbase.client.{HBaseAdmin, Result}
    
    scala> import org.apache.hadoop.hbase.{ HBaseConfiguration,HTableDescriptor }
    import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor}
    
    scala> import org.apache.hadoop.hbase.mapreduce.TableInputFormat
    import org.apache.hadoop.hbase.mapreduce.TableInputFormat
    
    scala>  import org.apache.hadoop.hbase.io.ImmutableBytesWritable
    import org.apache.hadoop.hbase.io.ImmutableBytesWritable
    
    scala> import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.fs.Path
    
    scala>  import org.apache.spark._
    import org.apache.spark._
    
    scala>
    
    scala> val conf = HBaseConfiguration.create()
    conf: org.apache.hadoop.conf.Configuration = Configuration: core-default.xml, core-site.xml, mapred-default.xml, mapred-site.xml, yarn-default.xml, yarn-site.xml, hdfs-default.xml, hdfs-site.xml, hbase-default.xml, hbase-site.xml
    
    scala> conf.set( "hbase.zookeeper.quorum", "spark-hbase-master" )
    
    scala> conf.set( "hbase.zookeeper.property.clientPort", "2181" )
    
    
    scala> conf.addResource(new Path("/etc/hbase/conf/core-site.xml"))
    
    
    scala> conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml"))
    
    
    scala> val tableName = "japan"
    
    tableName: String = japan
    
    
    scala> val hbaseContext = new HBaseContext(sc, conf)
    <console>:31: error: not found: type HBaseContext
       val hbaseContext = new HBaseContext(sc, conf)
                              ^
    
    scala> import com.cloudera.spark.hbase.HBaseContext
    <console>:27: error: object cloudera is not a member of package com
       import com.cloudera.spark.hbase.HBaseContext
                  ^
    
[/code]


CC BY-SA 3.0
2016-04-01T09:24:58.307
23665
2016-09-29T02:28:50.390
15001
question
scala
sparkからhbaseの接続方法


Clouderaのリポジトリはここにあります。  
<https://repository.cloudera.com/artifactory/cloudera-repos/>

お探しのhbase-sparkはここにあります。  
<https://repository.cloudera.com/cloudera/cloudera-
repos/org/apache/hbase/hbase-spark/>

jarは幾つかバージョンがありますが、これで良いと思います。  
<https://repository.cloudera.com/cloudera/cloudera-
repos/org/apache/hbase/hbase-spark/1.2.0-cdh5.7.0/hbase-
spark-1.2.0-cdh5.7.0.jar>

Mavenプロジェクトなら,次のような感じでpom.xmlを設定すればダウンロードできると思います。

[code]

    <repositories>
        <repository>
            <id>cloudera</id>
            <name>Cloudera Maven Repository</name>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>
    
    <dependencies>
         <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-spark</artifactId>
            <version>1.2.0-cdh5.7.0</version>
        </dependency>
    </dependencies>
    
[/code]


CC BY-SA 3.0
2016-04-01T15:25:22.583
23671
2016-04-01T15:47:20.813
2016-04-01T15:47:20.813
7837
7837
23665
answer