Cum de a cartografia RDD de clasă caz la LabeledPoint (eticheta, vector caracteristic)

Question

Cum de a cartografia RDD de clasă caz la LabeledPoint (eticheta, vector caracteristic)

voturi

27

Cum de a cartografia RDD de clasă caz la LabeledPoint (eticheta, vector caracteristic).

Aceasta este DZR de clasă caz Examen (x: dublă, y: Double):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

Am încercat a face acest lucru -

     val parsedData = aRDD.map(row =>
     new LabeledPoint(
     row._1,
     Vectors.dense(row._2))

Obținerea de eroare „Valoarea _1 nu este membru al main.scala.spark.Q1Partb.Q1.Exam“ la row._1 și row._2

și asta -

          val parsedData = aRDD.map{line => 
          val Array(rawLabel, rawfeatures) = line.split(',')
          val features = rawfeatures) .split(' ').map(_.toDouble)
          LabeledPoint(rawLabel.toDouble, Vectors.dense(features))}

Obținerea de eroare „valoare recursiv x tip $ 4 are nevoie“ pentru rawLabel și „valoare divizat nu este membru al main.scala.spark.Q1Partb.Q1.ds“ pentru line.split ( „“)

scala apache-spark

Întrebat 03/05/2017 la 22:53
de către utilizator lisa

În alte limbi...

2 răspunsuri

Shaido · Answer 1 · 2017-05-04 04:59

voturi

1

Dacă aveți un RDD [Examen] ar trebui să fie în măsură să scrie

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y))

Publicat 04/05/2017 la 04:59
sursa de către utilizator Shaido

ShadyAmoeba · Answer 2 · 2017-08-09 20:15

voturi

1

Am avut această problemă, deoarece numele meu variabilă a fost luată de o funcție.

Asa de private val Seq(transaction, transaction2) = insertTx(...

a devenit

private val Seq(transaction1, transaction2) = insertTx(...

cu tranzacția fiind vinovatul.

Publicat 09/08/2017 la 20:15
sursa de către utilizator ShadyAmoeba

Cum de a cartografia RDD de clasă caz ​​la LabeledPoint (eticheta, vector caracteristic)

Cum de a cartografia RDD de clasă caz la LabeledPoint (eticheta, vector caracteristic)