Cum de a cartografia RDD de clasă caz ​​la LabeledPoint (eticheta, vector caracteristic)

voturi
27

Cum de a cartografia RDD de clasă caz ​​la LabeledPoint (eticheta, vector caracteristic).

Aceasta este DZR de clasă caz ​​Examen (x: dublă, y: Double):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3.0,10.0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

Am încercat a face acest lucru -

     val parsedData = aRDD.map(row =>
     new LabeledPoint(
     row._1,
     Vectors.dense(row._2))

Obținerea de eroare „Valoarea _1 nu este membru al main.scala.spark.Q1Partb.Q1.Exam“ la row._1 și row._2

și asta -

          val parsedData = aRDD.map{line => 
          val Array(rawLabel, rawfeatures) = line.split(',')
          val features = rawfeatures) .split(' ').map(_.toDouble)
          LabeledPoint(rawLabel.toDouble, Vectors.dense(features))}

Obținerea de eroare „valoare recursiv x tip $ 4 are nevoie“ pentru rawLabel și „valoare divizat nu este membru al main.scala.spark.Q1Partb.Q1.ds“ pentru line.split ( „“)

Întrebat 03/05/2017 la 22:53
de către utilizator
În alte limbi...                            


2 răspunsuri

voturi
1

Dacă aveți un RDD [Examen] ar trebui să fie în măsură să scrie

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y))
Publicat 04/05/2017 la 04:59
sursa de către utilizator

voturi
1

Am avut această problemă, deoarece numele meu variabilă a fost luată de o funcție.

Asa de private val Seq(transaction, transaction2) = insertTx(...

a devenit

private val Seq(transaction1, transaction2) = insertTx(...

cu tranzacția fiind vinovatul.

Publicat 09/08/2017 la 20:15
sursa de către utilizator

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more