Wie ein RDD von Fall Klasse LabeledPoint (label, Merkmalsvektor) zur Karte

Question

Wie ein RDD von Fall Klasse LabeledPoint (label, Merkmalsvektor) zur Karte

stimmen

27

Wie ein RDD von Fall Klasse LabeledPoint (label, Merkmalsvektor) abzubilden.

Dies ist die RDD von Fallklasse Exam (x: Double, y: Doppel):

Ds (1.0,6.0)

Ds (2.0,8.0)

Ds (3.0,10.0)

ds (4.0,12.0)

Ds (5.0,14.0)

Versucht, dies zu tun -

     val parsedData = aRDD.map(row =>
     new LabeledPoint(
     row._1,
     Vectors.dense(row._2))

Fehler beim Abruf „Wert _1 ist kein Mitglied von main.scala.spark.Q1Partb.Q1.Exam“ bei row._1 und row._2

und das -

          val parsedData = aRDD.map{line => 
          val Array(rawLabel, rawfeatures) = line.split(',')
          val features = rawfeatures) .split(' ').map(_.toDouble)
          LabeledPoint(rawLabel.toDouble, Vectors.dense(features))}

Erste Fehler „rekursiven Wert x Typ $ 4 needs“ für rawLabel und „Wert Split ist kein Mitglied von main.scala.spark.Q1Partb.Q1.ds“ für line.split ( ‚‘)

scala apache-spark

Veröffentlicht am 03/05/2017 um 22:53
vom benutzer lisa

In anderen Sprachen...

2 antworten

Shaido · Answer 1 · 2017-05-04 04:59

stimmen

1

Wenn Sie eine RDD [Prüfung] haben sollten Sie in der Lage sein zu schreiben

val parsedData = aRDD.map(exam => LabeledPoint(exam.x, Vectors.dense(exam.y))

Beantwortet am 04/05/2017 um 04:59
quelle vom benutzer Shaido

ShadyAmoeba · Answer 2 · 2017-08-09 20:15

stimmen

1

Ich hatte dieses Problem, weil meine Variablennamen durch eine Funktion genommen wurde.

Damit private val Seq(transaction, transaction2) = insertTx(...

wurde

private val Seq(transaction1, transaction2) = insertTx(...

mit der Transaktion der Täter zu sein.

Beantwortet am 09/08/2017 um 20:15
quelle vom benutzer ShadyAmoeba