Datenbankmigration unter Verwendung von Apache Spark

stimmen
0

Ich muss die Migration von einem abstrakten Datenbank zur anderen führen (können zum Beispiel sagen von Oracle zu cassandra) und wir wollen, dass Apache Spark-Streaming verwenden. Es ist keine einfache Zuordnung von Typen von einem db zum anderen, sondern umfasst auch komplexe Transformationen und Validierung. Ein typischer Fall ist vor der Validierung / Transformation eine Bedingung unserer Daten in RDD zu überprüfen, durch Suche nach ein paar Beziehungen dieser Wert mit Werten im Ganzen (vielleicht auch andere) Datensatz (zum Beispiel Fälle, in denen unser Wert von rdd wird in einem anderen verwendet Tisch und wir wollen, dies überprüfen und einige Aktionen für jedes Auftreten Auftreten durchführen).

So haben wir die Möglichkeit der Verwendung von Apache Ignite damit rdd gemeinsam genutzt werden, dieses Problem zu lösen. Und wenn wir diese Daten empfangen werden, die externe Kontrolle benötigen davon Korrelation mit den anderen Daten aus dem gesamten Migration Rahmen ist, dann werden wir einfach zu entzünden gehen (die als temprorary Lagerung für solche Fälle verwendet werden), Korrelationen zu überprüfen und führt all die notwendigen Maßnahmen mit unserem Wert.

So hat smb solche Erfahrung und welche typischen Probleme, die wir möglicherweise erfüllen. Ist es eine gute Praxis, solche Architektur zu verwenden, oder kann dies effizienter durchgeführt werden kann und mit besserem Design Spark?

Veröffentlicht am 18/12/2017 um 09:42
vom benutzer
In anderen Sprachen...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more