Migrarea bazei de date folosind Apache Spark

voturi
0

Trebuie să efectueze migrarea de la o bază de date abstractă la altul (de exemplu, vă permite să spunem de la Oracle la Cassandra) și dorim să folosim Apache Spark Streaming pentru asta. Nu este o simplă cartografiere a tipurilor de un db la altul, dar include, de asemenea, transformări complexe și de validare. Un caz tipic este de a verifica, înainte de validare / transformare unele condiție a datelor noastre în RDD prin căutarea unor relații de această valoare, cu valori în ansamblu (poate, de asemenea, diferite) de date CCD (de exemplu, cazurile în care valoarea noastră din DZR este utilizată într-un alt de masă și vrem să verificați acest lucru și a efectua unele acțiuni pentru fiecare apariție apariție).

Deci, avem o opțiune de a utiliza Apache Ignite este cu RDD partajat pentru a rezolva această problemă. Și când vom primi astfel de date, care vor avea nevoie de verificare externă este corelație cu celelalte date din întreaga sferă de migrare, atunci vom merge pur și simplu pentru a aprinde (care va fi folosit ca un depozit temprorary pentru astfel de cazuri), verificați corelații și de a efectua toate acțiunile cu valoare noastră acolo unde este necesar.

Deci, are cineva să aibă o astfel de experiență și ce probleme tipice ne vom întâlni, eventual. Este o bună practică de a utiliza o astfel de arhitectură sau poate fi acest lucru se poate face mai eficient și cu un design mai bun in Spark?

Întrebat 18/12/2017 la 09:42
de către utilizator
În alte limbi...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more