Què és Emrfs?
Què és Emrfs?

Vídeo: Què és Emrfs?

Vídeo: Què és Emrfs?
Vídeo: Opensource Table Formats with AWS Glue and Amazon EMR- AWS Analytics in 15 2024, Maig
Anonim

El sistema de fitxers EMR ( EMRFS ) és una implementació d'HDFS que utilitzen tots els clústers d'Amazon EMR per llegir i escriure fitxers habituals d'Amazon EMR directament a Amazon S3. El xifratge de dades us permet xifrar objectes que EMRFS escriu a Amazon S3 i s'activa EMRFS per treballar amb objectes xifrats a Amazon S3.

Respecte a això, quina és la visió coherent d'Emrfs?

El Vista coherent d'EMRFS crea i utilitza metadades en una taula Amazon DynamoDB per mantenir a visió coherent dels vostres objectes S3. Aquesta taula fa un seguiment de determinades operacions, però no conté cap de les vostres dades.

Quina diferència hi ha entre s3 i s3a? Aquest és el diferència entre els tres: s3 és una superposició basada en blocs a la part superior d'Amazon S3 , mentre que s3n/ s3a no ho són. Aquests estan basats en objectes. s3n admet objectes de fins a 5 GB quan la mida és la preocupació s3a Admet objectes de fins a 5 TB i té un rendiment superior.

En conseqüència, EMR utilitza HDFS?

EMR Sistema de fitxers (EMRFS) Vostè pot utilitzar tampoc HDFS o Amazon S3 com a sistema de fitxers del vostre clúster. Molt sovint, Amazon S3 és s'utilitza per emmagatzemar dades d'entrada i sortida i s'emmagatzemen els resultats intermedis HDFS.

Què és s3a?

S3A (esquema URI: s3a ) Un successor de la S3 Natiu, s3n fs, el S3a : el sistema utilitza les biblioteques d'Amazon per interactuar S3 . Això permet S3a per suportar fitxers més grans (no més de límit de 5 GB), operacions de major rendiment i molt més.

Recomanat: