S3 es basa en HDFS?
S3 es basa en HDFS?

Vídeo: S3 es basa en HDFS?

Vídeo: S3 es basa en HDFS?
Vídeo: Поднимаем Hadoop-кластер локально | Скринкасты | Ok #1 2024, Abril
Anonim

S3 en realitat és un emmagatzematge infinit al núvol però HDFS no és. HDFS està allotjat en màquines físiques, de manera que hi podeu executar qualsevol programa. No pots executar res S3 ja que és només Object Store i no FS.

Aleshores, s3 és un sistema de fitxers distribuït?

S3 no és un sistema de fitxers distribuït . És un magatzem d'objectes binaris que emmagatzema dades en parells clau-valor. És essencialment un tipus de base de dades NoSQL. Cada cub és una nova "base de dades", amb les claus que són el "camí de la carpeta" i els valors són els objectes binaris ( Fitxers ).

També es pot preguntar, AWS es basa en Hadoop? Hadoop és un marc que ajuda a processar grans conjunts de dades en diversos ordinadors. Inclou Map/Reduce (processament paral·lel) i HDFS (sistema de fitxers distribuït). AWS és un magatzem de dades construït a més d'una tecnologia patentada desenvolupada originalment per ParAccel.

A més d'això, com puc transferir fitxers de s3 a HDFS?

Respon. No hi ha directe manera de copiar fitxers de S3 a HDFS sense passar per local Fitxers . Tanmateix, podeu utilitzar el component tSystem en un treball estàndard per trucar al natiu Hadoop comanda que utilitzeu habitualment copiar fitxers , per exemple, s3 -dist-cp.

Què és la base de dades s3?

Amazon S3 o Amazon Simple Storage Service és un servei ofert per Amazon Web Services (AWS) que proporciona emmagatzematge d'objectes mitjançant una interfície de servei web. Amazon S3 utilitza la mateixa infraestructura d'emmagatzematge escalable que fa servir Amazon.com per executar la seva xarxa global de comerç electrònic.

Recomanat: