Taula de continguts:

Quins són els principals paràmetres de configuració que l'usuari ha d'especificar per executar el treball de MapReduce?
Quins són els principals paràmetres de configuració que l'usuari ha d'especificar per executar el treball de MapReduce?

Vídeo: Quins són els principals paràmetres de configuració que l'usuari ha d'especificar per executar el treball de MapReduce?

Vídeo: Quins són els principals paràmetres de configuració que l'usuari ha d'especificar per executar el treball de MapReduce?
Vídeo: Java Tech Talk: Telegram бот на java за 1 час 2024, Maig
Anonim

Els principals paràmetres de configuració que els usuaris han d'especificar al marc "MapReduce" són:

  • de Job ubicacions d'entrada al sistema de fitxers distribuït.
  • de Job ubicació de sortida al sistema de fitxers distribuït.
  • Format d'entrada de dades.
  • Format de sortida de dades.
  • Classe que conté la funció de mapa.
  • Classe que conté la funció de reducció.

Aquí, quins són els principals paràmetres de configuració d'un programa MapReduce?

Els principals paràmetres de configuració del marc "MapReduce" són:

  • Introduïu la ubicació de les feines al sistema de fitxers distribuït.
  • Ubicació de sortida de les feines al sistema de fitxers distribuït.
  • El format d'entrada de les dades.
  • El format de sortida de les dades.
  • La classe que conté la funció de mapa.
  • La classe que conté la funció de reducció.

També es pot preguntar, quins són els paràmetres dels mapeadors i reductors? Els quatre paràmetres per als mapeadors són:

  • LongWritable (entrada)
  • text (entrada)
  • text (sortida intermèdia)
  • IntWritable (sortida intermèdia)

També la pregunta és, quins són els components principals de la feina de MapReduce?

  • Classe de controlador principal que proporciona paràmetres de configuració del treball.
  • Classe Mapper que ha d'estendre org. apache. hadoop. mapredueix. Classe Mapper i implementació del mètode map ().
  • Classe reductora que hauria d'estendre org. apache. hadoop. mapredueix. Classe reductora.

Què és el particionador i com ajuda en el procés de treball de MapReduce?

Separador en Treball MapReduce l'execució controla la partició de les claus de les sortides intermèdies del mapa. Amb el ajuda de la funció hash, la clau (o un subconjunt de la clau) deriva el partició . Els registres que tenen el mateix valor de clau passen al mateix partició (dins de cada mapeador).

Recomanat: