Taula de continguts:

Com inicio el meu servidor d'historial de spark?
Com inicio el meu servidor d'historial de spark?

Vídeo: Com inicio el meu servidor d'historial de spark?

Vídeo: Com inicio el meu servidor d'historial de spark?
Vídeo: Somewhere Out There | Critical Role | Campaign 3, Episode 59 2024, Maig
Anonim

Per habilitar el servidor d'historial de Spark:

  1. Creeu un directori per als registres d'esdeveniments al sistema de fitxers DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Quan el registre d'esdeveniments està habilitat, el comportament predeterminat és que es desin tots els registres, cosa que fa que l'emmagatzematge creixi amb el temps.

A més d'això, com puc configurar un servidor d'historial d'espurnes?

Per habilitar el servidor d'historial de Spark:

  1. Creeu un directori per als registres d'esdeveniments al sistema de fitxers DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Quan el registre d'esdeveniments està habilitat, el comportament predeterminat és que es desin tots els registres, cosa que fa que l'emmagatzematge creixi amb el temps.

De la mateixa manera, com puc trobar l'URL del meu servidor d'historial de spark? Per exemple, per al servidor d'historial , normalment estarien accessibles a servidor - url >:18080/api/v1 i, per a una aplicació en execució, a https://localhost:4040/api/v1. A l'API, es fa referència a una aplicació pel seu ID d'aplicació, [app-id].

De la mateixa manera, què és el servidor Spark History?

El El servidor d'historial de Spark és una eina de seguiment que mostra informació sobre completat Espurna aplicacions. Aquesta informació és extret de les dades que les aplicacions escriuen per defecte en un directori del sistema de fitxers distribuïts de Hadoop (HDFS).

Què és Sparkui?

La interfície d'usuari web de Spark us permet veure una llista d'etapes i tasques del programador, informació ambiental, informació sobre els executors en execució i molt més. Mireu aquesta demostració de 30 minuts per obtenir informació sobre: Components i cicle de vida d'un programa Spark. Com s'executa la vostra aplicació Spark en un clúster Hadoop.

Recomanat: