Taula de continguts:

On puc trobar registres d'espurnes?
On puc trobar registres d'espurnes?

Vídeo: On puc trobar registres d'espurnes?

Vídeo: On puc trobar registres d'espurnes?
Vídeo: ELK: Elasticsearch, logstash, beats (Часть 1) / Java Tech Talk 2024, Abril
Anonim

Registre directoris

La ubicació predeterminada de SPARK_WORKER_LOG_DIR és /var/ registre / espurna /treballador. El valor per defecte registre directori per iniciar el Espurna El servidor SQL Thrift és $HOME/ espurna -servidor d'estalvi. Espurna Shell i aplicació registres s'envien a la consola. Registre els fitxers de configuració es troben al mateix directori que espurna -env.sh.

Respecte a això, com puc obtenir registres d'espurnes?

Espurna feina o sol·licitud des de la pàgina Analitzar, podeu accedir al registres mitjançant la interfície d'usuari de l'aplicació i Espurna Interfície d'usuari de l'aplicació. pàgina, podeu accedir a registres mitjançant el Espurna Interfície d'usuari de l'aplicació. També pots addicional registres per identificar els errors i les excepcions Espurna errors laborals o de sol·licitud.

De la mateixa manera, com comproveu els troncs de fil? Visualització a registre fitxer El registres d'una aplicació mestra també es pot veure en un navegador a la interfície d'usuari del gestor de recursos a fil .resourcemanager.webapp.address}/cluster (https://localhost:8088 en un sol node "clúster").

De la mateixa manera, es pot preguntar com puc obtenir els registres de l'executor a Spark?

Respon

  1. Instruccions per obtenir els registres de l'executor de Spark:
  2. Per a Amabari -- 1) Aneu al Servei Spark i a la pestanya Configuracions: 2) Cerqueu l'entrada "Propietats avançades de spark-log4j".
  3. Per a Cloudera -- Set: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Com trobo l'URL del meu servidor d'historial de spark?

Per exemple, per al servidor d'historial , normalment estarien accessibles a servidor - url >:18080/api/v1 i, per a una aplicació en execució, a https://localhost:4040/api/v1. A l'API, es fa referència a una aplicació pel seu ID d'aplicació, [app-id].

Recomanat: