Please enable JavaScript.
Coggle requires JavaScript to display documents.
Administración Hadoop (HDFS (Herramientas (FIlesystem check (fsck) (Revisa…
Administración Hadoop
HDFS
Estructuras de datos persistentes
Para administrar es muy importante saber
Estructura de los componentes en el disco
Estructura del directorio del Namenode
Version
Filesystem image y edit log
Edit Log
Registra todos los writes solicitados por los clientes
El acceso está sicronizado.
fsimage
Es un checkpoint de la metadata del filesystem
No se actualiza con cada operación de write
Tiene almacenada la forma de todos los directorios y archivos almacenados en el filesystem
No sabe qué nodos tienen qué bloques
En caso de fallo el se carga último fsimage y con aplican las últimas operaciones del edit-log para dejarlo al día.
Proceso de checkpoint con el namenode secundario
Estructura del directorio del Datanode
Block pool
.meta
checksums
header
version
tipo de información
Bloques en raw
Son varios y evitan el problema de tener demasiados archivos en un solo directorio
Safe mode
Modo lectura
Es necesario hasta que el namenode sea conciente de la información que envían los namenodes
Se cancela cuando se alcanza
minimal replication condition
Logs
Herramientas
dfsadmin
Información acerca del estado de HDFS
FIlesystem check (fsck)
Revisa la salud de los archivos.
Mustra donde están los bloques de un archivo en particular
Datanode block scanner
Verifica periodicamente el estado de los bloques (Checksum)
Balancer
es un
Demonio
cuya ppal función es
Redistribuir bloques moviéndolos desde datanodes sobreutilizados hacia datanodes subutilizados
manteniendo seguro
HA (Alta disponibilidad)
¿Cómo sabe cuándo está desbalanceado?
EL porcentaje de la utilización del nodo no difiera del porcentaje de utilización del cluster por más de un umbral
umbral por defecto : 10%
Mantenimiento
Procedimientos de administración de rutina
Metadata backups
Copia del fsimage
mediante
dfsadmin
se puede hacer periódicamente con un script
Data backups
No confundir con la replicación de los bloques
¿Por qué?
Si hay un error de software en la ejecución de hadoop que dañe alguna parte del archivo
mediante
distcp
Hacia otros HDFSs
Otras herramientas
Hacia otros sistemas de almacenamiento
clave
Priorizar la data
Añadir y quitar nodos
Añadir nodos
es buena idea también
Balancear el cluster
Quitar nodos
HDFS
Avisar al namenode que el nodo se va a apagar
YARN
El application master notifica si se interrumpe una tarea y la reprograma
Upgrades
si
Hay cambio en el layout del filesystem
entonces
Hay que miigrar el filesystem
entonces
Hay que hacer backups
Sino
El upgrade es muy simple
hay que tener en cuenta
Compatibilidad de la red
Compatibilidad del API
Compatibilidad de los datos (Formatos)
Monitoreo
Logging
Asignar los niveles de log
por defecto
nivel de clases
stack traces
Un thread dump para todos los demonios corriendo en la JVM
Métricas y JMX
hadoop recolecta
Métricas
como
no Bloques replicados
no Peticiones de lectura de los clientes
no Bytes escritos
son publicadas
JMX (Java Management Extensions)
por lo que pueden ser leídas con herramientas como
JConsole
