Hadoop Accesible (Accessible Hadoop Report)

Este informe identifica los hosts que ejecutan Hadoop y tienen las interfaces web NameNode o DataNode en ejecución y accesibles para el mundo en Internet.

Apache Hadoop es un entorno de trabajo para software, bajo licencia libre, para programar aplicaciones distribuidas que manejen grandes volúmenes de datos.​ Permite a las aplicaciones trabajar con miles de nodos en red y petabytes de datos.

Como mínimo, esto puede permitir la recopilación de información contra la organización objetivo. En otros casos, puede permitir que un ciberatacante manipule la instancia de Hadoop.

Este reporte no indica indicios de compromiso o ataques desde las IPs en cuestión, sino sólo representa la presencia de un equipo o servicio potencialmente vulnerable y/o expuesto.

Para obtener más información sobre los esfuerzos de escaneo, consulte la página de resumen de escaneo de Internet.

CAMPOS

timestampHora en que se sondeó la IP en UTC+0
ipLa dirección IP del dispositivo en cuestión.
protocol Protocolo en el que se produjo la respuesta (siempre TCP)
portPuerto del que provino la respuesta (50070/TCP o 50075/TCP)
hostnameNombre DNS inverso del dispositivo en cuestión
versionVersión en ejecución de Hadoop
tagsiempre será hadoop
asnASN de donde reside el dispositivo en cuestión
geoPaís donde reside el dispositivo en cuestión
region Estado/Provincia/Región administrativa donde reside el dispositivo en cuestión
city Ciudad en la que reside el dispositivo en cuestión
naicsCódigo del sistema de clasificación de la industria de América del Norte
sicCódigo del sistema de clasificación industrial estándar
server_typeEl tipo de servicio que respondió; este valor es «namenode» (respuesta a la sonda en el puerto 50070/TCP) o «datanode» (respuesta a la sonda en el puerto 50075/TCP); los campos que contienen datos de un solo tipo de respuesta se indican con «nodo de nombre» o «nodo de datos»
clusteridID único del clúster
total_diskLa cantidad total de espacio en disco disponible para Hadoop (en bytes) (solo respuestas de nodo de nombre)
used_diskLa cantidad de espacio en disco utilizado por Hadoop (en bytes) (solo respuestas de nodo de nombre)
free_diskLa cantidad de espacio en disco libre para Hadoop (en bytes) (solo respuestas de nodo de nombre)
livenodesEl primer nombre de nodo de datos en vivo que aparece en la respuesta (solo respuestas de nodo de nombre)
namenodeaddressNombre de host trivial del NameNode con el que está asociado el DataNode (solo respuestas de datanode)
valumeinfoLa ruta en la que se almacenan los datos de Hadoop (solo respuestas de nodo de datos)

EJEMPLO

"timestamp","ip","port","hostname","version","asn","geo","region","city","naics","sic","server_type","clusterid","total_disk","used_disk","free_disk","livenodes","namenodeaddress","volumeinfo"
"2017-09-13 02:06:05","199.116.235.200",50070,,"2.7.3, rbaa91f7c6bc9cb92be5982de4719c1c8af91ccff",15296,"CA","ALBERTA","CALGARY",0,0,"namenode","CID-64471a53-60cb-4302-9832-92f321f111fe",41567956992,53248,25160089600,"edmonton:50010",,
"2017-09-13 02:06:05","165.227.123.187",50070,,"2.5.0-cdh5.3.5, rc15da49be59e6ee467549c5ad9e99e1d4d31f972 ",14061,"US","NEW JERSEY","CLIFTON",0,0,"namenode","CID-5aa27504-96d6-4bde-9da4-c5498ac57d5c",169068572672,24576,153751240704,"s201709-8.localdomain",,
"2017-09-13 02:07:48","104.43.235.92",50075,,"2.7.1.2.4.0.0-169",8075,"US","IOWA","DES MOINES",334111,357101,"datanode","CID-771bae52-9e4f-4ec4-bc1a-c867585751f0",,,,,"sandbox.hortonworks.com","/hadoop/hdfs/data/current"

Fuente: http://sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin