大数据常用组件默认端口号
2018-08-13
张子阳
分类: 大数据处理
一般来说，Hadoop集群是运行在内网中的，并不开放外网访问，然后通过一个gateway机器作为集群的客户端来提交作业，或者管理集群。此时，内网应当是互通的；如果内网仍需要开启防火墙，那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。
这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号，包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa，其他的例如HBase、Sqoop等以后用到的时候再新增吧。
| 端口 | 配置项 | 说明 |
|---|---|---|
| Hadoop HDFS | ||
| 8020 | fs.defaultFS | hdfs:// 连接 |
| 50090 | dfs.namenode.secondary.http-address | |
| 50091 | dfs.namenode.secondary.https-address | |
| 50010 | dfs.datanode.address | |
| 50075 | dfs.datanode.http.address | DataNode WebUI |
| 50020 | dfs.datanode.ipc.address | |
| 50070 | dfs.namenode.http-address | NameNode WebUI |
| 50475 | dfs.datanode.https.address | |
| 50470 | dfs.namenode.https-address | |
| 50100 | dfs.namenode.backup.address | |
| 50105 | dfs.namenode.backup.http-address | |
| 8485 | dfs.journalnode.rpc-address | |
| 8480 | dfs.journalnode.http-address | |
| 8481 | dfs.journalnode.https-address | |
| 8019 | dfs.ha.zkfc.port | |
| Hadoop YARN | ||
| 8032 | yarn.resourcemanager.address | |
| 8030 | yarn.resourcemanager.scheduler.address | |
| 8088 | yarn.resourcemanager.webapp.address | Yarn ResourceManager WebUI |
| 8090 | yarn.resourcemanager.webapp.https.address | |
| 8031 | yarn.resourcemanager.resource-tracker.address | |
| 8033 | yarn.resourcemanager.admin.address | |
| 8042 | Yarn NodeManager WebUI | |
| 8044 | yarn.nodemanager.webapp.https.address | |
| 8047 | yarn.sharedcache.admin.address | |
| 8788 | yarn.sharedcache.webapp.address | |
| 8046 | yarn.sharedcache.uploader.server.address | |
| 8045 | yarn.sharedcache.client-server.address | |
| 8049 | yarn.nodemanager.amrmproxy.address | |
| 8089 | yarn.router.webapp.address | |
| 8091 | yarn.router.webapp.https.address | |
| Hadoop MapReduce | ||
| 10020 | mapreduce.jobhistory.address | |
| 19888 | mapreduce.jobhistory.webapp.address | |
| 19890 | mapreduce.jobhistory.webapp.https.address | |
| Hive | ||
| 9083 | metastore | |
| 10000 | thrift | |
| Zookeeper | ||
| 2181 | /etc/zookeeper/conf/zoo.cfg clientPort | 客户端连接端口 |
| 2888 | server.x | follower连接到leader的端口 |
| 3888 | server.x | leader选举时的端口 |
| Spark | ||
| 8080 | spark.master.ui.port | Master WebUI |
| 8081 | spark.worker.ui.port | Worker WebUI |
| 18080 | spark.history.ui.port | History server WebUI |
| 7077 | SPARK_MASTER_PORT | Master port |
| 6066 | spark.master.rest.port | Master REST port |
| 4040 | spark.ui.port | Driver WebUI |
| Kafka | ||
| 9092 | server.properties | 客户端连接 |
感谢阅读，希望这篇文章能给你带来帮助！