`
liujie5354
  • 浏览: 5944 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

kafka伪分布式安装

 
阅读更多

kafka作为分布式消息系统在企业中有广泛的应用。本篇主要介绍kafka的伪分布式安装,资料来源:http://kafka.apache.org/documentation.html。

 

1.kafka依赖zookeeper,zookeeper的安装和启动暂时不在这里介绍。如果有需要,请大家查询相关资料。

2.首先下载kafka软件,下载地址为:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz

2.将下载的文件解压,放到目录/home/grid/下

3.配置/home/grid/kafka_2.10-0.8.2.1/config/server.properties文件,将日志文件目录修改为

# A comma seperated list of directories under which to store log files

log.dirs=/opt/kafka-logs

4.每个broker代表一个kafka server端,每个broker对应一个server.properties的配置文件,我们搭建运行3个broker的伪分布式环境。配置文件分别为config/server.properties、config/server1.properties、config/server2.properties。

config/server-1.properties:
    broker.id=1
    port=9093
    log.dir=/opt/kafka-logs-1
 
config/server-2.properties:
    broker.id=2
    port=9094
    log.dir=/opt/kafka-logs-2

 

5.启动broker。

bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

 

 

 

 

分享到:
评论

相关推荐

    kafka伪分布式集群安装压缩包

    需要的环境支持:jdk8,zookeeper端口为2181,然后将此压缩包的module目录解压到/opt下并直接运行cluster-kafka.sh即可。 注意:端口不能被占用 主要相关文档: ...

    Apache 伪分布式安装教程 傻瓜式教程 步骤详细

    伪分布式安装教程: Flume Hbase Spark Hive Kafka Sqoop zookeeper等分布式系统框架 备注:Hadoop安装教程当时忘记记录,后续也懒得弄,所以上传资料也暂无hadoop安装教程,尽请理解!!!!

    kafka自定义伪分布式安装.zip

    仅适用于https://blog.csdn.net/m0_51197424/article/details/122457959辅助

    window 伪分布式kafka集群

    环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    大数据技术开发环境搭建.docx

    Hadoop伪分布式配置 25 启动Hadoop 26 运行Hadoop伪分布式实例 30 启动YARN 35 附加教程: 配置PATH环境变量 37 使用Eclipse编译运行MapReduce程序(Hadoop-Eclipse-Plugin,建议) 38 使用Eclipse打包自己的...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    05-hadoop版本选择和伪分布式安装.avi 06-hadoop版本选择和伪分布式安装2.avi 07-hdfs&mapreduce;测试.avi 08-hdfs的实现机制初始.avi 09-hdfs的shell操作.avi 10-hadoop集群搭建的无密登陆配置.avi 第二天 ...

    [Hadoop] 传智播客新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 第二天 hdfs的原理和使用操作、编程 第三天 mapreduce的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 hadoop2.x中HA机制的...

    hadoop2.2.0部署

    4 伪分布式部署spark 20 4.1 下载spark 20 4.2 解压安装 20 4.3 安装scala. 20 4.4 配置spark的启动参数 21 4.5 启动并验证spark是否配置 21 5 搭建zookeeper集群 23 5.1 下载解压 23 5.2 参数配置 23 5.2.1 23 ...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...

    IT十八掌课程-徐培成-大数据-配套PPT

    '[IT18掌www.it18zhang.com]010.Hadoop配置-独立与伪分布式模式.pptx' '[IT18掌www.it18zhang.com]Ambari Hadoop集群管理工具.pptx' '[IT18掌www.it18zhang.com]Spark调优.pptx' '[IT18掌www.it18zhang.com]011....

    2017最新大数据架构师精英课程

    153_kafka集群安装与启动4 ^; K& j3 @6 p0 M 154_kafka创建主题以及查看主题结构 155_考察zk中kafka结构9 N: Y8 u4 {# m/ z1 d3 H 156_kafka分区服务器服务方式 157_kafka编程API实现生产者和消费者+ w9 l1 N( D8 E%...

    springCloud

    管理和传播所有分布式项目中的消息,本质是利用了MQ的广播机制在分布式的系统中传播消息,目前常用的有Kafka和RabbitMQ 。 下面是一个配置中心刷新配置的例子 1、提交代码触发post请求给bus/refresh 2、server端...

Global site tag (gtag.js) - Google Analytics