common全局配置(HDFS)
Note
以下操作需要进入druid-io安装文件的根目录下操作,比如我的druid-io安装目录为: /hadoop/dc/druid-0.9.1.1
那么我们需要操作 cd /hadoop/dc/druid-0.9.1.1
修改Druid配置¶
修改_common/common.runtime.properties
配置文件
vim _common/common.runtime.properties
修改文件中druid.storage
配置信息为以下内容
druid.extensions.hadoopDependenciesDir=/hadoop/dc/druid/hadoop-dependencies/hadoop-client/2.7.3
druid.storage.type=hdfs
druid.storage.storageDirectory=hdfs://nameservice1/druid/segments
#注释掉原来的本地存储
#druid.indexer.logs.type=file
#druid.indexer.logs.directory=/hadoop/dc/indexing-logs
#druid.storage.type=local
#druid.storage.storageDirectory=/hadoop/dc/segments
druid.extensions.hadoopDependenciesDir
: 用于配置Hadoop相关依赖的jar文件夹地址
druid.storage.storageDirectory
: 配置数据存储的地址,对于ha的集群来说只需要填写ha的地址即可
配置hadoop依赖¶
我们在druid.extensions.hadoopDependenciesDir
配置中指定了hadoop依赖的位置,就需要我们将依赖jar放置到该位置
拷贝hadoop集群相关的配置信息到_common文件夹中(改配置文件在集群中可下载CDH or HDP均可)
mv core-site.xml /hadoop/dc/druid/conf/druid/_common/
mv hdfs-site.xml /hadoop/dc/druid/conf/druid/_common/
mv mapred-site.xml /hadoop/dc/druid/conf/druid/_common/
mv yarn-site.xml /hadoop/dc/druid/conf/druid/_common/
将hadoop相关的依赖jar拷贝到druid.extensions.hadoopDependenciesDir
配置的目录中即可
Note
如果配置文件中有其他的集成,列表中的只可能会更多。
Danger
修改配置后重启各个节点服务才可生效