common全局配置(HDFS)

Note

以下操作需要进入druid-io安装文件的根目录下操作，比如我的druid-io安装目录为： /hadoop/dc/druid-0.9.1.1 那么我们需要操作 cd /hadoop/dc/druid-0.9.1.1

修改Druid配置

---

修改_common/common.runtime.properties配置文件

vim _common/common.runtime.properties

修改文件中druid.storage配置信息为以下内容

druid.extensions.hadoopDependenciesDir=/hadoop/dc/druid/hadoop-dependencies/hadoop-client/2.7.3
druid.storage.type=hdfs
druid.storage.storageDirectory=hdfs://nameservice1/druid/segments
#注释掉原来的本地存储
#druid.indexer.logs.type=file
#druid.indexer.logs.directory=/hadoop/dc/indexing-logs
#druid.storage.type=local
#druid.storage.storageDirectory=/hadoop/dc/segments

druid.extensions.hadoopDependenciesDir: 用于配置Hadoop相关依赖的jar文件夹地址

druid.storage.storageDirectory: 配置数据存储的地址，对于ha的集群来说只需要填写ha的地址即可

配置hadoop依赖

---

我们在druid.extensions.hadoopDependenciesDir配置中指定了hadoop依赖的位置，就需要我们将依赖jar放置到该位置

拷贝hadoop集群相关的配置信息到_common文件夹中(改配置文件在集群中可下载CDH or HDP均可)

mv core-site.xml /hadoop/dc/druid/conf/druid/_common/
mv hdfs-site.xml /hadoop/dc/druid/conf/druid/_common/
mv mapred-site.xml /hadoop/dc/druid/conf/druid/_common/
mv yarn-site.xml /hadoop/dc/druid/conf/druid/_common/

将hadoop相关的依赖jar拷贝到druid.extensions.hadoopDependenciesDir配置的目录中即可

Note

如果配置文件中有其他的集成，列表中的只可能会更多。

Danger

修改配置后重启各个节点服务才可生效