HDFS是Hadoop的一部分,它具有下载当前名称节点快照的命令。我们可以通过Spark加载Image或对其进行数据摄取,以使其进入Hive以分析数据并验证它如何使用HDFS。
HDFS文件系统元数据存储在名为FsImage的文件中。在此快照中包含:
- 整个文件系统命名空间
- Maps,Blocks,文件备份
- ACLS,属性配置等
要想使用FsImage必须解决以下问题:
- 运行命令下载Image并生成XML文件(也可以是其他类型文件)
- 处理并将数据保存在Hive表中(建议使用Hive表,当然保存到其他库中也可以,根据情况而定)
- 使用Hive SQL分析一些数据并使用图表工具绘制数据
生成HDFS FsImage
FSImage可以生成CSV,XML或分布式格式的图像,我们需要分析Block和ACLS;因为它们是数组类型的字段,所以它们不能以CSV格式工作。你可以在这里看到更多信息:
- 要生成图像,请检查名称节点中的位置:
hdfs getconf -confKey dfs.namenode.name.dir
- 下载FsImage文件到/tmp目录。下载时间根据我们HDFS系统大小而定
hdfs dfsadmin -fetchImage /tmp
- 现在需要将其转换为XML格式
hdfs oiv -p XML -i /tmp/fsimage_0000000000000103292 -o fsimage.xml
解析图像数据
使用Databricks进行转换XML文件
- 创建Hive表
USE analyze;
CREATE EXTERNAL TABLE IF NOT EXISTS analyze.fsimage_hdfs
(
id string COMMENT '唯一标识号',
type string COMMENT '数据类型:目录或文件,链接等......',
name string COMMENT '目录或文件的名称..',
replication string COMMENT '副本编码',
modfiy_time string COMMENT '修改日期',
last_time string COMMENT '上次访问的日期',
preferred_block_size string COMMENT '使用块大小',
permission string COMMENT '使用的权限,用户,组(Unix权限)',
acls string COMMENT '访问权限:用户和组',
blocks string COMMENT '块',
storage_policy_id string COMMENT '访问策略的ID号',
nsquota string COMMENT '配额名称,如果-1被禁用',
dsquota string COMMENT '空间可用评估用户/组,如果-1被禁用',
fileunder_construction string COMMENT '文件或目录仍处于构建/复制状态',
path string COMMENT '文件或目录的路径'
)
PARTITIONED BY (odate string, cluster string)
ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'parquet.hive.DeprecatedParquetInputFormat'
OUTPUTFORMAT 'parquet.hive.DeprecatedParquetOutputFormat'
LOCATION '/tmp/analyze/fsimage_hdfs';
接下来就是进行使用图表渲染数据了
© 著作权归作者所有
文章评论(0)