当前位置：网站首页>【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（五）

【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（五）

2022-07-19 15:58:00 【大数据研习社】

持续分享有用、有价值、精选的优质大数据面试题

致力于打造全网最全的大数据面试专题题库

41、NodeManager节点会将当前节点的DataNode实时上报给RescourceManager，但您之前说HDFS集群的唯一访问入口是NameNode，那是否每台NodeManager在收集本地的DataNode数据时都得访问NameNode获取呢？如果是的话也太浪费HDFS性能了吧，如果不是那是NodeManager是采用什么机制实现不经过NameNode就能获取一个DataNode的数据呢？

参考答案：

“NodeManager节点会将当前节点的DataNode实时上报给RescourceManager”,这个说法是不对的，应该是DataNode上报自己的block给NameNode，RescourceManager和NodeManager管的是资源而不是数据。当作业要读取hdfs数据的时候仅仅从NameNode上获取数据的位置，而不会获取数据本身，得到数据的位置后作业再去找DataNode获取数据本身。

42、CDH 是开源的产品，但是 CM 是付费的呀，我们在生产环境中使用 CM 没有向 cloudera 公司交钱是否会收到律师函呢？但是不用 CM 我们又不知道如何管理(搭建，扩容，监控等)CDH 集群了，如果公司不愿意交钱的话我们大数据运维该如何处理呢？

参考答案：

以后都没有免费的了，不愿意交钱的话可以使用开源社区版，节点不多的话可以人肉运维，自搭建监控平台，节点多的话自己可以写脚本或借助自助化工具运维，比如 ansible 等。

43、ElasticSearch和HDFS都是分布式文件系统，也都可以做数据存储和检索功能，也都是JAVA开源产品，为什么在大数据领域中HDFS比ES更火呢？

参考答案：

这两个组件没有可比性，应对的场景不一样，HDFS应用于海量数据存储，ES应用于全文搜索，在电商和搜索引擎用的多

44、开发人员在hive中创建的元数据表信息该如何实时监控呢？

参考答案：

可以使用阿里开源的Canal来实时读取Hive的元数据库mysql的binlog数据，达到实时监控表的变更操作。

45、HDFS的数据被删除没法直接被监控，企业中该如何避免开发人员误删除数据免得咱们运维背锅呢？

参考答案：

打开审计日志，并使用filebeat采集然后写入ES中，可以实时查询所有数据的操作。

46、大数据安全，权限管理，审计是否有一套完整的解决方案呢？

参考答案：

目前老师所知，没有一套完整方案，可能商业化产品有，大数据安全可以大概有边界网关的安全，比如云桌面、VPN等，其次是大数据组件自己的安全。

47、生产环境中我们有必要利用 CM 的"图表生成器"来自定义图标形成仪表盘吗?如果有必要，官方提供的度量值太多了，您在是生产环境中都定义了哪些监控图标呢?

参考答案：
这个我们会在正式课中 CM 监控章节进行讲解，主要是主机以及各个组件的核心指标，当出现问题之后再去查看其他指标即可。

48、前面我的问题是想了解，冷热数据文件类型与存储压缩，是两个点，老师仅回复了压缩。压缩层，这个细想，它就仅与 CPU 挂钩，没有过多好探讨的，目前我好奇的是对于 1000 规模的集群文件存储类型的选择。ORC,TEXT,Parquert 等这些，都是基于哪方面设计层的。

参考答案：
我们采集的数据格式是 snappy, 可以认为是 ODS 层；沉淀数据用的 gz;parquet不是不适合数仓，而是对数仓的特定分层来说优势没有体现出来，parquet是当只关注表中的极少的字段的时候优势很明显，在数仓中的ODS、DWD层都是要关注表的几乎所有字段的，这个时候parquet的优势不明显，在DM层和OLAP优势还是比较明显的。