博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
删除hdfs中大小为0的文件
阅读量:6379 次
发布时间:2019-06-23

本文共 316 字,大约阅读时间需要 1 分钟。

hot3.png

发现hive表的目录下有很多大小为0的文件,怀疑可能是数据偏移或者reduce生成过多造成的。简单的解决方法是跑hive脚本前设置mapred.reduce.tasks=1试试。

161125_pMxD_1583436.png

 

如果解决不了或者找不到原因,还是要试着清除这些文件在hdfs上。长期存在可能影响集群读写性能。

命令如下,清理目录和文件前缀就自己自定义了:

hadoop fs -lsr /user/hive/warehouse/ | grep part- | awk '{ if ($5 == 0) print $8 }' | xargs hadoop fs -rm

转载于:https://my.oschina.net/aibati2008/blog/855622

你可能感兴趣的文章
为什么要使用AOP?
查看>>
VC :模板类
查看>>
对C++中string类型的总结
查看>>
Oracle发布公共云Public Cloud
查看>>
eclipse高亮显示
查看>>
Shell 操作数据库
查看>>
if lte IE if gte IE 浏览器兼容
查看>>
基于Lumisoft.NET组件和.NET API实现邮件发送功能的对比
查看>>
C#数据库访问技术之DATAREADER对象读取数据
查看>>
各种排序方法
查看>>
编译时程序透彻理解异常并合理使用异常
查看>>
2013年5月18日星期六
查看>>
js 字符串操作函数集合
查看>>
nullnullCF 312B(Archer-等比数列极限求和)
查看>>
消息函数windows 程序设计 第三章 (下)
查看>>
java中调用web中的jsp或servlet去通知它们做一些操作
查看>>
Javascript 坦克大战
查看>>
JavaScript自动设置IFrame高度(兼容各主流浏览器)
查看>>
Linux内核中__init, __initdata, __initfunc(), asmlinkage, ENTRY(), FASTCALL()等作用
查看>>
leetcode -- Two Sum
查看>>