HDFS的shell命令操作-大萝卜博客

10 阅读 作者:露露大 2020-04-02

hdfs dfs 具体命令

[root@node01 Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfs
Usage: Hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] [-h] [-v] [-x] <path> ...]
        [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] [-x] <path> ...]
        [-expunge]
        [-find <path> ... <expression> ...]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} [-e en] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] [-l] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]

常用命令

  • hdfs dfs -help rm -help:输出这个命令参数

  • hdfs dfs -ls / -ls: 显示目录信息

  • hdfs dfs -mkdir -p /aaa/bbb/cc/dd -mkdir:在hdfs上创建目录

  • hdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd -moveFromLocal从本地剪切粘贴到hdfs

  • hdfs dfs -moveToLocal /aaa/bbb/cc/dd /home/Hadoop/a.txt -moveToLocal:从hdfs剪切粘贴到本地(未实现)

  • hdfs dfs -appendToFile ./hello.txt /hello.txt 追加一个文件到已经存在的文件末尾

  • hdfs dfs -cat /hadoop-daemon.sh -cat :显示文件内容

  • hdfs dfs -tail /weblog/access_log.1 -tail:显示一个文件的末尾

  • hdfs dfs -text /weblog/access_log.1 -text:以字符形式打印一个文件的内容

hdfs dfs  -chmod  666  /hello.txt
hdfs dfs  -chown  someuser:somegrp   /hello.txt

-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限

  • hdfs dfs -copyFromLocal ./jdk.tar.gz /aaa/ -copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去

  • hdfs dfs -copyToLocal /aaa/jdk.tar.gz -copyToLocal:从hdfs拷贝到本地

  • hdfs dfs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 -cp :从hdfs的一个路径拷贝到hdfs的另一个路径

  • hdfs dfs -mv /aaa/jdk.tar.gz / -mv:在hdfs目录中移动文件

  • hdfs dfs -get /aaa/jdk.tar.gz -get:等同于copyToLocal,就是从hdfs下载文件到本地

  • hdfs dfs -getmerge /aaa/log.* ./log.sum -getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

  • hdfs dfs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 -put:等同于copyFromLocal 从本地拷贝资源到hdfs

  • hdfs dfs -rm -r /aaa/bbb/ -rm:删除hdfs上的文件或文件夹

  • hdfs dfs -rmdir /aaa/bbb/ccc -rmdir:删除空目录

  • hdfs dfs -df -h / -df :统计文件系统的可用空间信息

  • hdfs dfs -du -s -h /aaa/* -du统计文件夹的大小信息

  • hdfs dfs -count /aaa/ -count:统计一个指定目录下的文件节点数量

  • hdfs dfs -setrep 3 /aaa/jdk.tar.gz -setrep:设置hdfs中文件的副本数量(比如说HDFS默认的副本数量是3,你可以通过此命令将一个文件夹下的所有文件或某个文件使他单独备份成你要备份的数量)
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2B0P3s5x-1575031754080)备份数量

这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

  • hdfs dfs -expunge - expunge :清空hdfs垃圾桶(垃圾桶目录: /user/root/.Trash/Current)

本文来自:
个人网站:大萝卜博客网

原文地址:https://blog.csdn.net/l2581218163/article/details/103317799
热门教程
SHELL脚本企业级案例sshkey架构批量分发文件expect非交互式批量分发密钥 0
LINUX运维之shell自动化安装与自动化部署 0
Node.js实战开发博客CMS系统 0
LINUX系统之Shell脚本高级编程自动化运维实战 0
Linux脚本编程shell编程入门到实战教程 0
C++最新就业班第四期教程全集 0
利用Shell脚本生成全局唯一UUID 0
C语言生成全局唯一的UUID库 libuuid是一个用于生成UUID的C库 0
C++利用Boost库生成UUID boost::uuids::random_generator() 0
QT通过QUuid类实现了UUID的生成 0
Windows下提供了函数CoCreateGuid用于生成UUID 0
Java生成UUID的方法 0
QT判断文本编码的方法QTextCodec::codecForName 0
QT框架提供的强制类型转换方法qobject_cast qgraphicsitem_cast 0
怎么设置QToolBar按钮间距 0
QT利用QFileDialog实现对文件和目录的选择 0
QT获取用户对指定文件的权限,是否可读,可写这些 QT给指定文件重命名 0
设置或获取整个 URL 为字符串 设置或获取 href 属性中在井号“#”后面的分段 0
layui隐藏列的二种设置方法 hide:true 0
从PHP框架剥离的判断是否为手机移动终端的函数 0
相关文章
开发中必知必会的常用Linux命令 16
学习过程中觉得写得好的博客记录 16
Apache Hue: Hue集成HDFS 16
Linux系统编程&mdash;&mdash;基础命令总结 16
hadoop概念总结 16
Hadoop:介绍HDFS的安全模式,具体做了什么 16
端口占用解决命令 16
shell脚本:检测磁盘空间和inode使用率/新文件/网卡流量 16
shell 正则表达式 16
如何知道你在 Linux 里最常使用的几个命令? 16
常用git命令 16
免费获取CSDN超级会员,随意更换博客皮肤,了解一下?(勿点) 16
HDFS InterDataNodeProtocol 接口 与 NamenodeProtocol 接口 16
HDFS DataNodeProtocol 接口 16
HDFS 在clientProtocol 中出现的基本概念的抽象 16
shell脚本部署mysql主从 16
HDFS 的工具 16
centos7 shell脚本一键安装php环境全家桶 16
HDFS 的安全模式 16
JavaScript 设计模式之命令模式 16