Hadoop - Referência de Comandos

Advertisements

Há muitos mais comandos em "$HADOOP_HOME/bin/hadoop fs" que são demonstrado aqui, embora estas operações básicas irá ajudá-lo a começar. Executar ./bin/hadoop dfs sem argumentos adicionais irá listar todos os comandos que podem ser executados com o FsShell sistema. Além disso, $HADOOP_HOME/bin/hadoop fs -help commandName irá exibir um curto resumo de uso para a operação em causa, se você estiver preso.

Uma tabela de todas as operações é mostrado abaixo. As seguintes convenções são usadas para os parâmetros.

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.

Todos os outros arquivos e caminho nomes referem-se a objetos dentro HDFS.

1.	ls <path> Apresenta o conteúdo do diretório especificado pelo caminho, mostrando os nomes, as permissões, dono, tamanho e data de modificação para cada entrada.
2.	lsr <path> Comporta-se como -ls, mas recursivamente exibe as entradas em todos os subdiretórios do caminho.
3.	du <path> Mostra uso de disco, em bytes, para todos os arquivos que correspondem ao caminho; os nomes de arquivos são relatadas com o protocolo completo HDFS prefixo.
4.	dus <path> Como -du, mas imprime um resumo da utilização do disco de todos os arquivos/diretórios no path.
5.	mv <src><dest> Move o arquivo ou diretório indicado pelo src para dest, dentro HDFS.
6.	cp <src> <dest> Copia o arquivo ou diretório identificado pelo src para dest, dentro HDFS.
7.	rm <path> Remove o arquivo ou diretório vazio identificados pelo caminho.
8.	rmr <path> Remove o arquivo ou diretório identificado pelo caminho. Recursivamente exclui qualquer criança as entradas (ou seja, arquivos ou subdiretórios do caminho).
9.	put <localSrc> <dest> Copia o arquivo ou diretório no sistema de arquivos local identificado por localSrc ao dest dentro do DFS.
10.	copyFromLocal <localSrc> <dest> Idêntico ao -coloque
11.	moveFromLocal <localSrc> <dest> Copia o arquivo ou diretório no sistema de arquivos local identificado por localSrc ao dest a HDFS, e, em seguida, o exclui a cópia local de sucesso.
12.	get [-crc] <src> <localDest> Copia o arquivo ou diretório em HDFS identificados pelo src para o caminho do sistema de arquivos local identificado pelo localDest.
13.	getmerge <src> <localDest> Recupera todos os arquivos que correspondem ao caminho src, HDFS, e copia-os para um único arquivo mesclado no sistema de arquivos local identificado por localDest.
14.	cat <filen-ame> Exibe o conteúdo do arquivo no stdout.
15.	copyToLocal <src> <localDest> Idêntico ao -obtenha
16.	moveToLocal <src> <localDest> Funciona como a obter, mas exclui o HDFS cópia de sucesso.
17.	mkdir <path> Cria um diretório chamado caminho HDFS. Cria os diretórios pais no caminho que estão faltando (por exemplo, mkdir -p em Linux).
18.	setrep [-R] [-w] rep <path> Define o alvo fator replicação de arquivos identificados pelo caminho para rep. (O verdadeiro fator replicação irá se mover para a meta ao longo do tempo)
19.	touchz <path> Cria um arquivo no caminho que contém o tempo atual como um carimbo. Não se um arquivo já existente no caminho, a menos que o arquivo já está tamanho 0.
20.	test -[ezd] <path> Retorna 1 se existe caminho; possui comprimento zero; ou é um diretório ou 0 caso contrário.
21.	stat [format] <path> Imprime as informações sobre caminho. Formato é uma string que aceita tamanho do arquivo em blocos ( %b), ficheiro (%n), tamanho de bloco ( %s), a replicação ( %r), e data de modificação ( %y, %Y).
22.	tail [-f] <file2name> Mostra os últimos 1KB de arquivo no stdout.
23.	chmod [-R] mode,mode,... <path>... Muda as permissões de arquivo associado a um ou mais objetos identificados pelo caminho .... Executa as alterações recursivamente com R. mode é um 3-dígito octal mode, ou {augo}+/-{rwxX}. Não assume se não é especificado e não aplique uma umask selecionados nas.
24.	chown [-R] [owner][:[group]] <path>... Define a propriedade usuário e/ou grupo de arquivos ou diretórios identificados pelo caminho .... Define proprietário recursivamente se -R é especificado.
25.	chgrp [-R] group <path>... Define o grupo proprietário de arquivos ou diretórios identificados pelo caminho .... Grupo conjuntos recursivamente se -R é especificado.
26.	help <cmd-name> Retorna informações sobre o uso de um dos comandos listados acima. Você deve omitir os principais '-' character no cmd.

Previous Page Print Page