Ambari: crie um cluster Hadoop em minutos
O Apache Ambari é uma plataforma desenvolvida pela Hortonworks que permite instalar, configurar e monitorar um cluster hadoop em poucos minutos. Neste post irei ensinar como instalar o Ambari em um cluster com 1 Namenode, 2 Datanode, 1 maquina com Hbase e Hive.
Preparação do ambiente
Primeiramente vamos preparar o ambiente para a instalação do Ambari, no meu caso estou utilizando um CentOs 7.
Primeiro passo é configurar os hostname de cada máquina, para cada máquina digite o comando abaixo conforme o nome que deseja:
hostname novohostname
Após configurar o hostname vamos configurar o arquivo de hosts, para isso vamos utilizar o comando:
ip a
Ao digitar o comando ip a você recebera uma saída parecida com a imagem abaixo, onde está circulado em vermelho é o seu IP.
Após pegar o IP de cada máquina vamos editar o /etc/hosts, para isso podemos utilizar o editor de texto vi/vim ou fazer da seguinte forma:
echo "192.168.0.14" datanode1.hadoop.com.br >> /etc/hosts echo "192.168.0.15" namenode.hadoop.com.br >> /etc/hosts echo "192.168.0.16" datanode2.hadoop.com.br >> /etc/hosts echo "192.168.0.17" databases.hadoop.com.br >> /etc/hosts
No meu caso meus ip’s para as máquinas datanodes são 192.168.0.14 e 192.168.0.16, para a máquina namenode 192.168.0.15 e para a máquina de database foi atribuído 192.168.0.17.
PS: Os nomes em vermelho são os hostname de cada máquina, a minha máquina com ip 192.168.0.14 possui o hostname datanode1.hadoop.com.br
Próximo passo é desabilitar o iptables, para isso iremos utilizar o seguinte comando em TODAS as máquinas
systemctl disable firewalld service firewalld stop
Após desabilitar o iptables iremos desabilitar o selinux de TODAS as máquinas, primeiro vamos digitar o comando
setenforce 0
Depois vamos editar o arquivo /etc/selinux/config conforme a imagem abaixo:
Agora vamos gerar uma chave ssh para que o ambari consiga acessar as máquinas, para isso vamos na máquina namenode e utilizar o seguinte comando:
ssh-keygen
Nas 2 perguntas do comando apenas aperte enter, agora vamos copiar a chave publica para todas a máquinas:
ssh-copy-id datanode1.hadoop.com.br ssh-copy-id datanode2.hadoop.com.br ssh-copy-id namenode.hadoop.com.br ssh-copy-id databases.hadoop.com.br
Precisamos realizar o ssh-copy-id da máquina namenode para ela mesma pois a chave que é gerada é usada.
Para terminamos a preparação do ambiente vamos configurar os repositórios da hortonworks somente na máquina namenode, primeiramente vamos instalar o wget com o comando:
yum install wget -y
Instalação do Ambari
Após instalar o wget vamos configurar o repositório da hortonworks para fazer o download:
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
Ao terminar de configurar o repositório da hortonworks vamos utilizar o comando abaixo para verificar se o repositório está ok
yum repolist
Com o repositório configurado corretamente vamos começar a instalação:
yum install ambari-server -y
Com a instalação concluída vamos começar a configurar:
ambari-server setup
Caso você queria configurar alguma configuração específica, fiquem a vontade caso contrário é só apertar enter na perguntas do terminal.
Após realizar o setup vamos iniciar o servidor com o comando:
ambari-server start
Para verificar se o servidor está rodando basta utilizar o comando:
ambari-server status
Para acessar a página web do servidor basta colocar no browse o ip do seu namenode na porta 8080, o usuário e senha padrão é admin/admin:
No próximo post irei ensinar como instalar e configurar as ferramentas do ambiente hadoop pelo Apache-Ambari.
About author
Você pode gostar também
Introdução a Distribuições Linux
Introdução Esse post tem a missão de introduzir o contexto de distribuições do Linux, suas diferenças e trazer uma ótica analítica para distros (distribuições) fora da curva. Para começar, temos
Upgrade no curso gratuito de Auditoria de Logs da 4Linux
Olá para você que trabalha ou tem interesse no gerenciamento de Logs! A 4Linux acaba de atualizar e ampliar seu curso de Logs totalmente gratuito, que agora conta com novas
MongoDB: como gerenciar dados com noSQL
Dando continuidade na série de MongoDB, após construir um Cluster de MongoDB usando o passo a passo do desse artigo, vamos agora manipular os dados dentro desse banco, ou como