sqoop Installazione o configurazione


Esempio

Sqoop viene fornito come un pacchetto binario, tuttavia è composto da due parti separate client e server. È necessario installare il server su un singolo nodo nel cluster. Questo nodo fungerà quindi da punto di ingresso per tutti i client Sqoop di connessione. Il server funge da client di mapreduce e pertanto Hadoop deve essere installato e configurato sul server Sqoop di hosting della macchina. I client possono essere installati su qualsiasi numero arbitrario di macchine. Il client non agisce come un client di mapreduce e quindi non è necessario installare Hadoop su nodi che agiranno solo come client Sqoop.

Copia gli artefatti Sqoop sulla macchina su cui vuoi eseguire il server Sqoop. Questa macchina deve aver installato e configurato Hadoop. Non è necessario eseguire alcun servizio correlato a Hadoop, tuttavia la macchina deve essere in grado di agire come client Hadoop.

# Extract Sqoop  tar
tar -xf sqoop-<version>-bin-hadoop<hadoop-version>.tar.gz

# Move decompressed content to any location 
  (you can also setup soft links to sqoop directory)
mv sqoop-<version>-bin-hadoop<hadoop version>.tar.gz /opt/apache/sqoop

# Change working directory
cd /opt/apache/sqoop

Installa dipendenze per SQOOP

È necessario installare le librerie Hadoop nel file di guerra del server Sqoop. Sqoop fornisce comodo script addtowar.sh per farlo.

Se hai installato Hadoop nella solita posizione in / usr / lib e l'eseguibile hadoop è nel tuo percorso, puoi utilizzare la procedura di installazione automatica di Hadoop:

./bin/addtowar.sh -hadoop-auto

Nel caso in cui Hadoop sia installato in una posizione diversa, sarà necessario specificare manualmente la versione di Hadoop e il percorso delle librerie Hadoop. È possibile utilizzare il parametro -hadoop-version per specificare la versione principale di Hadoop,

./bin/addtowar.sh -hadoop-version 2.0 -hadoop-path /usr/lib/hadoop-common:/usr/lib/hadoop-hdfs:/usr/lib/hadoop-yarn
  • Installati JDBC necessari per sqoop da connettere al database

./bin/addtowar.sh -jars /path/to/jar/mysql-connector-java-*-bin.jar

Avvia e ferma i servizi server Sqoop

./bin/sqoop.sh server start
./bin/sqoop.sh server stop

Passi per la configurazione del client Sqoop

Copia gli artefatti di distribuzione Sqoop sul computer di destinazione e decomprimilo nella posizione desiderata. È possibile avviare il client con il seguente comando:

bin/sqoop.sh client

Il client Sqoop 2 ha la capacità di caricare file di risorse in modo simile ad altri strumenti da riga di comando. All'inizio dell'esecuzione il client Sqoop controllerà l'esistenza del file .sqoop2rc nella directory home dell'utente attualmente loggato. Se tale file esiste, verrà interpretato prima di eventuali azioni aggiuntive. Questo file viene caricato sia in modalità interattiva che in modalità batch. Può essere utilizzato per eseguire qualsiasi comando compatibile con batch.

Esempio di file di risorse:

# Configure our Sqoop 2 server automatically
set server --host sqoop2.company.net

# Run in verbose mode by default
set option --name verbose --value true