Looking for sqoop Keywords? Try Ask4Keywords

sqoopErste Schritte mit sqoop


Bemerkungen

SQOOP Server-Konfigurationsdateien werden im server / config-Verzeichnis des verteilten Artefakts zusammen mit anderen Konfigurationsdateien von Tomcat (für den SQOOP-Server) gespeichert.

Die Datei sqoop_bootstrap.properties gibt an, welcher Konfigurationsanbieter zum Laden der Konfiguration für den Rest des Sqoop-Servers verwendet werden soll. Der Standardwert PropertiesConfigurationProvider sollte ausreichen.

Die zweite Konfigurationsdatei sqoop.properties enthält verbleibende Konfigurationseigenschaften, die sich auf den Sqoop-Server auswirken können. Die Datei ist sehr gut dokumentiert. Überprüfen Sie daher, ob alle Konfigurationseigenschaften in Ihre Umgebung passen. In den meisten Fällen sollten Standard- oder sehr kleine Anpassungen ausreichen.

Installation oder Setup

Sqoop wird als ein Binärpaket ausgeliefert, es besteht jedoch aus zwei separaten Komponenten, Client und Server. Sie müssen den Server auf einem einzelnen Knoten in Ihrem Cluster installieren. Dieser Knoten dient dann als Einstiegspunkt für alle verbundenen Sqoop-Clients. Der Server fungiert als mapreduce-Client. Daher muss Hadoop auf dem Computer installiert werden, auf dem der Sqoop-Server gehostet wird. Clients können auf einer beliebigen Anzahl von Maschinen installiert werden. Der Client fungiert nicht als Mapreduce-Client. Daher müssen Sie Hadoop nicht auf Knoten installieren, die nur als Sqoop-Client fungieren.

Kopieren Sie das Sqoop-Artefakt auf den Computer, auf dem Sie den Sqoop-Server ausführen möchten. Dieser Computer muss Hadoop installiert und konfiguriert haben. Sie müssen dort keine Hadoop-bezogenen Dienste ausführen, der Computer muss jedoch als Hadoop-Client fungieren können.

# Extract Sqoop  tar
tar -xf sqoop-<version>-bin-hadoop<hadoop-version>.tar.gz

# Move decompressed content to any location 
  (you can also setup soft links to sqoop directory)
mv sqoop-<version>-bin-hadoop<hadoop version>.tar.gz /opt/apache/sqoop

# Change working directory
cd /opt/apache/sqoop
 

Installieren Sie Abhängigkeiten für SQOOP

Sie müssen Hadoop-Bibliotheken in der Sqoop-Server-War-Datei installieren. Sqoop bietet dazu ein komfortables Skript addtowar.sh.

Wenn Sie Hadoop an einem üblichen Ort in / usr / lib installiert haben und die ausführbare Datei hadoop in Ihrem Pfad enthalten ist, können Sie die automatische Installation von Hadoop verwenden:

./bin/addtowar.sh -hadoop-auto
 

Falls Sie Hadoop an einem anderen Ort installiert haben, müssen Sie die Hadoop-Version und den Pfad zu den Hadoop-Bibliotheken manuell angeben. Sie können den Parameter -hadoop-version verwenden, um die Hadoop-Hauptversion anzugeben.

./bin/addtowar.sh -hadoop-version 2.0 -hadoop-path /usr/lib/hadoop-common:/usr/lib/hadoop-hdfs:/usr/lib/hadoop-yarn
 
  • Installierte erforderliche JDBC-Jars, damit sqoop eine Verbindung zur Datenbank herstellen kann

./bin/addtowar.sh -jars /path/to/jar/mysql-connector-java-*-bin.jar

Starten und stoppen Sie Sqoop Server Services

./bin/sqoop.sh server start
./bin/sqoop.sh server stop
 

Schritte zur Sqoop-Client-Konfiguration

Kopieren Sie das Sqoop-Verteilungsartefakt auf den Zielcomputer und entpacken Sie es an der gewünschten Stelle. Sie können den Client mit folgendem Befehl starten:

bin/sqoop.sh client
 

Sqoop 2-Clients können Ressourcendateien ähnlich wie andere Befehlszeilenprogramme laden. Zu Beginn der Ausführung überprüft der Sqoop-Client das Vorhandensein der Datei .sqoop2rc im Ausgangsverzeichnis des aktuell angemeldeten Benutzers. Wenn eine solche Datei vorhanden ist, wird sie vor weiteren Aktionen interpretiert. Diese Datei wird im interaktiven Modus und im Stapelmodus geladen. Es kann verwendet werden, um beliebige Batch-kompatible Befehle auszuführen.

Beispiel-Ressourcendatei:

# Configure our Sqoop 2 server automatically
set server --host sqoop2.company.net

# Run in verbose mode by default
set option --name verbose --value true