Looking for sqoop Answers? Try Ask4KnowledgeBase
Looking for sqoop Keywords? Try Ask4Keywords

sqoopEmpezando con sqoop


Observaciones

Los archivos de configuración del servidor SQOOP se almacenan en el directorio server / config del artefacto distribuido junto con otros archivos de configuración de Tomcat (para alojar el servidor SQOOP).

El archivo sqoop_bootstrap.properties especifica qué proveedor de configuración se debe usar para cargar la configuración para el resto del servidor Sqoop. El valor predeterminado PropertiesConfigurationProvider debería ser suficiente.

El segundo archivo de configuración sqoop.properties contiene las propiedades de configuración restantes que pueden afectar al servidor Sqoop. El archivo está muy bien documentado, así que verifique si todas las propiedades de configuración se ajustan a su entorno. El ajuste por defecto o muy poco debe ser suficiente para la mayoría de los casos comunes.

Instalación o configuración

Sqoop se distribuye como un paquete binario, sin embargo, está compuesto de dos partes separadas de cliente y servidor. Necesita instalar el servidor en un solo nodo en su clúster. Este nodo servirá como un punto de entrada para todos los clientes Sqoop que se conectan. El servidor actúa como un cliente mapreduce y, por lo tanto, Hadoop debe instalarse y configurarse en la máquina que aloja el servidor Sqoop. Los clientes pueden instalarse en cualquier número arbitrario de máquinas. El cliente no actúa como un cliente mapreduce y, por lo tanto, no necesita instalar Hadoop en nodos que actuarán solo como un cliente Sqoop.

Copie el artefacto Sqoop en la máquina donde desea ejecutar el servidor Sqoop. Esta máquina debe tener instalado y configurado Hadoop. No es necesario ejecutar ningún servicio relacionado con Hadoop, sin embargo, la máquina debe poder actuar como un cliente Hadoop.

# Extract Sqoop  tar
tar -xf sqoop-<version>-bin-hadoop<hadoop-version>.tar.gz

# Move decompressed content to any location 
  (you can also setup soft links to sqoop directory)
mv sqoop-<version>-bin-hadoop<hadoop version>.tar.gz /opt/apache/sqoop

# Change working directory
cd /opt/apache/sqoop
 

Instalar dependencias para SQOOP

Debe instalar las bibliotecas de Hadoop en el archivo de guerra del servidor Sqoop. Sqoop proporciona el script de conveniencia addtowar.sh para hacerlo.

Si ha instalado Hadoop en la ubicación habitual en / usr / lib y hadoop ejecutable está en su ruta, puede usar el procedimiento de instalación automática de Hadoop:

./bin/addtowar.sh -hadoop-auto
 

En caso de que tenga Hadoop instalado en una ubicación diferente, deberá especificar manualmente la versión de Hadoop y la ruta a las bibliotecas de Hadoop. Puede usar el parámetro -hadoop-version para especificar la versión principal de Hadoop,

./bin/addtowar.sh -hadoop-version 2.0 -hadoop-path /usr/lib/hadoop-common:/usr/lib/hadoop-hdfs:/usr/lib/hadoop-yarn
 
  • Se instalaron los tarros JDBC necesarios para que sqoop se conecte a la base de datos

./bin/addtowar.sh -jars /path/to/jar/mysql-connector-java-*-bin.jar

Iniciar y detener los servicios del servidor Sqoop

./bin/sqoop.sh server start
./bin/sqoop.sh server stop
 

Pasos de configuración del cliente Sqoop

Copie el artefacto de distribución de Sqoop en la máquina de destino y descomprímalo en la ubicación deseada. Puede iniciar el cliente con el siguiente comando:

bin/sqoop.sh client
 

El cliente de Sqoop 2 tiene la capacidad de cargar archivos de recursos de manera similar a otras herramientas de línea de comandos. Al comienzo de la ejecución, el cliente Sqoop verificará la existencia del archivo .sqoop2rc en el directorio de inicio del usuario registrado actualmente. Si tal archivo existe, será interpretado antes de cualquier acción adicional. Este archivo se carga en modo interactivo y por lotes. Se puede utilizar para ejecutar cualquier comando compatible con lotes.

Ejemplo de archivo de recursos:

# Configure our Sqoop 2 server automatically
set server --host sqoop2.company.net

# Run in verbose mode by default
set option --name verbose --value true