Este blog es de un puertorriqueño con suerte que obtuvo un trabajo en algo que nunca habia hecho. Aquí encontrarás guías técnicas de las tareas de Linux Administration, Shell Scripting, MySQL y Oracle que me han asignado y he tenido que aprender por cuenta propia.
Showing posts with label mysql. Show all posts
Showing posts with label mysql. Show all posts
Thursday, September 12, 2013
Llenar una tabla de MySQL utilizando un archivo local (MySQL Loader)
Muchas veces me envían reportes llenos de data que desean analizar y/o cruzar con otra. Si los archivos son pequeños no hay problema pues muchas veces podemos hacer el cruce con grep y diffs utilizando shell scripting. Pero, ¿si son millones de records y tienes que comparalos con una tabla existente? Para esto utilizamos el SQL Loader. El SQL loader nos permite cargar archivos directamente a la tabla que necesitamos.
La estructura del comando es la siguiente:
'load data LOCAL infile '/carpeta/archivo.txt' into TABLE <NombreDeLaTabla> FIELDS <OPCION1> <OPCION2> (CAMPO1,CAMPO2,...,CAMPON);
<OPCION> - Entre las opciones que puedes poner aquí están:
TERMINATED BY ',' : Con este le decimos que los campos estan separados por comas.
ENCLOSED BY '"': Con este le decidmos que los campos estan encerrados entre comillas ".
Hay muchas más pero usualmente estas son las más que uso.
Si utilizamos las dos opciones le decimos que los campos estan encerrados entre comillas pero separados por comas.
La parte de CAMPO1,CAMPO2 van los nombres de los campos de la tabla a donde vas a insertarlos. Es importante que estén en el mismo orden que se encuentran en el archivo.
Ejemplo:
Tabla Usuarios:
ID NOMBRE
Archivo:
1,Pedro
3,Juan
2,Maria
Para subir este archivo a la tabla Usuarios el comando sería el siguiente:
load data LOCAL infile '/desktop/files/usuarios.csv' into TABLE USUARIOS FIELDS TERMINATED BY ',' '(ID,NOMBRE);
Pendiente a los errores y a los warnings que te pueda tirar el SQL.
Ya con eso el archivo se cargo a tu base de datos! Suerte!
Thursday, October 18, 2012
Como hacer una reinstalación fresca de MySQL en RedHat6.
Tan reciente como hoy por razones ajenas a mi voluntad tuve que volver a reinstalar MySQL en uno de mis servidores. Y luego de 3 horas de buscar aquí y allá finalmente tengo MySQL corriendo nuevamente.
**PRECAUCION**
En mi caso yo estaba en un ambiente de pruebas y no me importaba la data en las bases de datos. Si tiene data importante y esta en un ambiente de producción le recomiendo NO seguir esta guía y y que busque otra manera de reestrablecer su MySQL. Queda advertido.
1. Nos logueamos como root, bajamos el servicio de MySQL y desinstalamos todo lo que tenga q ver con el.
2. Borramos el archivo /var/lib/mysql (directorio default de la instalación) y /etc/my.cnf.
Vamos al home folder de root y con el comando ls -a buscamos entre los hidden files alguno que se llame .my.conf o .mysql_history y lo borramos.
**PRECAUCION**
En mi caso yo estaba en un ambiente de pruebas y no me importaba la data en las bases de datos. Si tiene data importante y esta en un ambiente de producción le recomiendo NO seguir esta guía y y que busque otra manera de reestrablecer su MySQL. Queda advertido.
1. Nos logueamos como root, bajamos el servicio de MySQL y desinstalamos todo lo que tenga q ver con el.
# service mysqld stop # yum remove mysql*
2. Borramos el archivo /var/lib/mysql (directorio default de la instalación) y /etc/my.cnf.
# rm -rf /var/lib/mysql # rm /etc/my.cnf
Vamos al home folder de root y con el comando ls -a buscamos entre los hidden files alguno que se llame .my.conf o .mysql_history y lo borramos.
# ls -a . .bash_profile install.log .tcshrc .. .bashrc install.log.syslog .viminfo anaconda-ks.cfg .cshrc .mysql_history .Xauthority .bash_history .dbus .pki xorg.conf.new .bash_logout .gconf .ssh # rm .mysql_history
3. Ya hemos desinstalado MySQL efectivamente, ahora tenemos que instalarlo denuevo.
# yum groupinstall mysql
Ya MySQL debe haberse instalado en su default folder '/var/lib/mysql'.
4. Para asegurarnos que el folder de MySQL tenga los permisos correctos ejecutamos este comando.
# chown -R mysql:mysql /var/lib/mysql/*
5. Tenemos que crear el archivo de configuracion My.cnf de MySQL en /etc/. Puede utilizar su editor favorito.
# vim /etc/my.cnf
[client]
port=3306
socket=/var/lib/mysql/mysql.sock
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
port=3306
Guarde el archivo.
6. Comienze el servicio con el comando service mysqld start.
Posibles Situaciones
Basado en lo que me paso a mi el servicio de MySQL no me subio por varios errores. Puede encontrar descripción detallada de cualquier error con que se tope en un archivo llamado $HOSTNAME.err dentro de /var/lib/mysql/ .
1.El servicio de MySQL subió pero no me pertmitía logearme como root.
2.En $HOSTNAME.err me salía - Error: Can't find file: './mysql/users.frm' (errno: 13)
Esto es un error de permisología. Asegurese que haya corrido este comando.
# chown -R mysql:mysql /var/lib/mysql/*
3. El archivo de /var/lib/mysql esta vacío luego de reinstalarlo.
A mi entender esto es causado a algún archivo de MySQL que no se borró antes de reinstalar. En mi caso no sabía de la existencia del archivo .mysql_history en el home folder del usuario, en cuanto lo borre y reinstalé todo salió bien.
Ya saben, si en algo me necesitan arreglenselas como puedan!
Wednesday, October 17, 2012
Como mover la instalación de MySQL a otro path que no sea el default en Linux.
Por X o Y razón quieren mover las bases de datos de MySQL del lugar default donde se instala, usualmente /var/lib/mysql. En mi caso fue para distribuir la carga de procesamiento del OS y la base de datos en discos diferentes. Lleve a cabo este proceso en RedHat 6.0 (RHEL6).
Recomendación: a menos que sea un prerequisito específico para un software trata de instalar la versión de MySQL que provee 'yum'. Te vas a evitar un montón de problemas de dependencies.
A este momento ya debes haber instalado MySQL.
1. En el terminal escribe mysqlshow -u root -p aprieta enter y pon el password de root de mysql. Eso desplegara las bases de datos que MySQL instala por default y confirmarás que la instalación fue exitosa y que el servicio esta arriba.
# mysqlshow -u root -p Enter password: ******* +--------------------+ | Databases | +--------------------+ | information_schema | | mysql | | test | | wikidb | +--------------------+
2. Ahora necesitamos parar el servicio de MySQL para poderlo mover. Utiliza el comando service mysqld stop .
# service mysqld stop Stopping MySQL: [ OK ]
3. Vamos a crear el directorio donde queremos mover la instalación. (El argumento -p crea los directorios "padres" si no existen")
# mkdir -p /opt/mysql
4. Ahora copiamos el contenido del folder actual de MySQL al directorio nuevo.
# cp -R /var/lib/mysql/* /opt/mysql/
5. Le cambiamos el dueño al archivo nuevo y a todo su contenido
# chown -R mysql:mysql /opt/mysql
6. Ya tenemos la instalación en otro lugar. Pero ahora necesitamos decirle MySQL que su ubicación ha cambiado. Hay que modificar nuestro archivo my.cnf. Este archivo le hace overwrite a los valores por default de MySQL y se encuentra en /etc/my.cnf. Si lo buscas y no esta puedes crearlo con tu editor favorito (vi, vim ect...). El contenido de este archivo (minimo) debe ser el siguiente:
[client] port=3306 socket=/opt/mysql/mysql.sock [mysqld] datadir=/opt/mysql socket=/opt/mysql/mysql.sock port=3306 #Esto de innodb es opcional y lo voy a explicar mas abajo innodb_file_per_table
Aqui estamos diciendole al MySQL que le puerto por el cual el cliente se va a estar conectando sera 3306, el path donde esta el socket para la comunicación y donde se encuentra el directorio nuevo. Graba el archivo.
*innodb_file_per_table: Mientras vas creando y borrando bases de datos y tablas MySQL va llenando un archivo que se llama ibdata1 (dentro del archivo de mysql). Este archivo puede llegar a tener GBs de data guardada y no hay manera de limpiarlo (ni aunque dropees la base de datos). Esta opción lo que hace es que en vez almacenar toda la data de las tablas/DBs creadas en un solo archivo, hace un archivo por cada una de las tablas que creas y a la hora de que borres la tabla el archivo tambien se va. Esto es opcional pero vale la pena mencionarselos porque si ese archivo crece demasiado para limpiarlo vas a tener q hacer un dump de todas las bases de datos, borrar ese archivo y restaurar del dump que hicistes.
7. Ahora tenemos que correr un comando para cambiar los permisos del archivo nuevo de MySQL y que SELinux nos permita correrlo.
semanage fcontext -a -t mysqld_db_t "/opt/mysql(/.*)?"
*Si no tienes semanage instalado 'yum whatprovides /usr/sbin/semanage' te dira que paquete debes instalar.
8. Ahora hay que reestablecer el mapping de SELinux con este comando.
restorecon -R -v /opt/mysql
9. Ya con esto estamos ready, asi que subimos el servicio de MySQL con el comando service mysqld start
# service mysqld start Starting MySQL: [ OK ]
Si no sube verifica que en /opt/mysql/ exista el mysql.sock. Si no existe corre los siguientes comandos estando en el directorio de mysql e intenta subir el servicio denuevo.
# touch mysql.sock
# chown mysql:mysql mysql.sock
Si tienen problemas pueden preguntarme, puede que no sepa la respuesta pero si estoy disponible le ayudaré a buscar la contestación
Subscribe to:
Posts (Atom)