miércoles, 27 de noviembre de 2013

Actualización a mysql5.5 en Centos






1.- Agregar repositorio Webtatic:

# rpm -Uvh http://mirror.webtatic.com/yum/el5/latest.rpm

2.- Actualizar mysql:



#yum install mysql.`uname -i` yum-plugin-replace
#yum replace mysql-server --replace-with mysql55-server


3.- Actualizar tablas:

# service mysqld restart
# mysql_upgrade -u root -p


Fuente:
Webtatic

Instalación alternativa de python2.7 en CentOS





1.- Descargar python2.7

2.- Descompactar

#tar zxvf Python2.7.tar.gz

3.- Compilar e instalar:

#./configure --prefix=/usr/local

#make && make altinstall



Fuente: 
GitHub


miércoles, 13 de noviembre de 2013

Comando qstat (Torque PBS)




1.- qstat -f

2.- qstat -n1

3.- qstat -n1a

4.- qstat -t


Referencia:
Cluster Resources

martes, 12 de noviembre de 2013

Instalación de CUDA Toolkit y compilación de ejemplos






1.- Descargar  CUDA Toolkit, SDK code samples


2.- Instalación  de CUDA Toolkit (Ojo si se desea conservar varias versiones previas de CUDA no eliminar los archivos de las versiones ya instaladas cuando lo pregunte el script de instalación)

server# sh cuda NVIDIA-Linux.run
server# sh cuda-linux.run
server# sh cuda-samples-linux-5.5.run

3.- Exportar las variables de entorno:

32 bits

server# export PATH=/usr/local/cuda-5.5/bin:$PATH
server# export LD_LIBRARY_PATH=/usr/local/cuda-5.5/lib:$LD_LIBRARY_PATH


64 bits
server# export PATH=/usr/local/cuda-5.5/bin:$PATH
server# export LD_LIBRARY_PATH=/usr/local/cuda-5.5/lib64:$LD_LIBRARY_PATH


4.- Probar la instalación

server# nvcc -V

5.- Compilar ejemplos

server# cd /usr/local/cuda-5.5/samples
server# make

6.- Ejecutar algunos binarios:

./deviceQuery
./bandwidthTest


Fuente:
NVIDIA

Herramienta de administración para tarjetas con GPU's




1.- nvidia-smi

2.- nvidia-smi -h

3.- nvidia-smi -L

4.- nvidia-smi -i 0 -q

5.- nvidia-smi -i 0 -q -d MEMORY,UTILIZATION,POWER,CLOCK,COMPUTE


Referencia:
Microway

Errores en terminal Mac OS al validarse por SSH a equipos con Linux




Errores:

Al validarse a la consola:

1.- -bash: aviso: setlocale: LC_CTYPE: cannot change locale (UTF-8): No existe
 el fichero o el directorio

Al compilar con icc o mpiicc

2.- Catastrophic error: could not set locale "" to allow processing of
> multibyte characters*


Procedimiento:


1.- En las "Preferencias" de la aplicación "Terminal" del sistema Mac OS,
ingresar a la casilla "Ajustes", posteriormente a la opción Avanzado.

2.- En  la información de "Codificación de caracteres" quitar la palomita
a la opción "Ajustar variables del entorno local al abrir"

3.- Cerrar por completo la terminal y posteriormente abrirla y verificar
si ya no aparecen los errores al momento de validarse a los servidores.


Referencia:
Remi Bergsma's Blog

Backup y reinstalación de mysql-server en Debian Etch





Error:

#/etc/init.d/mysql start
Starting MySQL database server: mysqld . . . . . . . . . . . . . . failed!



1.- Agregar repositorios que aun sigan vigentes ya que la distribucion ya es obsoleta y actualizar:

/etc/apt/sources.list


deb http://archive.debian.org/debian etch main contrib non-free
deb-src http://archive.debian.org/debian etch main contrib non-free

server# apt-get update


Fuente:
Blog de Lorenzo Salvador Osorio

2.- Respaldar el directorio completo de /var/lib/mysql

3.- Remover por completo mysql-server y todas sus dependencias:

server# apt-get remove --purge 'mysql-.*'

4.-Borrar todos los archivos con referencia a mysql dentro del directorio  /var/lib/dpkg/info

Fuente:
Ubuntu es dot org

5.- Instalar nuevamente mysql-server

server#apt-get install mysql-server

6.- Asignar passwd de root a mysql-server:

server# mysql -u root
mysql>GRANT ALL PRIVILEGES ON *:* TO "root"@"localhost" IDENTIFIED BY "password" WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;

7.-Copiar las bases de datos respaldas al directorio /var/lib/mysql y asignarles los permisos adecuados para que el usuario mysql las pueda usar.

8.-  Dar privilegios al usuario root sobre las bases de datos , si esto es requerido.


lunes, 11 de noviembre de 2013

Error open_hca: get lid ERR for mlx4_0 > port=2, err=Invalid argument (TORQUE PBS+ OpenMPI + Red Infiniband)



Previo:

- Se verifica que el contenido en los nodos del archivo /etc.dat.conf sea el correcto.
- Se verifica la salida del comando "ibstatus" en los nodos para verificar que las interfaces están activas.
- Verificar que el servicio "opensmd" esta ejecutandose en cada uno de los nodos.

1.- Variable de entorno para uso de la red Infiniband  en el script en PBS con la cual aparece el el error:

export I_MPI_DEVICE=rdssm

2.- Primer variable de entorno agregada al script en PBS para identificar el error  (se comentó antes I_MPI_DEVICE=rdssm):


#export I_MPI_DEVICE=rdssm
export I_MPI_DEBUG=6

3.- Segunda variable de entorno agregada al script en PBS para identificar el error (se comentaron las anteriores):
#export I_MPI_DEVICE=rdssm
#export I_MPI_DEBUG=6
export I_MPI_DEBUG=+6
4.- Se verifica el parametro ulimit -l en la consola del usuario el cual debe ser al menos de 3000000):

user# ulimit -l

5.- Se abre una sesion interactiva al script en PBS para verificar el parametro ulimit del usuario bajo el sistema de colas:

user# qsub -I
5.- Se detectó que el parámetro ulimit del usuario bajo el sistema de colas era muy bajo, por lo que se hizo lo siguiente:

-Se agregó lo siguiente al demonio pbs_mom de cada nodo:


ulimit -l unlimited
ulimit -s unlimited
- Se reinicia el demonio pbs_mom de cada nodo:
user# /etc/init.d/pbs_mom reload
user# /etc/init.d/pbs_mom restart
Referencia:



viernes, 8 de noviembre de 2013

Reglas necesarias para utilizar una red INFINIBAND con MPI despues de actualizar


1.- Crear archivo 90-rdma.rules en el directorio /etc/udev/rules.d/ con lo siguiente:

KERNEL=="umad*", SYMLINK+="infiniband/%k"
KERNEL=="issm*", SYMLINK+="infiniband/%k"
KERNEL=="ucm*", SYMLINK+="infiniband/%k", MODE="0666"
KERNEL=="uverbs*", SYMLINK+="infiniband/%k", MODE="0666"
KERNEL=="uat", SYMLINK+="infiniband/%k", MODE="0666"
KERNEL=="ucma", SYMLINK+="infiniband/%k", MODE="0666"
KERNEL=="rdma_cm", SYMLINK+="infiniband/%k", MODE="0666"

2.- Reiniciar el equipo.

3.- Crear archivo 60-ipath.rules en el directorio /etc/udev/rules.d/ con lo siguiente:

KERNEL=="ipath", MODE="0666"
KERNEL=="ipath[0-9]*", MODE="0666"
KERNEL=="ipath_*", MODE="0600"
KERNEL=="kcopy[0-6][0-9]", NAME="kcopy/n", MODE="0666"

4.- Reiniciar el equipo.


Referencia:

IBM Support

Benchmark MPI de INTEL para verificar el desempeño de una red INFINIBAND



1.- Descargar el benchmark

2.- Descompactarlo y modificar "mpiic" por "mpicc" en el archivo make_ict del directorio src del benchmark

3.- Compilarlo con "make"

4.- Dentro del directorio "src" se obtendrá el ejecutable IMB-MPT1

5.- Ejecutar el benchmark:

#mpirun -np 16 -host node1,node2 ../ib/imb/3.2.4/src/IMB-MPI1 pingpong
#mpirun -np 16 -host node1,node2 ../ib/imb/3.2.4/src/IMB-MPI1 sendrecv
#mpirun -np 16 -host node1,node2 ../ib/imb/3.2.4/src/IMB-MPI1 exchange


Referencia:

Linux Cluster

Comandos útiles para verificar el funcionamiento de una red INFINIBAND


1.- ibstat

2.- ibhosts

3.- ibswitches

4.- iblinkinfo.pl

5.- ibping



Referencia:

Infiniband Howto