Egaes Cluster
De e-Ciencia
Tabla de contenidos |
Introducción
El cluster de acceso interactivo del IFCA está conformado por 20 máquinas instaladas con balanceo de carga (a la lxplus) según el esquema descrito en esta página. El único acceso posible al cluster se debe hacer desde la intranet del IFCA y más concretamente del User Interface (UI) de EGEE en el IFCA (egeeui01.ifca.es).
Características
Entre las ventajas de usar las egaes para el análisis interactivo de los datos de CMS están:
- Repositorio de software compartido con el T2: De este modo compartimos exactamente la misma instalación de CMSSW y derivados que el T2. Es decir, lo que corra en interactivo, necesariamente debe correr en el T2 desde el punto de vista de CMSSW.
- Repositorio de datos compartido con el T2: Todos los datos del T2 (en GPFS) son accesibles directamente desde este cluster y por lo tanto se pueden examinar los datos de manera sencilla en el directorio /gpfs/ifca.es/cms/store/...
- Área de usuario para almacenamiento seguro: Se dispone de acceso directo al espacio de almacenamiento de usuarios en GPFS, lo que permite guardar los datos importantes con seguridad. Se puede acceder a este área en /gpfs/ifca.es/cms/store/user/.
- Espacio de usuario local compartido: De este modo evitamos las múltiples configuraciones del espacio de usario que de otro modo serían necesarias en cada máquina y para el trabajo diario será transparente el hecho de que el sistema nos haya redirigido a una u otra.
Cabe, no obstante recordar, que los datos que se almacenen en los discos locales de estas máquinas NO se encuentran bajo ningún sistema redundante ni de respaldo, y además NO se realizan copias de seguridad. Como ya se ha indicado, todos los usuarios tienen acceso desde el cluster EGAES a un área de GPFS (/gpfs/ifca.es/cms/store/user/), que SI se encuentra respaldada, donde pueden guardar los datos sensibles.
Soporte
Se ha hablitado una dirección de correo electrónico para el soporte del Tier-2 del IFCA y el cluster EGAES. Ahí se deben remitir los problemas y solicitudes relacionados con las egaes. La dirección es:
Acceso
El primer requisito para acceder al cluster EGAES es tener cuenta en el User Interface (egeeui01.ifca.es). En caso de que ese no sea el caso se debe enviar un correo electrónico a la dirección de soporte para solicitar esa cuenta. A partir de ahí el primer paso que se debe dar es configurar una sola vez la cuenta en las EGAES.
Primer acceso
Todos aquellos que accedan por primera vez al cluster EGAES tienen que activar su cuenta mediante un SSH a la máquina egaesadm.ifca.es (siempre accediendo desde egeeui01 y con la misma contraseña que en el UI), seleccionando la opción 4 y seguir las instrucciones que ahí se indican. Este paso solo debe realizarse una única vez.
Acceso normal a las egaes
Como ya se ha indicado el único acceso posible a ellas es a través del User Interface del IFCA (egeeui01.ifca.es). Desde ahí se debe hacer un SSH a la máquina egaes.ifca.es (que actúa como balanceador de carga). Es también posible acceder a una máquina en concreto a través de su nombre específico (ej.: egaes04.ifca.es), aunque esta última opción está desaconsejada.
Los directorios de usuario están compartidos entre todo el cluster. Por el momento no se ha pensando la instalación de cuotas de disco individualizadas, por lo que se pide un uso responsable.
En definitiva, el proceso para acceder sería como sigue:
$ ssh -l fulano egeeui01.ifca.es (...) $ ssh -l fulano egaes.ifca.es (...)
Espacio en disco
Área de usuario (/home)
Cada usuario dispone en su /home/username un área de almacenamiento compartida por todas las egaes con una cuota de 2.5 GB. Un aspecto importante de este área es que no hay copias de seguridad de la misma, ni por tanto garantía sobre los datos ahí almacenados. En esta zona deberían estar los ficheros de configuración habituales de una cuenta linux (.bashrc, .globus, .ssh, ...) además del código particular de CMSSW. El acceso a este espacio se realiza por NFS y es algo más eficiente que el acceso a GPFS.
Espacio de usuario en GPFS
Cada usuario dispone de espacio asignado en GPFS accesible directamente desde los nodos. Así el usuario username puede escribir en:
/gpfs/ifca.es/cms/store/user/username
Al contrario que con el /home GPFS tiene un sistema de RAID que permite una mayor garantía de la integridad de los datos ante fallos de disco. Aunque en esta zona no se han establecido limitaciones se espera que cada usuario no rebase el TB de datos.
Cuotas
Para evitar abusos o usos indebidos del limitado espacio en el área de usuarios (/home), cada usuario tiene una cuota máxima de 2.5 GB. Este límite tiene cierta flexibilidad, de manera que, una vez superado, se dispone de una semana para eliminar datos hasta entrar dentro de la cuota. Si al cabo de una semana no se ha liberado suficiente espacio no se permitirá la escritura hasta vover al límite de la cuota. Esta política permite superar temporalmente la cuota asignada.
En caso de necesitar más espacio debe solicitarse a través de la dirección de soporte.
Cada vez que uno se conecta a las egaes se obtiene un mensaje de la situación de la cuota similar a:
Information about your disk usage:
Disk quotas for user username (uid xxxx):
Filesystem blocks quota limit grace files quota limit grace
/dev/sda6 2550M 2500M 0 6days 971 0 0
donde blocks es el número de bytes que están ocupados, quota es el límite asignado y grace el número de días de gracia de los que aún se dispone antes de que se bloquee la escritura. Se puede conocer en cualquier momento el estado de la cuota con el comando linux quota.
Además, cada vez que se supere la cuota asignada se enviará un correo electrónico diario con la misma información al usuario correspondiente.
CMS
El cluster EGAES está especialmente pensado tanto para el acceso interactivo a los datos de CMS como para lanzar jobs a la GRID. El objetivo es poder analizar pequeños volúmenes de datos en unas condiciones muy similares a las que proporciona el Tier-2 pero de manera interactiva. Una vez afianzado el análisis se puede lanzar un análisis completo sobre volúmenes más amplios de datos existentes en nuestro Storage Element (GPFS/StoRM).
Software de CMS (CMSSW)
El área de software de CMS instalada en las egaes es la misma que la del Tier-2. Las versiones que se encuentran allí son, por tanto, las versiones oficiales gestionadas centralmente por CMS. En caso de necesitar alguna versión especial o depreciada debe enviarse un correo a la dirección de soporte. La variable de entorno VO_CMS_SW_DIR apunta a la dirección en la que está instalado CMSSW. A día de hoy es:
$ echo $VO_CMS_SW_DIR /opt/exp_soft/cms
El primer paso para tener acceso a los comandos de CMSSW (scramv1, etc...) es hacer un source de los scripts de configuración:
$ source $VO_CMS_SW_DIR/cmsset_default.sh
User Interface y CRAB
Los nodos del cluster egaes están configurados como User Interfaces (UI). Es, por tanto, posible enviar jobs desde ellos. CRAB es una herramienta desarrollada por CMS que se encarga de realizar muchas de las tareas rutinarias que ello implicaría (troceado de muestras, creación de jobs, búsqueda de muestras, etc...) en el entorno de CMS. La instalación de las distintas versiones de CRAB es realizada manualmente en $VO_CMS_SW_DIR/ifca/cms. Los ficheros de configuración para la última versión de CRAB pueden encontrarse en el subdirectorio current:
$ source $VO_CMS_SW_DIR/ifca/cms/current/crab.[c]sh
No se debe olvidar hacer antes el oportuno eval `scramv1 runtime -[c]sh` en el directorio src de la versión de CMSSW que estemos utilizando.
En las últimas versiones de CRAB además es necesario modificar la variable de entorno PYTHONPATH añadiéndole el directorio /opt/glite/lib.
