Slurm: colas y límites¶
Slurm es el gestor de colas: tú describes qué recursos necesita tu trabajo y Slurm lo ejecuta en un nodo de cómputo cuando esos recursos están libres.
¿Nunca usaste Slurm? Empieza por Tu primer trabajo en 15 minutos.
Particiones¶
Una partición es un grupo de nodos. Elige la tuya con -p (o --partition).
| Partición | Nodos | Por nodo | Memoria por defecto |
|---|---|---|---|
CPU (por defecto) |
cpun1–cpun5 |
2× AMD EPYC 9554 · 256 CPUs · 755 GB RAM | 2,9 GB por CPU |
MEM |
high-ram-n1 |
2× AMD EPYC 9654 · 384 CPUs · 1,5 TB RAM | 3,9 GB por CPU |
GPU |
gpun1 |
AMD EPYC 9354P · 64 CPUs · 503 GB RAM · 4× AMD MI210 | 5 GB por CPU |
GPU |
gpun2, gpun3 |
AMD EPYC 7443 · 48 CPUs · 251 GB RAM · 4× NVIDIA RTX 6000 Ada | 5 GB por CPU |
En todas las particiones:
- Tiempo por defecto: 4 horas. Si no pones
--time, tu trabajo se detiene a las 4 horas. - Tiempo máximo: 7 días (
--time=7-00:00:00). Un administrador puede extender, caso a caso, un trabajo que ya está corriendo: escribe a hpc.fisica@usach.cl antes de que termine, con el ID del trabajo, cuánto tiempo más y por qué. - Un nodo por trabajo. Ver abajo.
¿Qué es una «CPU» en Slurm?
Cada núcleo físico tiene 2 hilos de hardware, y Slurm cuenta cada hilo como una CPU. Por eso un nodo CPU de 128 núcleos aparece con 256 CPUs.
Si pides más de lo permitido, Slurm rechaza el trabajo
Un trabajo que pide más de lo permitido se rechaza al enviarlo: sbatch responde con un error y el trabajo no entra a la cola. Los mensajes más comunes:
Mensaje (después de sbatch: error: Batch job submission failed:) |
Qué corregir |
|---|---|
Requested time limit is invalid (missing or exceeds some limit) |
pediste más de 7 días: usa --time=7-00:00:00 o menos |
Node count specification invalid |
pediste más de un nodo: usa --nodes=1 (ver Un nodo por trabajo) |
Invalid account or account/partition combination specified |
no estás en un proyecto, o -A nombra uno que no es tuyo (ver Tus proyectos y -A) |
Corrige la petición y envíalo de nuevo.
Comandos básicos¶
| Comando | Qué hace |
|---|---|
sinfo |
estado de particiones y nodos |
sbatch script.sh |
envía un trabajo por lotes |
squeue -u $USER |
tus trabajos en cola o ejecutándose |
scancel <jobid> |
cancela un trabajo |
scontrol show job <jobid> |
detalle de un trabajo (por qué espera, dónde corre) |
sacct -j <jobid> -o JobID,Elapsed,MaxRSS,ReqMem,State |
qué usó un trabajo que ya terminó |
srun --pty bash |
sesión interactiva en un nodo de cómputo |
sacctmgr show assoc user=$USER format=account%30,qos%20 |
tus proyectos |
Un trabajo típico¶
#!/bin/bash
#SBATCH --job-name=prueba
#SBATCH --partition=CPU
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
#SBATCH --mem=16G
#SBATCH --time=01:00:00
#SBATCH --output=%x_%j.out
echo "Corriendo en $(hostname) con $SLURM_CPUS_PER_TASK CPUs"
python3 mi_script.py
sbatch prueba.sh # responde: Submitted batch job 1234
squeue -u $USER # PD = pendiente, R = ejecutándose
cat prueba_1234.out # salida, cuando termina
Memoria¶
--mem=16Gpide 16 GB para el trabajo en su nodo.--mem-per-cpu=4Gpide 4 GB por cada CPU.- Si no pides memoria, recibes la de la tabla de arriba por cada CPU.
Si tu programa usa más memoria de la que pediste, Slurm lo detiene y el trabajo termina en estado OUT_OF_MEMORY. No hay swap: no se puede usar memoria «de más» en disco. Revisa cuánto usó con sacct (columna MaxRSS) y pide un poco más la próxima vez.
Un nodo por trabajo¶
Cada trabajo corre en un solo nodo. Chuchunco está pensado para trabajos que caben en un nodo, y un nodo CPU ya tiene 256 CPUs y 755 GB de RAM.
Dentro de un nodo puedes usar todo lo que quieras de ese nodo:
- Multihilo (OpenMP, NumPy,
multiprocessing):--ntasks=1 --cpus-per-task=32. - MPI:
--nodes=1 --ntasks-per-node=64.
Un trabajo que pide --nodes=2 o más se rechaza al enviarlo.
Si necesitas más de un nodo¶
Se aprueba por proyecto. El o la responsable del proyecto escribe a hpc.fisica@usach.cl explicando qué programa usa, cuántos nodos necesita y por qué no le basta uno. Si se aprueba, los trabajos de ese proyecto pueden usar varios nodos agregando --qos=multinodo:
#SBATCH --nodes=2
#SBATCH --qos=multinodo
Sin aprobación, --qos=multinodo no funciona.
Tus proyectos y -A¶
Solo pueden enviar trabajos los integrantes de un proyecto aprobado. Cada trabajo se carga a un proyecto.
- Si estás en un solo proyecto, no tienes que hacer nada.
- Si estás en varios, elige con
-A:sbatch -A mi-proyecto script.sho#SBATCH -A mi-proyecto.
Si ves Invalid account or account/partition combination specified, tu cuenta no está en ese proyecto (o en ninguno). Revisa con sacctmgr show assoc user=$USER format=account%30,qos%20.
¿Quién va primero? Prioridad y límites¶
Prioridad justa (fair-share). Cuando hay cola, van primero los trabajos de los proyectos que han usado menos el clúster recientemente. El uso pasado pesa cada vez menos: lo de hace una semana cuenta la mitad que lo de hoy. Además, un trabajo gana prioridad mientras espera. Así nadie acapara el clúster y nadie espera para siempre.
Límite por persona. Cada persona puede tener, al mismo tiempo, como máximo:
- 512 CPUs ejecutándose, y
- 4 GPUs ejecutándose.
Puedes enviar más trabajos: los que pasen del límite esperan en la cola hasta que termine alguno de los tuyos.
Pide solo lo que usas. Un trabajo pequeño y con --time ajustado encuentra hueco antes: Slurm puede meterlo en espacios libres mientras esperan trabajos grandes.
¿Por qué mi trabajo está pendiente?¶
squeue -u $USER muestra la razón en la columna NODELIST(REASON):
| Razón | Qué significa | Qué hacer |
|---|---|---|
Priority |
hay trabajos con más prioridad antes que el tuyo | esperar |
Resources |
eres el siguiente, pero aún no hay recursos libres | esperar |
QOSMaxCpuPerUserLimit |
ya tienes 512 CPUs en uso | esperar a que terminen tus otros trabajos |
QOSMaxGRESPerUser |
ya tienes 4 GPUs en uso | esperar a que terminen tus otros trabajos |
ReqNodeNotAvail |
el nodo que pediste no está disponible (por ejemplo, en mantención) | revisar -p, --gres y --nodelist, o esperar |
Dependency |
espera a que termine otro trabajo (--dependency) |
esperar |
Para más detalle: scontrol show job <jobid>.
Sesión interactiva¶
Para pruebas cortas, compilar o depurar en un nodo de cómputo:
srun -p CPU --cpus-per-task=4 --mem=8G --time=00:30:00 --pty bash
Sal con exit para liberar los recursos.
No se puede entrar por SSH a los nodos de cómputo
Solo el nodo de entrada acepta SSH de usuarios. Para trabajar en un nodo, pide una sesión interactiva con srun.
Entrar a un trabajo que ya está corriendo¶
Para mirar qué hace un trabajo tuyo mientras corre (por ejemplo, con top), abre una terminal dentro de él:
srun --jobid=<jobid> --overlap --pty bash
--overlaphace que esta terminal comparta los recursos que ya tiene el trabajo. Sin esa opción,srunse queda esperando a que el trabajo los libere.- Solo funciona con tus propios trabajos.
- Sal con
exit: el trabajo sigue corriendo.
Opciones #SBATCH más usadas¶
| Opción | Significado |
|---|---|
--partition=CPU |
partición |
--ntasks=64 |
número de procesos (MPI) |
--cpus-per-task=8 |
CPUs por proceso (OpenMP, Python multiproceso) |
--mem=32G |
memoria del trabajo |
--gres=gpu:rtx6000ada:1 |
GPUs (ver GPUs) |
--time=1-12:00:00 |
tiempo máximo (días-hh |
--array=1-100 |
arreglo de trabajos (ver Ejemplos) |
-A mi-proyecto |
proyecto al que se carga el trabajo |
--output=%x_%j.out |
archivo de salida (%x nombre, %j número del trabajo) |
Sin avisos por correo
Por ahora el clúster no envía correos: --mail-type y --mail-user no hacen nada. Revisa tus trabajos con squeue y sacct.
Más ejemplos en Ejemplos de trabajos.