HPC-Lattes
O HPC-Lattes foi adquirido através da empresa francesa Bull com o intuito de criar uma grade computacional indispensável ao desenvolvimento de simulações computacionais complexos. Sua finalidade é exclusiva ao desenvolvimento de pesquisas científicas em áreas interdisciplinares, envolvendo pesquisadores de diversas campos do conhecimento, englobando vários países, através do uso de uma infraestrutura computacional compartilhada.
Atualmente, o cluster atende áreas como: computação, ciência dos materiais, engenharias, física, matemática, biologia, entre outras.
Detalhamento do HPC-Lattes
Configuração modular com 404 cores Intel Xeon e 7.040 GPU cores em uma interconexão fat-tree Full Non-Blocking InfiniBand QDR.
Composição:
-
2x Rack 42U;
-
2x Switch Infiniband Voltaire QDR 36 portas;
-
1x Switch ETH 24 Portas;
-
1x Switch KVM;
-
Software Cluster Suite para HPC (Red Hat V5).
Sistema de memória distribuída
-
2x Chassis, capaz de suporte até 18 lâminas;
-
2x Switch Infiniband QDR de 36 portas, 1x SW Gigabit ETH;
-
15x Blades B500;
-
2x processadores Westmere 6c X5650 EP 6c/12t (2.66GHz, 6.4GT/95w), 6x 4GB@1333MHz, 1x 250GB SATA II 1,8" HDD;
-
8 Aceleradores Blades B505;
-
2x GPUs Fermi modelo M2050 GPU, 2x Westmere E5640 EP 4c/8t (2.66GHz, 5.86GT/80w), 6x 4GB@1333MHz, 1x 250GB SATA II 1,8" HDD.
Sistema de memória compartilhada
-
5x Módulos S6010;
-
4x processadores Nehalem X7560 8c/16t (2.26GHz-turbo mode, 6.4GT/sec, 24MB cache-130W), 32x 8GB@1066MHz, 1x SATA 500GB.
Estrutura
-
3 Ilhas sendo:
-
2 Ilhas com 2 módulos Fat (INTEL QPI conectados via BCS) resultando em um total de 64 cores e 512GB de memória NUMA;
-
1 Ilha (3ª) composta por um modulo de 16 cores 4x X7560 8c/16t (2.26GHz-turbo mode, 40GT/sec, 4MB-130W) e 256GB de memória NUMA.
-
A escalabilidade da estrutura de memória compartilhada seguirá a seguinte lógica:
-
1ª e 2ª Ilha – agrupando 4 módulos, possibilitando atingir 128 cores e 1.024 GB de Memória Compartilhada.
-
3ª Ilha – agrupando 3 módulos, possibilitando atingir 96 cores e 768GB de memória total.
Esta arquitetura de Memória Compartilhada permite aos usuários uma melhor distribuição e dimensionamento de seus experimentos, possibilitando um perfeito balanceamento do uso de arquitetura distribuindo de forma homogênea grandes trabalhos em diferentes ilhas.
Sistema de Arquivos NFS
Com base no poder computacional, o sistema terá um Storage de 36TB de espaço bruto para acesso a NFS.
Este Storage é composto por:
-
36x discos SATA de 1TB, 4 conexões front-end fiber channel de 4Gbit/s, divididos em 2 controladores.
Servidor Administração
-
1x Servidor com 2x X5650 6c/12t (2.66GHz-turbo mode, 6.4GT/sec, 12MB-95W), 6x 2GB@1333MHz, 3x 300GB SAS RAID1.
Este servidor será usado para a monitoramento e gerenciamento de todo o cluster, com as seguintes tarefas básicas:
-
Gerenciamento do Serviço Operacional (Serviço de Operações);
-
Administração e Manutenção do cluster;
-
Administração e Manutenção da Infraestrutura de TI.
Softwares
-
Red Hat EL 5, para Compute Nodes;
-
Red Hat EL 5, para Services Nodes;
-
Cluster Suite software;
-
Compiladores Gnu;
-
Aplicativos de monitoramento de desempenho e detecção de gargalos nas aplicações sequenciais e paralelas;
-
Bibliotecas matemáticas BLAS, LAPACK, PARMETIS e PETSc;
-
Ambientes de execução MPI (implementações MPICH1 e MPICH2) e OpenMP com bibliotecas devidamente instaladas e configuradas;
-
SLURN gerenciador de filas compatível com Globus e GridFTP;
-
Um sistema de contabilização de uso dos nós;
-
Um sistema de gerenciamento integrado;
-
SW Doc. & Media.
Poder Computacional
Fat Node |
|
Quantidade |
5 |
Total Cores |
160 |
Flops |
2.26 Tflops |
Memória total |
1.2TB |
Thin Node-Blades |
|
Quantidade |
15 |
Total Cores |
180 |
Flops |
1.9 Tflops |
Memoria total |
360GB |
GPU-Fermi |
|
Quantidade |
16 |
Total de Cores CPU |
64 |
Total Cores GPU |
7040 |
Precisão Dupla |
8Tflops |
Memória total CPU+GPU |
240GB |
Poder Computacional |
12.16 Tflops |
Total Cores Cpu |
404 |
Memoria Global |
1.8TB |