HPC-Lattes

O HPC-Lattes foi adquirido através da empresa francesa Bull com o intuito de criar uma grade computacional indispensável ao desenvolvimento de simulações computacionais complexos. Sua finalidade é exclusiva ao desenvolvimento de pesquisas científicas em áreas interdisciplinares, envolvendo pesquisadores de diversas campos do conhecimento, englobando vários países, através do uso de uma infraestrutura computacional compartilhada.

Atualmente, o cluster atende áreas como: computação, ciência dos materiais, engenharias, física, matemática, biologia, entre outras.

Detalhamento do HPC-Lattes

Configuração modular com 404 cores Intel Xeon e 7.040 GPU cores em uma interconexão fat-tree Full Non-Blocking InfiniBand QDR.

Composição:

• 2x Rack 42U;

• 2x Switch Infiniband Voltaire QDR 36 portas;

• 1x Switch ETH 24 Portas;

• 1x Switch KVM;

• Software Cluster Suite para HPC (Red Hat V5).

Sistema de memória distribuída

• 2x Chassis, capaz de suporte até 18 lâminas;

• 2x Switch Infiniband QDR de 36 portas, 1x SW Gigabit ETH;

• 15x Blades B500;

• 2x processadores Westmere 6c X5650 EP 6c/12t (2.66GHz, 6.4GT/95w), 6x 4GB@1333MHz, 1x 250GB SATA II 1,8" HDD;

• 8 Aceleradores Blades B505;

• 2x GPUs Fermi modelo M2050 GPU, 2x Westmere E5640 EP 4c/8t (2.66GHz, 5.86GT/80w), 6x 4GB@1333MHz, 1x 250GB SATA II 1,8" HDD.

Sistema de memória compartilhada

• 5x Módulos S6010;

• 4x processadores Nehalem X7560 8c/16t (2.26GHz-turbo mode, 6.4GT/sec, 24MB cache-130W), 32x 8GB@1066MHz, 1x SATA 500GB.

Estrutura

• 3 Ilhas sendo:

  1. 2 Ilhas com 2 módulos Fat (INTEL QPI conectados via BCS) resultando em um total de 64 cores e 512GB de memória NUMA;

  2. 1 Ilha (3ª) composta por um modulo de 16 cores 4x X7560 8c/16t (2.26GHz-turbo mode, 40GT/sec, 4MB-130W) e 256GB de memória NUMA.

A escalabilidade da estrutura de memória compartilhada seguirá a seguinte lógica:

• 1ª e 2ª Ilha – agrupando 4 módulos, possibilitando atingir 128 cores e 1.024 GB de Memória Compartilhada.

• 3ª Ilha – agrupando 3 módulos, possibilitando atingir 96 cores e 768GB de memória total.

Esta arquitetura de Memória Compartilhada permite aos usuários uma melhor distribuição e dimensionamento de seus experimentos, possibilitando um perfeito balanceamento do uso de arquitetura distribuindo de forma homogênea grandes trabalhos em diferentes ilhas.

Sistema de Arquivos NFS

Com base no poder computacional, o sistema terá um Storage de 36TB de espaço bruto para acesso a NFS.

Este Storage é composto por:

• 36x discos SATA de 1TB, 4 conexões front-end fiber channel de 4Gbit/s, divididos em 2 controladores.

Servidor Administração

• 1x Servidor com 2x X5650 6c/12t (2.66GHz-turbo mode, 6.4GT/sec, 12MB-95W), 6x 2GB@1333MHz, 3x 300GB SAS RAID1.

Este servidor será usado para a monitoramento e gerenciamento de todo o cluster, com as seguintes tarefas básicas:

• Gerenciamento do Serviço Operacional (Serviço de Operações);

• Administração e Manutenção do cluster;

• Administração e Manutenção da Infraestrutura de TI.

Softwares

• Red Hat EL 5, para Compute Nodes;

• Red Hat EL 5, para Services Nodes;

• Cluster Suite software;

• Compiladores Gnu;

• Aplicativos de monitoramento de desempenho e detecção de gargalos nas aplicações sequenciais e paralelas;

• Bibliotecas matemáticas BLAS, LAPACK, PARMETIS e PETSc;

• Ambientes de execução MPI (implementações MPICH1 e MPICH2) e OpenMP com bibliotecas devidamente instaladas e configuradas;

• SLURN gerenciador de filas compatível com Globus e GridFTP;

• Um sistema de contabilização de uso dos nós;

• Um sistema de gerenciamento integrado;

• SW Doc. & Media.

Poder Computacional