Você está aqui: Página Inicial > Laboratório de Computação - LCAD > HPC-Lattes
conteúdo

HPC-Lattes

publicado 31/10/2018 18h34, última modificação 12/01/2019 00h09
No âmbito da consolidação da UNILA, o sistema computacional César Lattes (HPC-Lattes) é um cluster híbrido de programação de alta-performance e recebeu essa denominação em homenagem ao Físico Brasileiro Cesare Mansueto Giulio Lattes.

O HPC-Lattes foi adquirido através da empresa francesa Bull com o intuito de criar uma grade computacional indispensável ao desenvolvimento de simulações computacionais complexos. Sua finalidade é exclusiva ao desenvolvimento de pesquisas científicas em áreas interdisciplinares, envolvendo pesquisadores de diversas campos do conhecimento, englobando vários países, através do uso de uma infraestrutura computacional compartilhada.

Atualmente, o cluster atende áreas como: computação, ciência dos materiais, engenharias, física, matemática, biologia, entre outras.

 

Detalhamento do HPC-Lattes

Configuração modular com 404 cores Intel Xeon e 7.040 GPU cores em uma interconexão fat-tree Full Non-Blocking InfiniBand QDR.

Composição:

  • 2x Rack 42U;

  • 2x Switch Infiniband Voltaire QDR 36 portas;

  • 1x Switch ETH 24 Portas;

  • 1x Switch KVM;

  • Software Cluster Suite para HPC (Red Hat V5).

 

Sistema de memória distribuída

  • 2x Chassis, capaz de suporte até 18 lâminas;

  • 2x Switch Infiniband QDR de 36 portas, 1x SW Gigabit ETH;

  • 15x Blades B500;

  • 2x processadores Westmere 6c X5650 EP 6c/12t (2.66GHz, 6.4GT/95w), 6x 4GB@1333MHz, 1x 250GB SATA II 1,8" HDD;

  • 8 Aceleradores Blades B505;

  • 2x GPUs Fermi modelo M2050 GPU, 2x Westmere E5640 EP 4c/8t (2.66GHz, 5.86GT/80w), 6x 4GB@1333MHz, 1x 250GB SATA II 1,8" HDD.

 

Sistema de memória compartilhada

  • 5x Módulos S6010;

  • 4x processadores Nehalem X7560 8c/16t (2.26GHz-turbo mode, 6.4GT/sec, 24MB cache-130W), 32x 8GB@1066MHz, 1x SATA 500GB.

 

Estrutura

  • 3 Ilhas sendo:

    1. 2 Ilhas com 2 módulos Fat (INTEL QPI conectados via BCS) resultando em um total de 64 cores e 512GB de memória NUMA;

    2. 1 Ilha (3ª) composta por um modulo de 16 cores 4x X7560 8c/16t (2.26GHz-turbo mode, 40GT/sec, 4MB-130W) e 256GB de memória NUMA.

A escalabilidade da estrutura de memória compartilhada seguirá a seguinte lógica:

  • 1ª e 2ª Ilha – agrupando 4 módulos, possibilitando atingir 128 cores e 1.024 GB de Memória Compartilhada.

  • 3ª Ilha – agrupando 3 módulos, possibilitando atingir 96 cores e 768GB de memória total.

Esta arquitetura de Memória Compartilhada permite aos usuários uma melhor distribuição e dimensionamento de seus experimentos, possibilitando um perfeito balanceamento do uso de arquitetura distribuindo de forma homogênea grandes trabalhos em diferentes ilhas.

 

Sistema de Arquivos NFS

Com base no poder computacional, o sistema terá um Storage de 36TB de espaço bruto para acesso a NFS.

Este Storage é composto por:

  • 36x discos SATA de 1TB, 4 conexões front-end fiber channel de 4Gbit/s, divididos em 2 controladores.

 

Servidor Administração

  • 1x Servidor com 2x X5650 6c/12t (2.66GHz-turbo mode, 6.4GT/sec, 12MB-95W), 6x 2GB@1333MHz, 3x 300GB SAS RAID1.

Este servidor será usado para a monitoramento e gerenciamento de todo o cluster, com as seguintes tarefas básicas:

  • Gerenciamento do Serviço Operacional (Serviço de Operações);

  • Administração e Manutenção do cluster;

  • Administração e Manutenção da Infraestrutura de TI.

 

Softwares

  • Red Hat EL 5, para Compute Nodes;

  • Red Hat EL 5, para Services Nodes;

  • Cluster Suite software;

  • Compiladores Gnu;

  • Aplicativos de monitoramento de desempenho e detecção de gargalos nas aplicações sequenciais e paralelas;

  • Bibliotecas matemáticas BLAS, LAPACK, PARMETIS e PETSc;

  • Ambientes de execução MPI (implementações MPICH1 e MPICH2) e OpenMP com bibliotecas devidamente instaladas e configuradas;

  • SLURN gerenciador de filas compatível com Globus e GridFTP;

  • Um sistema de contabilização de uso dos nós;

  • Um sistema de gerenciamento integrado;

  • SW Doc. & Media.

 

Poder Computacional

Fat Node

 

Quantidade

5

Total Cores

160

Flops

2.26 Tflops

Memória total

1.2TB

Thin Node-Blades

 

Quantidade

15

Total Cores

180

Flops

1.9 Tflops

Memoria total

360GB

GPU-Fermi

 

Quantidade

16

Total de Cores CPU

64

Total Cores GPU

7040

Precisão Dupla

8Tflops

Memória total CPU+GPU

240GB

Poder Computacional

12.16 Tflops

Total Cores Cpu

404

Memoria Global

1.8TB