Machine Translated by Google

Uma visão geral do General Parallel File

System da IBM

Glen Corneau

Suporte Técnico Avançado do IBM Power Systems

gcorneau@us.ibm.com
Machine Translated by Google

Índice

• Recursos do GPFS

• Visão geral
• Arquiteturas
• Desempenho
• RAS

• Ambientes e Limites Suportados •

Gerenciamento do Ciclo de Vida da Informação
• Recuperação de
Desastres • Requisitos
• Com Oracle RAC

• Terminologia do GPFS

• Tarefas Administrativas do GPFS

• Depuração GPFS

• Informações Adicionais

2 Visão geral do GPFS

Machine Translated by Google

Sistema Geral de Arquivos Paralelos IBM (GPFS)

Uma arquitetura de cluster altamente disponível.

O IBM General Parallel File
System (GPFS) é uma
infraestrutura escalável de
Acesso simultâneo ao disco compartilhado para
gerenciamento de
um único namespace global.
arquivos de alto desempenho
para sistemas AIX®,
Linux® e Windows.
Capacidades para cargas de trabalho
paralelas de alto desempenho.

3
Machine Translated by Google

Otimização da infraestrutura de dados de arquivos

Bancos de dados

O GPFS permite:
Conexões

ÿ Um único namespace SAN

global entre plataformas. TCP/IP
Servidores de arquivos
Banda Infini

ÿ Armazenamento comum
Gerenciamento
de alto desempenho.
Centralizado
ÿ Eliminando cópias de dados. Monitoramento
Arquivo Automatizado
Gerenciamento

ÿ Armazenamento aprimorado Cópia de segurança /

usar. Arquivo
Disponibilidade
ÿ Gerenciamento Migração de dados
simplificado de arquivos.
Replicação
Cópia de segurança

Aplicativo
Servidores
Machine Translated by Google

O que é GPFS?

• Sistema de arquivos paralelo geral

(não sistema de arquivos de posicionamento global)

• Produto maduro da IBM geralmente disponível desde 1997

• A versão atual é o 12º lançamento (ou seja, não é um produto novo)

GPFS versão 3.3, disponível em setembro de 2009

[estrela verde indica recurso novo/atualizado]

• Adaptável a muitos ambientes de clientes, suportando uma ampla gama de

configurações básicas e tecnologias de disco

• Está em conformidade com o padrão de E/S POSIX, mas possui extensões

• Fornece recursos avançados não POSIX (por exemplo, envio de dados, dicas)

• A conversão para GPFS não requer alterações no código do aplicativo, desde que o código
funcione em um ambiente compatível com POSIX

• O acesso simultâneo a arquivos exige que o aplicativo esteja ciente do sistema de arquivos paralelo

5 Visão geral do GPFS

Machine Translated by Google

Arquiteturas GPFS - SAN

• Todos os nós são conectados diretamente através

da SAN • Maior desempenho para todos os nós

SAN

6 Visão geral do GPFS

Machine Translated by Google

E/S de bloco de rede – usando NSDs

• O Servidor de E/S está diretamente

conectado aos discos
Clientes NSD

• Clientes NSD veem bloqueio local

dispositivo igual ao conectado diretamente

• A E/S é enviada pela LAN:

LAN
Ethernet, Infiniband, Myrinet
• Ambientes Mistos: Nós
Servidores de E/S
com maior largura de banda precisa
de conexão direta com SAN. Outros
nós anexados usando NSD

SAN

7 Visão geral do GPFS

Machine Translated by Google

Recursos de desempenho

• Os sistemas de arquivos são distribuídos pelos discos que os compõem

• Suporte para blocos grandes (com suporte para subblocos) (até 4 MB)

• Bloqueio de intervalo de bytes (em vez de bloqueio de arquivo ou extensão) disponível com os sinalizadores
de abertura de arquivo de aplicativo adequados.

• Otimizações de padrão de acesso (por exemplo, sequencial, strided, para trás) • Cache

de arquivos (chamado pagepool) separado do cache de arquivos do sistema operacional local

• O tamanho padrão é 64 MB, podendo ir até 256 GB

• memória de kernel fixada

• vmo / ioo não afeta diretamente o pagepool (ao contrário dos ajustáveis JFS/JFS2)
• Daemon multithread de 64 bits que suporta pré-busca e write-behind • Funções de

gerenciamento distribuídas (por exemplo, metadados, tokens) • Multicaminhos

(ou seja, vários caminhos independentes para os mesmos dados de arquivo de qualquer lugar
no cluster)

8 Visão geral do GPFS

Machine Translated by Google

Recursos RAS

• Se um nó que fornece funções de gerenciamento GPFS falhar, um nó alternativo assumirá

automaticamente a responsabilidade, evitando a perda de acesso ao sistema de arquivos.

• Os discos podem ser fornecidos ao cluster por meio de um servidor primário e secundário ou ser
visto por um grupo (ou todos) de nós. Portanto, a perda de um nó de servidor ou de um adaptador não resulta
em perda de acesso aos dados.

• Até 8 servidores NSD para cada NSD

• Dados e metadados também podem ser replicados separadamente (semelhante ao espelhamento) para
remover um subsistema de armazenamento como um SPOF.

• GPFS que utiliza subsistemas de armazenamento com RAID integrado protege contra perda de
dados e perda de acesso aos dados.

• Gerenciamento de sistema on-line e dinâmico

• Adicionar/remover disco, restriping, replicação, modificação do sistema de arquivos

• Em snapshots do sistema de arquivos (limitados pela quantidade de alterações + espaço livre)

• Até 256 no GPFS V3.3

9 Visão geral do GPFS

Machine Translated by Google

Recursos RAS

A restrição de um sistema de arquivos é paralelizada para melhorar o desempenho (v3.3)

• Atualizações contínuas suportadas na versão 3

• A reserva persistente SCSI-3 pode ser usada para failover rápido de clusters de 2 nós

• Monitoramento SNMP com GPFS para Linux

• Solução NFS em cluster com GPFS para Linux

• O daemon GPFS tentará se reconectar quando as conexões de soquete forem interrompidas

• O GPFS pode ser usado em configurações de recuperação de desastres

• O acesso NSD pode fazer failover para a rede a partir da SAN e vice-versa, se desejado

A integração de backup paralelo com o TSM agora usa mecanismo de política e oferece
suporte incremental para sempre

10 Visão geral do GPFS

Machine Translated by Google

Ambientes Suportados

• Verifique o FAQ para obter detalhes sobre níveis de kernel, patches, etc.

11 Visão geral do GPFS

Machine Translated by Google

Ambientes Suportados

• Ambientes de Hardware:

• Sistemas baseados em POWER: AIX e Linux

• Sistemas IBM baseados em AMD: Linux

• Sistemas System x baseados em Intel: Linux ou Windows (AMD x64, EMT64T)

• A interconexão do cluster GPFS deve ser invariável

• ou seja, não pode ser gerenciado pelo PowerHA, etc.

• Para disponibilidade, consulte EtherChannel ou 802.3ad Aggregates!

• Para armazenamento suportado e/ou testado, consulte as perguntas frequentes do GPFS.

• GPFS suporta o uso de recursos PowerVM (ou seja, Ethernet Virtual, SCSI Virtual,
Adaptador Ethernet Compartilhado).

• O GPFS não foi testado oficialmente com Live Partition Mobility ou NPIV

12 Visão geral do GPFS

Machine Translated by Google

Ambientes Suportados

• Limitações do GPFS para Windows (ou seja, “não”):

• Dispositivos de armazenamento conectados diretamente aos sistemas Windows

(ou seja, apenas acesso NSD baseado em rede)

• Montagem remota de sistemas de arquivos em clusters GPFS

• funções de nó "gerente" e "quorum"

• Sistemas de arquivos habilitados para DMAPI

• Sistemas de arquivos criados com versões anteriores do GPFS (3.2.1.5+)

• Interfaces de programação de aplicativos GPFS

• Somente 64 nós do Windows no cluster (>32 requer GPFS

Avaliação do desenvolvimento)

• O Controle de Acesso Baseado em Função (RBAC) não é suportado pelo GPFS e está desativado
por padrão.

• As partições de carga de trabalho (WPARs) ou chaves de proteção de armazenamento não são exploradas por
GPFS.

13 Visão geral do GPFS

Machine Translated by Google

Interconexões suportadas

• Linux, AIX e/ou Windows (cluster misto):

• Ethernet: 100Mb, 1Gb e 10Gb

• Cluster somente Linux

• Myrinet (somente IP)

• Infiniband: IP ou VERBS RDMA (somente Multiplataforma, não Power)

• Cluster somente AIX

• Myrinet (somente IP)

• eServer HPS (clusters AIX homogêneos)

• Infiniband (somente IP)

• Adaptador Ethernet Virtual/Ethernet Compartilhada

• O GPFS suporta definições de rede entre clusters e dentro de clusters

• ou seja, o cluster local pode usar interconexão local de alta velocidade

14 Visão geral do GPFS

Machine Translated by Google

Limites do GPFS

• Design de sistema de arquivos muito grande: 2^99

bytes ou cerca de 633.825 Yottabytes (2^80) !! (são muitos bytes, ha!)

• Limite do sistema de arquivos testado: 4 petabytes (4.000 TB)

• Número máximo de arquivos no sistema de arquivos (depende do tamanho do FS):

• 2.147.483.648

• Suporte ao escalonamento de nós suportado:

• AIX: 1.530 nós (>128 nós requerem revisão da IBM)

• Multiplataforma para Linux: 3.794 nós (>512 nós requerem revisão da IBM)

• Windows: 64 nós (sem clusters homogêneos do Windows)

• AIX + Multiplataforma para Linux: 3906 (3794 Linux, 112 nós AIX)

• Maior tamanho de disco:

• AIX/Linux de 64 bits: limitado pelo driver do dispositivo e sistema operacional (>2 TB)
• AIX de 32 bits: 1 TB

• Linux de 32 bits: 2 TB.

• O número máximo de sistemas de arquivos é 256

15 Visão geral do GPFS
Machine Translated by Google

Outros recursos do GPFS

• Registro em diário do sistema de arquivos - registra informações sobre operações executadas nos
metadados do sistema de arquivos como transações atômicas que podem ser reproduzidas

• API de gerenciamento de dados (DMAPI) - A interface padrão do setor permite que aplicativos de
terceiros (por exemplo, TSM) implementem gerenciamento de armazenamento hierárquico

• Suporte a ACL NFSv4

• Pools de armazenamento externo permitem a migração automatizada de arquivos de/para sistemas HSM
(ou seja, fita).

• Compatibilidade com versões anteriores para ambientes com vários clusters

O GPFS pode ser configurado com um número menor de nós “confiáveis” que possuem
recursos de shell remoto para todos os outros nós (nós administrativos)

• O shell remoto pode ser solicitado ou não

• Pode utilizar ssh-agent nesta configuração

O GPFS permite que scripts de usuário definidos sejam executados após eventos GPFS específicos

16 Visão geral do GPFS

Machine Translated by Google

Licenciamento

• Licença do Servidor GPFS:

• Montar sistemas de arquivos de servidores NSD ou dispositivos de bloco locais

• Executar gerenciamento GPFS: nó de quorum, gerenciador de sistema de arquivos,

gerenciador de configuração de cluster, servidor NSD

• Compartilhe dados através de qualquer aplicativo como NFS, CIFS, FTP ou HTTP

• Licença de cliente GPFS

• Montar sistemas de arquivos de servidores NSD ou dispositivos de bloco locais

• Troca de dados entre nós que montam localmente o mesmo arquivo GPFS
sistema

• Por PVU no System x, Intel ou AMD. Encomendado via Passport Advantage

• Por núcleo em Power Systems. Pedido via eConfig (AAS).

• Consulte as Perguntas frequentes do GPFS para ver exemplos

17 Visão geral do GPFS

Machine Translated by Google

Recursos de ILM no GPFS

Clientes GPFS

Aplicativo

• GPFS Versão 3 adiciona suporte para Aplicativo

Colocação
P
Aplicativo GPFS
Gerenciamento do ciclo de vida da informação Colocação
P
ó

Aplicativo GPFS ó li
Colocação
(ILM): pools de armazenamento, conjuntos de Posix
GPFS
P
li
c
sim
Colocação ó
P c
arquivos, políticas GPFS
ó li sim

c
li sim

c
• Pool de armazenamento – grupo de LUNs sim

Nó Gerenciador do GPFS
Protocolo RPC GPFS
• Conjunto de arquivos: subárvore nomeada de •Gerenciador de cluster
•Gerenciador de
bloqueio •Gerenciador

um de cotas •Gerenciador de
alocação •Gerenciador de políticas

sistema de arquivos • Política – regras para colocar Rede de armazenamento

arquivos em pools de armazenamento

• Exemplos de regras de política •

Coloque novos arquivos de forma rápida e confiável
armazenamento, mova os arquivos à medida que
envelhecem para um armazenamento mais

lento e depois para fita • Coloque os arquivos de mídia Ouro Prata Estanho

Piscina Piscina Piscina

em um armazenamento compatível com vídeo
(rápido e suave), outros Conjunto de sistemas
Conjuntos de dados

Sistema de arquivos GPFS (grupo de volumes)

arquivos em um armazenamento mais barato
• Coloque os arquivos relacionados juntos, por exemplo, para contenção de falhas

18
Machine Translated by Google

Recuperação de desastres
Cluster disperso ativo/ativo

• A figura à esquerda é um
cluster geograficamente disperso

• Todos os nós em qualquer site

ter acesso SAN/NSD ao disco

• O armazenamento do
site A é duplicado no site B com
Replicação GPFS

• Ações simples de recuperação em

caso de falha do site (mais
complicadas se você
perder o site de desempate também)

• Implicação no desempenho: o GPFS não tem conhecimento da localidade física de

uma réplica. Não há como especificar a prioridade de acesso ao disco (ou seja, primeiro o
armazenamento local)
19 Visão geral do GPFS
Machine Translated by Google

Recuperação de desastres
Ativo/Passivo com Replicação de Armazenamento Assíncrono

• Usa “mmfsctl
syncFSconfig” para configurar
as definições do sistema de
arquivos no site de recuperação

• A replicação do subsistema
de armazenamento mantém o
LUNs sincronizados

• O failover exige que o

site de produção esteja inativo (ou
seja, deve-se encerrar os daemons
GPFS se não for uma falha total do
site)

• Configuração e
failover mais envolvidos

20 Visão geral do GPFS

Machine Translated by Google

Recuperação de desastres
Ativo/Ativo com replicação de armazenamento assíncrona

• Mesmo layout de nó como ativo/ativo usando replicação GPFS:

• Nós em três sites, primário A, secundário B e desempatador C.

• Mesmo layout de disco que Ativo/Passivo com PPRC

• O DiskA é conectado à SAN e pode ser acessado nos sites A e B

• O DiskB é conectado à SAN e acessível somente no site B

• Relacionamento PPRC do discoA para o discoB

• Os grupos de consistência devem ser definidos em todos os subsistemas

lógicos no site primário.

• O failover envolve desativar o acesso diskA do siteB (via SAN ou script de

saída de usuário nsddevices)

21 Visão geral do GPFS

Machine Translated by Google

Recuperação de desastres
Backup on-line com FlashCopy

• Pode ser usado para fazer cópias off-site dos LUNs que compõem um
Sistema de arquivos GPFS

• Não deve ser confundido com snapshots GPFS que fazem um point-in-in-filesystem
cópia de tempo para fins de backup.

• ou seja, o comando GPFS mmbackup que funciona com o TSM utiliza isso em
As tampas.

• Requer suspensão temporária de volumes GPFS primários ao iniciar

Comandos FlashCopy (libera todos os buffers/cache no disco para obter uma imagem consistente
do sistema de arquivos)

• “mmfsctl <dispositivo> suspender | retomar"

• Pode ser usado tanto para disponibilidade (backup DR) quanto para outros fins (cópias derivadas
para backups lentos “em fita”, análise adicional de dados, etc.).

• Pode ter uma configuração pseudo-ativa/ativa com o segundo site ativo no

ao mesmo tempo que o site principal

22 Visão geral do GPFS

Machine Translated by Google

GPFS com Oracle RAC

• As versões 3.1 e 3.2 do GPFS são certificadas em AIX 5.3 e AIX 6.1 com

• Oracle 10 (versão 10.2.0.3 ou posterior)

• Oráculo 11.1

• Obtenha uma cópia do Artigo 302806.1 do Oracle Metalink, intitulado “IBM General Parallel
File System (GPFS) e Oracle RAC no AIX 5L e IBM eServer pSeries” e Artigo 282036.1

• O Oracle RAC detecta o uso do GPFS para seus arquivos de banco de dados e abrirá
colocá-los no modo Direct I/O. Isso ignora o pagepool do GPFS para arquivos de banco de dados,
mas ainda é usado para outros arquivos.

• O HACMP não é necessário para implementações do Oracle RAC 10g (ou posterior).

23 Visão geral do GPFS

Machine Translated by Google

GPFS com Oracle RAC

Recomendações de ajuste

• Ao executar o Oracle RAC 10g, sugere-se aumentar o valor de

OPROCD_DEFAULT_MARGIN para pelo menos 500 para evitar possíveis
reinicializações aleatórias de nós.

• Leia a seção “GPFS use with Oracle” no GPFS Planning and

Guia de instalação para obter detalhes sobre threads e AIO.

• Sugeriu que a votação e o OCR não estivessem em sistemas de arquivos GPFS, mas
em vez disso, em dispositivos brutos compartilhados (hdisks)

24 Visão geral do GPFS

Machine Translated by Google

GPFS com Oracle RAC

Recomendações de ajuste

• Para sistemas de arquivos que contêm bancos de dados Oracle grandes, configure o tamanho
do bloco do sistema de arquivos GPFS para um valor grande:

• Geralmente é sugerido 512 KB.

• 256 KB são sugeridos se houver atividade diferente do Oracle usando o sistema

de arquivos e existirem muitos arquivos pequenos que não estão no banco de dados.

• 1 MB é sugerido para sistemas de arquivos de 100 TB ou maiores.

O grande tamanho do bloco torna gerenciável a alocação de espaço

para os bancos de dados e não afeta o desempenho quando o Oracle
está usando os recursos de E/S assíncrona (AIO) e E/S direta (DIO) do AIX.

25 Visão geral do GPFS

Machine Translated by Google

Terminologia GPFS

As páginas a seguir fornecem definições rápidas para os seguintes

termos e conceitos do GPFS:

• Discos compartilhados em rede

• Sistemas de arquivos

• Grupos de falhas e replicação

• Funções do nó:

• Servidor de dados de cluster

• Gerenciador de configuração

• Gerenciador do sistema de arquivos

• Quórum de nós

26 Visão geral do GPFS

Machine Translated by Google

NSD

NSD: disco compartilhado em rede

• Isso vem da porta Linux do GPFS. Um NSD normalmente é construído em um dispositivo

de disco bruto (ou seja, não um grupo de volumes/volume lógico) que é
disponibilizado para clientes remotos como parte de um sistema de arquivos GPFS
em uma rede IP.

• Pode ser usado em interconexões padrão (não são necessárias redes

especializadas) e utiliza TCP/1191 (porta registrada na IANA)

• Gigabit Ethernet mínimo recomendado

• EtherChannel compatível

• E quanto aos LVs no AIX?

• Suportado se o VG/LV for gerenciado manualmente ou se for migrado de versões

anteriores do GPFS (ou seja, V2.2 ou anterior)

• Também normalmente usado em configurações de DR para descritores de sistema de arquivos em terceiros

nó do site.

27 Visão geral do GPFS

Machine Translated by Google

Discos

• Os discos são as menores unidades que compõem um sistema de arquivos GPFS

Os discos definidos para GPFS não podem pertencer a mais

mais de um sistema de arquivos (não como VGs com LVs separados)!

• Para conectividade de armazenamento onde você tem vários (normalmente 2) caminhos para o
disco (ou seja, dois adaptadores Fibre Channel) e usando um driver de dispositivo que
reconhece vários caminhos, você normalmente terá um dispositivo virtual que representa
ambos os caminhos. Por exemplo:

• MPIO no AIX = hdisk

• SDD (não MPIO) no AIX = vpath

• PowerPath da EMC = hdiskpower

• HDLM da Hitatchi = dlmfdrv

28 Visão geral do GPFS

Machine Translated by Google

Discos

• São esses dispositivos virtuais que são usados como entrada para GPFS para
definir “discos” GPFS.

• O GPFS usa o conceito de grupos de falhas para disponibilidade dos dados do disco (dados
e metadados) que compõem os sistemas de arquivos

• Os discos que possuem o mesmo “caminho” (ou dependem do mesmo dispositivo físico) para o
host estão no mesmo grupo de falhas. Exemplos:

• todos os discos definidos em um único subsistema de armazenamento

• todos os discos acessados através do mesmo caminho virtual

• Um número de grupo de falha pode ser atribuído automática ou manualmente a um

disco

29 Visão geral do GPFS

Machine Translated by Google

Sistemas de arquivos

• A disponibilidade do sistema de arquivos é fornecida (no nível FS) através do uso de replicação
de dados e metadados.

• Replicação é a duplicação de dados e/ou metadados (normalmente ambos) em discos GPFS

em diferentes grupos de falhas

• Requer o dobro do armazenamento

• Única maneira de remover um único subsistema de armazenamento como Ponto Único de

Falha (SPOF) para um sistema de arquivos.

• Apenas usando mais de um subsistema de armazenamento sem replicação

não fornecerá disponibilidade do sistema de arquivos GPFS

Os discos GPFS não podem ser espelhados no nível do volume lógico!

• Subsistemas de disco que usam vários níveis de RAID internamente são aceitáveis!

30 Visão geral do GPFS

Machine Translated by Google

Grupos de falhas e replicação

Servidor NSD primário SVR NSD secundário

FG1 FG2

NSD1 NSD3

NSD2 NSD4

/gpfs/fs1

• Com a replicação habilitada, duas cópias de dados e/ou metadados são mantidas, cada uma em NSDs
em grupos de falhas separados.

• A falha de um disco fará com que o GPFS marque o disco como desativado e continue a utilizá-lo
a outra cópia exclusivamente até que uma ação administrativa ou de reparo seja realizada

31 Visão geral do GPFS

Machine Translated by Google

Sistemas de arquivos

• Os sistemas de arquivos GPFS são criados e distribuídos nos discos GPFS que
compõem o sistema de arquivos.

• Os sistemas de arquivos criados em um disco não são distribuídos!

• Não há outra maneira de desabilitar o striping além de usar apenas um único

disco!

• Os sistemas de arquivos são distribuídos em discos usando o tamanho de bloco especificado durante
a criação do FS. O tamanho do bloco não pode ser alterado após a criação do sistema de arquivos!

• 16K, 64K, 128K, 256K, 512K, 1024K (1M), 2M, 4M

• Os sistemas de arquivos GPFS são sinônimos do dispositivo no qual foram criados.

• por exemplo: o sistema de arquivos GPFS /bigfs está montado no dispositivo

/dev/bigdev

• Algumas operações dinâmicas em sistemas de arquivos incluem:

• adicionar discos, excluir discos, redistribuir, aumentar i-nodes

32 Visão geral do GPFS

Machine Translated by Google

Distribuição do sistema de arquivos

Bloco 1 Bloco 2 Bloco 3 Bloco 4 Bloco 5 Bloco 6

Bloco 7 Bloco 8 Bloco 9 Bloco 10 Bloco 11 Bloco 12

/gpfs/algum arquivo

NSD0 NSD1 NSD2

Bloco 1 Bloco
Bloco 2
1 Bloco 3
Bloco 4
Bloco 5
3 Bloco 6
Bloco 7 Bloco 8
5 Bloco 9
Preto 10 Bloco
Preto 11
7 Preto 12
Bloco 9

• O GPFS gerencia a distribuição de distribuição

internamente. • A adição ou remoção de NSDs de um sistema de arquivos existente pode, opcionalmente, r
os dados.

• A restriping pode ser paralelizada especificando vários nós para participarem do

redistribuir
• A redistribuição pode exigir muita E/S

33 Visão geral do GPFS

Machine Translated by Google

Funções do nó:
Servidor de dados de cluster

• No mínimo, um servidor de dados do cluster primário deve ser definido para atuar
como o repositório primário do arquivo de informações de configuração do
cluster GPFS (/var/mmfs/etc/mmsdrfs).

• Um servidor de configuração de cluster GPFS secundário é altamente

recomendado

• Se o seu servidor primário falhar e você não tiver designado um servidor secundário,
os arquivos de dados de configuração do cluster GPFS ficarão inacessíveis e
quaisquer comandos administrativos do GPFS que precisem de acesso
ao arquivo de configuração falharão. Da mesma forma, quando o daemon GPFS
for inicializado, pelo menos um dos dois servidores de configuração de
cluster GPFS deverá estar acessível.

34 Visão geral do GPFS

Machine Translated by Google

Funções do nó:
Gerenciador de configuração

• O "nó mais antigo em operação contínua" é automaticamente selecionado como gerenciador

de configuração. (Caso falhe, outro nó será selecionado automaticamente)

• Pode ser escolhido através do comando “mmchmgr -c”

• O Gerenciador de Configuração:

• Seleciona o gerenciador do sistema de arquivos para cada sistema de arquivos do gerenciador disponível
nós

• Determina se existe um quorum de cluster

• Quorum – dois algoritmos

Quorum é o número mínimo de nós em um cluster que pode estar em execução

para o daemon GPFS (ou seja, mmfsd) operar. Para a maioria dos clusters:
• Padrão, vários nós: quorum = 1 + sizeof(quorum nodes)/2
• Discos desempatadores alternativos: mais sobre isso mais tarde...

35 Visão geral do GPFS

Machine Translated by Google

Funções do nó:

Gerenciador de sistema de arquivos

• Cada sistema de arquivos recebe um gerenciador de sistema de arquivos.

• O gestor do FS é responsável por:

• Configuração do sistema de arquivos (adicionar discos, alterar a disponibilidade do disco,

reparando o sistema de arquivos)

• O processamento de montagem e desmontagem é executado no gerenciador do sistema

de arquivos e no nó que solicita o serviço.

• Gerenciamento da alocação de espaço em disco (controla quais regiões de discos são alocadas
para cada nó, permitindo uma alocação paralela eficaz de espaço).

• Gerenciamento de token (pode ser distribuído na versão 3)

• Gerenciamento de cotas

• A falha do nó do gerenciador do sistema de arquivos fará com que outro nó

ser automaticamente atribuído à função

36 Visão geral do GPFS

Machine Translated by Google

Quorum de nós

q - nó de quórum nq - nó não quórum

• Quorum de nós do GPFS permite que algum subconjunto da população total de nós
seja designado como nós de quorum explícitos.

• Clusters grandes atingem o quorum mais rapidamente e podem ser protegidos contra falhas
mais rapidamente com menos nós de quorum

• Normalmente 7 nós ou menos... números ímpares são bons.

37 Visão geral do GPFS

Machine Translated by Google

Quorum de nós com discos desempatadores

q - nó de quorum t - nq - nó não quórum

disco desempatador

• Nenhuma dependência de reserva persistente SCSI-3 de hardware de disco.

• Clusters na Versão 3 podem conter 8 nós de quorum

• Os clusters também podem conter qualquer número de nós que não sejam de quórum.

• De um a três discos podem ser usados como desempate, ímpar é bom.

38 Visão geral do GPFS

Machine Translated by Google

Montagens de cluster cruzado

•Os clusters agora podem montar sistemas de arquivos

pertencentes e administrados por outros clusters
•Os clusters podem compartilhar dados para que a
disponibilidade de recursos computacionais possa ser melhor utilizada
• Dados separados e sites de computação (Grade)
•Formar vários clusters em um
“superaglomerado” para problemas de grandes desafios

39 Visão geral do GPFS

Machine Translated by Google

Tarefas administrativas

• Expansão de sistemas de arquivos

• Redução de sistemas de arquivos

• Interface gráfica do usuário

• Comandos Comuns

• Outras tarefas

• Depuração

40 Visão geral do GPFS

Machine Translated by Google

Expandindo Sistemas de Arquivos

Comando: mmadddisk

• Uma operação dinâmica para aumentar o tamanho do sistema de arquivos.

• Requer um arquivo descritor de disco modificado como entrada (ou seja, NSDs)

• Pode redistribuir (mmrestripefs) o sistema de arquivos para incluir o novo disco,

se necessário (sinalizador -r). Esta operação pode levar muito tempo e exigir muita E/
S.

• Pode redistribuir de forma assíncrona (ou seja, em segundo plano) com o

sinalizador “-a”.

• Você também pode escolher quais nós participarão da redistribuição. Quanto mais
nós participarem, menor será o tempo necessário.

• Use o comando mmlsnsd para listar NSDs não utilizados

41 Visão geral do GPFS

Machine Translated by Google

Reduzindo sistemas de arquivos

Comando:mmdeldisk

• Uma operação dinâmica para diminuir o tamanho do sistema de arquivos.

• Requer o(s) nome(s) NSD e o dispositivo FS como entrada.

• Pode redistribuir (mmrestripefs) o sistema de arquivos, além de apenas mover

dados do disco excluído, se necessário (sinalização -r). Esta operação pode
levar muito tempo e exigir muita E/S.

• Pode redistribuir de forma assíncrona (ou seja, em segundo plano) com o

sinalizador “-a”.

• Você também pode escolher quais nós participarão da redistribuição. Quanto mais
nós participarem, menor será o tempo necessário.

• Coisas para assistir:

• Configurações de replicação (ou seja, não quero deixar um estado de

replicação desequilibrado)

• Espaço disponível para remover disco!

42 Visão geral do GPFS
Machine Translated by Google

Interface gráfica do usuário

• Disponível com GPFS V3.2.1.1 e posterior

43 Visão geral do GPFS

Machine Translated by Google

Comandos Comuns

• Visualizar/alterar a configuração do cluster GPFS

• mmlscluster/mmchcluster

• Visualizar/alterar detalhes de configuração do GPFS

• mmlsconfig/mmchconfig

• Visualizar/alterar configuração do sistema de arquivos

• mmlsfs / mmchfs <dispositivo GPFS>

• Visualizar o uso do sistema de arquivos/pool de armazenamento

• mmdf <dispositivo GPFS necessário>

44 Visão geral do GPFS

Machine Translated by Google

Comandos Comuns

• Visualizar encadeamentos GPFS atuais em um nó

• garçons de despejo mmfsadm

• Visualizar/alterar o estado de um disco GPFS

• mmlsdisk/mmchdisk

• Visualizar/alterar informações do GPFS NSD

• mmlsnsd/mmchnsd

• Adicionar/remover nós

• mmaddnode/mmdelnode

45 Visão geral do GPFS

Machine Translated by Google

Outras tarefas

D = dinâmico, ND = não dinâmico

• Modificação de servidores NSD DE

• comando mmchnsd
o sistema de arquivos deve ser desmontado

• Adicionando inodes a um FS D

• mmchfs -F#

• Criar/excluir instantâneos D

• mmcrsnapshot (criar, no diretório <fs>/.snapshots), mmdelsnapshot

(excluir), mmlssnapshot (lista)

• Backup paralelo via TSM D

• mmbackup (veja a documentação para configuração)

Utiliza instantâneos escondidos.

46 Visão geral do GPFS

Machine Translated by Google

Outras tarefas

D = dinâmico, ND = não dinâmico

• Iniciar/parar o daemon GPFS D

• mmstartup / mmshutdown (-a para todos)

• Configurar discos desempatadores DE

• mmchconfig tiebreakerDisks=”nsd1;nsd2;nsd3”

• Os NSDs podem fazer parte de sistemas de arquivos, não precisam ser dedicados.

• mmchconfig tiebreakerDisks=não

• Alterar o tamanho do cache GPFS (pagepool) DE

(requer parada/início do daemon)

• pool de páginas mmchconfig = 500 milhões

47 Visão geral do GPFS

Machine Translated by Google

Outras tarefas

D = dinâmico, ND = não dinâmico

• Atribuir o gerenciador do sistema de arquivos D

• mmchmgr

• Determinar quais nós possuem um sistema de arquivos montado D

• montagem mml

• Montar/desmontar sistemas de arquivos em (todos) os nós D

• mmmontar / mmmontar (-a)

• Restripar (reequilibrar) um sistema de arquivos D

• mmrestripes

48 Visão geral do GPFS

Machine Translated by Google

Outras tarefas

D = dinâmico, ND = não dinâmico

• Habilitar reserva persistente SCSI DE

• mmchconfig usePersistentReserve=sim

Atribuir o gerenciador de configuração do cluster D

• mmchmgr -c

Alterar atributos do nó D

• mmchnode

• Modificar o estado real de replicação dos dados D

• mmrestripes -R

49 Visão geral do GPFS

Machine Translated by Google

Depurando GPFS

Verifique de cima para baixo:

• É minha associação ao cluster?

• Podemos nos comunicar?

• O daemon está em execução?

• O sistema de arquivos está

montado? • Estão todos

montados? • Há algum problema com os

discos? • Do ponto de vista do sistema operacional? •

Do ponto de vista do GPFS?

• Problema de desempenho?

• Confira os comandos de desempenho padrão do AIX •

Examine o comando mmpmon

50 Visão geral do GPFS

Machine Translated by Google

Tarefas de depuração

• Primeiro, documente o cluster:

• mmlscluster Lista os nós, servidores de dados pri/sec

• mmlsconfig Lista os valores de configuração do cluster, dispositivos FS

• mmlsnsd -M/-X Lista todos os NSDs e como eles estão

visto dos nós

• mmlsmgr Lista os gerenciadores do sistema de arquivos

• mmlsfs <fs_dev> Lista os atributos do FS

• Determinar o estado das coisas

• mmgetstate -a
Lista o estado de cada nó de quorum no cluster GPFS
• mmlsdisk <dispositivo GPFS> -L
Lista o estado de cada disco no FS, bem como informações de quorum
• mmlsnsd <dispositivo GPFS> -M

51 Visão geral do GPFS

Machine Translated by Google

Tarefas de depuração

• Em seguida, leia os registros:

• /var/adm/ras/mmfs.log.latest • /var/ # Link simbólico para o último log

adm/ras/mmfs.log.previous

• /var/adm/ras/mmfs.log.<timestamp>

• Leia a documentação!

• Guia de determinação de problemas do GPFS

• Dicas aleatórias:
• Se o nó foi clonado de outro nó GPFS, exclua o conteúdo de /var/mmfs/gen e /etc/
cluster.nodes antes de adicionar ao cluster GPFS

• Se o comando mmgetstate falhar nos nós de quorum, verifique o shell remoto

comandos (devem funcionar de qualquer para qualquer sem aviso)

52 Visão geral do GPFS

Machine Translated by Google

Fontes de informação

Os URIs a seguir fornecem mais informações sobre o GPFS.

• Centro de Recursos de Cluster:

http://publib.boulder.ibm.com/infocenter/clresctr/

• Documentação do produto GPFS ... /

topic/com.ibm.cluster.gpfs.doc/gpfsbooks.html

• Perguntas frequentes sobre a versão do GPFS (muito importante para as atualizações mais recentes):
... /index.jsp?topic=/com.ibm.cluster.gpfs.doc/gpfs_faqs/gpfsclustersfaq.html

• Fórum GPFS e lista de discussão:

• http://www-128.ibm.com/developerworks/forums/dw_forum.jsp?forum=479&cat=13

• http://lists.sdsc.edu/mailman/listinfo.cgi/gpfs-general

• Wiki do GPFS
• http://www.ibm.com/developerworks/wikis/display/hpccentral/General+Parallel+File+System+
%28GPFS%29

53 Visão geral do GPFS

Machine Translated by Google

Fontes de informação

Os URIs a seguir fornecem mais informações sobre o GPFS.

• Site principal de marketing, com links para whitepapers:

http://www.ibm.com/systems/clusters/software/gpfs/index.html

• Redbooks (www.redbooks.ibm.com) • Mídia

digital (SG24-6700)

• Oracle RAC (SG24-7541)

• Correção do site de
download: http://www14.software.ibm.com/webapp/set2/sas/f/gpfs/home.html

54 Visão geral do GPFS