Linux Archive

Linux Archive (http://www.linux-archive.org/)
-   CentOS (http://www.linux-archive.org/centos/)
-   -   - Estrutura de armazenamento de uma grande quantidade de arquivos (http://www.linux-archive.org/centos/286939-estrutura-de-armazenamento-de-uma-grande-quantidade-de-arquivos.html)

"Fábio Jr." 11-27-2009 10:42 AM

- Estrutura de armazenamento de uma grande quantidade de arquivos
 
Olá pessoal,

Desculpem o off-topic, mas não sabia onde postar minha dúvida. Se alguém
tiver uma sugestão de lista para postar essa dúvida eu agradeço.

O sistema do qual administro os servidores, possui uma funcionalidade
que é exibição de imagens cadastradas pelos usuários. Estas imagens são
armazenadas atualmente em um único diretório, e são gravadas com um
número (ex.:123456.jpg), em um storage rodando centOS.(até q não é tão
off-topic assim).

O problema é que a quantidade de imagens já passa de 4 milhões de
arquivos. Cada imagem antes de ser armazenada, é tratada, e salva em 3
tamanhos diferentes. Ou seja, existem 3 cópias de cada arquivos (4
milhões / 3).

Espaço em disco não é problema, já que estas imagens são pequenas. O
problema maior é a quantidade mesmo, e a organização. A medida que o
numero de arquivos aumenta, fica pior para o SO buscar essa foto. Pra
piorar a situação, os servidores de aplicação montam via nfs este
storage para buscar os arquivos.

Finalmente, o que venho pedir a lista seriam sugestões de como melhorar
a indexação/organização destes arquivos. Já pensei em utilizar
armazenamento distribuído (SAN, cloud, GlusterFS), organização por
pastas com AliasMatch do apache para recuperá-las depois e armazenamento
em banco de dados.

Qualquer sugestão é bem vinda.

Obrigado.

[]s

--
Fábio da Silva Júnior - fjuniorlista@gmail.com
----- http://fabioojunior.wordpress.com -----

_______________________________________________
CentOS mailing list
CentOS@centos.org
http://lists.centos.org/mailman/listinfo/centos


All times are GMT. The time now is 11:27 PM.

VBulletin, Copyright ©2000 - 2014, Jelsoft Enterprises Ltd.
Content Relevant URLs by vBSEO ©2007, Crawlability, Inc.