Santo Large Hadron Collider, Batman!

Valentin Kuznetsov acaba de apresentar um trabalho na Conferência Internacional sobre Ciência Computacional sobre a utilização do CERN MongoDB para os dados do Large Hadron Collider. O papel, o CMS de agregação de dados do sistema, está disponível como um PDF no ScienceDirect.

Um resumo

“CMS” significa Compact Muon Solenoid, um detector de partículas da física construída sobre o Large Hadron Collider. O projeto CMS publicado possui alguns quadrinhos que proporcionam uma agradável e simples explicação do que o CMS / LHC faz.
O LHC gera enormes quantidades de dados de todas as variedades, que é distribuído através de uma rede mundial. Ele envia mensagens de status para alguns dos computadores, informações do trabalho de monitoramento para outros computadores, informações contábeis ainda em outro lugar, e assim por diante.
Isto significa que cada local tem consultas especializadas que pode fazer sobre os dados que possui, mas até agora tem sido muito difícil para consultar através de toda a rede.

Como funciona.

O sistema de totalização MongoDB usa como cache. Ele verifica se Mongo tem a agregação que o usuário está pedindo e retorna-o, caso contrário, o sistema faz a agregação e salva-o Mongo.
Eles consultam o sistema usando uma SQL, linguagem simples, como a que eles transformam em uma consulta MongoDB. Então, algo como file = “abc”, execute> 10 torna-se “file:” abc “,” executar: (“$ (gt”: 10)). (Não é o mesmo que o SQL, mas o código para isso poderia ser interessante para pessoas que querem usar consultas SQL com MongoDB).
Se o cache não contém a consulta solicitada, o sistema itera sobre todos os lugares do mundo que poderia ter essa informação e consulta-los, recolhendo os seus resultados. Em seguida, ele mescla todos os resultados, fazendo uma espécie de “GROUP BY” operação baseada em pré-identificação dos grupos e insere as informações agregadas no cache.
Ele foi construído usando o driver Python.

Objetivos
Eles estão ansiosos para testá-lo em campo e escalar horizontalmente o sistema com sharding. Como se trata de uma grid aggregation/querying tool, eles também estão interessados na sua aplicação a problemas fora do LHC e o CERN.

artigo original em: http://www.nosqlbr.com.br/santo-large-hadron-collider-batman.html