Estamos agora a assistir a uma nova e profunda transformação baseada no fenómeno da big data, ou seja, no aumento vertiginoso do número e diversidade de dados digitalizados que circulam, são tratados, analisados e utilizados para os fins mais diversos, à escala global.

Calcula-se que, no início deste século, apenas cerca de 25% do total da informação arquivada no mundo estava sob forma digital e a restante preservada em papel, fotografia, filme e em outros meios. Actualmente, passado pouco mais do que uma década, essa percentagem aumentou para mais de 90%.

Toda esta informação pode agora circular facilmente nas redes de telecomunicações. De acordo com a IBM, criam-se a cada dia no mundo aproximadamente 2,5 exabytes de informação, ou seja, 2,5 x 10¹⁸ unidades de informação digital ou bytes. Para ter uma ideia mais concreta, um carácter de um texto digitalizado e armazenado num computador corresponde a um byte, as obras completas de Shakespeare correspondem a cerca de 5 megabytes (5 x 10⁶ bytes) e as obras completas de Beethoven a cerca de 20 gigabytes (20 x 10⁹ bytes).

A big data evolui através do crescimento do volume de dados, do aumento do fluxo da sua aquisição e velocidade de processamento e da crescente variedade de tipos e origens de dados e respectivas tecnologias de aquisição. Os bancos de dados crescem nos mais diversos domínios, da ciência ao ambiente, à medicina, à sociologia, aos transportes, à economia, à segurança civil e militar, e aos sistemas de espionagem, devido ao uso crescente de redes de sensores em terra e no espaço, a bordo de satélites, de identificadores de radiofrequências, de outros sistemas de detecção e registo de dados e da proliferação e utilização crescente das redes sociais.

Paralelamente, tornou-se possível usar estes gigantescos bancos de dados para os fins mais variados devido ao contínuo aumento da memória dos computadores, aos processadores cada vez mais rápidos, ao software mais inteligente e a algoritmos mais evoluídos. Esta combinação da crescente facilidade de detecção de enormes quantidades de dados e do seu armazenamento, processamento e análise criou o fenómeno da big data.

A big data está a mudar profundamente o modo como usamos a informação através de três modos distintos. No passado, para fazer um estudo estatístico de um sistema com elevado número de elementos, procurava-se construir uma amostra que fosse representativa. Agora, o principal objectivo é obter os dados relativos à totalidade do sistema. Tornou-se viável armazenar, processar e analisar todos esses dados, o que permite explorar e conhecer as características e comportamentos dos subsistemas.

Segundo, no passado, havia uma grande preocupação em que os dados fossem todos muito fidedignos, agora é possível lidar com a incerteza que resulta de alguns dados não terem a qualidade desejada.

Terceiro, o uso da big data permite-nos descobrir uma multiplicidade de correlações entre os dados relativos à totalidade que nos ajuda a conhecer como o sistema funciona, mesmo que se desconheça o porquê desse funcionamento. Em termos estritamente operacionais, interessa muito mais conhecer a existência de uma correlação do que descobrir a sua causa.  

A big data tem permitido fazer avanços notáveis em ciência, por exemplo, em astrofísica, onde cresce aceleradamente o volume das bases de dados de observações realizadas em telescópios terrestres ou espaciais, nas quais se procuram descobrir sinais muito raros, mas muito relevantes. É o caso da procura de sistemas planetários extra-solares com planetas semelhantes à Terra, ou seja, com a possibilidade de serem habitáveis por formas complexas e até inteligentes de vida.

Outro exemplo é a genómica, onde a big data diminui a duração do processo de decifração da sequenciação do DNA de um organismo vivo. No caso do programa do genoma humano, iniciado em 1990, a primeira sequenciação levou cerca de dez anos, mas pode agora realizar-se em menos de uma semana.

A utilização e a análise estatística das enormes bases de dados das redes sociais e das grandes empresas multinacionais são processos que têm cada vez maior importância e valor do ponto de vista social, político e económico.

Finalmente, quanto à governação, os Governos dos países mais poderosos, entre os quais, EUA, Canadá, Grã-Bretanha, Austrália, China, Rússia, Alemanha e França, aperceberam-se rapidamente do enorme poder potencial da big data. Em 29 de Março de 2012, o Governo dos EUA lançou a Big Data Research and Development Initiative, dotada de um orçamento inicial de 200 milhões de dólares, com o objectivo de acelerar o ritmo do desenvolvimento da ciência e tecnologia, de fortalecer a segurança nacional e de transformar o processo de ensino e aprendizagem.

O programa envolve seis ministérios e financia também universidades para promover o desenvolvimento de acções de formação avançada e investigação em big data aplicada aos mais diversos domínios, da saúde ao ambiente, ao clima e à economia. Para usufruir da big data, são necessários computadores poderosos em termos de velocidade de processamento e memória. De acordo com o projecto TOP500, dos dez computadores mais poderosos do mundo em Junho de 2013, cinco são americanos, dois chineses, dois alemães e um japonês, sendo o primeiro lugar ocupado pelo Tianhe-2, um computador do Centro Nacional de Supercomputadores em Guangzhou.  

Antes da iniciativa de Março de 2012, o Governo dos EUA já utilizava a big data para actividades de espionagem à escala global, mas de forma clandestina. O projecto PRISM, conduzido pela National Security Agency (NSA), funcionava desde 2007 de forma secreta até ao momento em que o Guardian e o The Washington Post revelaram as suas actividades em 6 de Junho de 2013 com base em depoimentos feitos por Edward Snowden, um ex-analista contratado pela NSA que abandonou os EUA, se refugiou em Hong Kong e espera agora obter asilo político na Rússia.

Apesar de haver fortes suspeitas sobre a extensão e profundidade da espionagem electrónica conduzida pelos americanos, as revelações de Snowden caíram como uma bomba em todo o mundo, especialmente nos círculos governamentais dos EUA. O PRISM é capaz de registar os conteúdos de todas as formas de comunicação electrónica a nível mundial, incluindo todos os emails, todas as chamadas de telemóvel, todas as navegações feitas na Internet, todas as imagens e dados obtidos em satélites, bem como toda a espécie de dados pessoais, empresariais, institucionais e governamentais que estejam sob forma digital e circulem nas redes de telecomunicações.

Temos vários "big brothers" que espiam e registam continuamente as nossas vidas sem qualquer base legal, sendo actualmente os EUA o maior deles. A big data veio favorecer enormemente as actividades do "big brother". Nos EUA, estas actividades são feitas com o fraquíssimo controlo legal da Foreign Intelligence Surveillance Court, que é independente do poder judicial. A justificação que tem sido dada para o secretismo e ausência de controlos legais fortes é a da segurança, concretamente da luta contra o terrorismo. Porém, as revelações de Snowden mostraram que isso é falso. Há provas de que os EUA vigiavam clandestinamente cerca de 38 embaixadas, muitas delas de países aliados, bem como várias instituições da UE.

A verdade é que aquilo que os EUA procuram prioritariamente são informações de carácter económico e financeiro que poderão favorecer as suas empresas e bancos. Empresas como a Thomson-CSF e a Airbus perderam grandes contratos a favor de empresas americanas depois de terem sido reconhecidamente espiadas pelos EUA.

A ferocidade com que o Governo dos EUA pretende capturar Snowden para o condenar e silenciar para sempre revela bem a importância que as actividades de espionagem electrónica baseadas na big data têm para o país assegurar a sua supremacia económica e militar a nível mundial. A big data é um meio crucial de os "big brothers" manterem as suas hegemonias económicas, financeiras e militares num mundo dominado cada vez mais pela ganância e no qual os recursos naturais começam a escassear.