Primeiros passos no BigQuery GIS para analistas de dados | BigQuery | Google Cloud
Neste tutorial, apresentamos o BigQuery GIS. Com ele, é possível analisar e visualizar facilmente dados geoespaciais no BigQuery.
usar uma função do BigQuery GIS para converter colunas de latitude e longitude em pontos geográficos;
executar uma consulta que encontre todas as estações do Citi Bike com mais de 30 bicicletas disponíveis para locação;
visualizar os resultados no BigQuery Geo Viz.
Neste tutorial, são usados componentes do Cloud Platform que podem ser cobrados, incluindo este:
Você será cobrado por:
consulta aos dados dos conjuntos de dados públicos do BigQuery.
Todo mês, o primeiro 1 TB será gratuito.
Caso esteja usando preços fixos, os custos da consulta serão incluídos no preço fixo mensal.
O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery em um projeto atual, acesse Ativar BigQuery API.
Este é um tutorial introdutório destinado a analistas de dados.
Um analista de dados usa o SQL padrão do BigQuery para analisar tendências de dados que informam estratégias e operações comerciais. Isso inclui o uso do BigQuery ML para treinar e avaliar modelos de ML, além de realizar análises preditivas.
Os analistas de dados usam uma série de ferramentas baseadas principalmente na IU, incluindo:
a IU da Web do BigQuery no Console do GCP;
software estatístico, como o RStudio;
ferramentas de visualização, como o Cloud Datalab e o Data Studio.
Conferir os dados da amostra
Neste tutorial, usamos um conjunto de dados disponível por meio do programa de conjuntos de dados públicos do Google Cloud. Um conjunto de dados público é qualquer um que seja armazenado no BigQuery e disponibilizado ao público geral. Os conjuntos de dados públicos são hospedados no BigQuery para você acessar e integrar a seus aplicativos. O Google paga pelo armazenamento desses conjuntos de dados e oferece acesso público a eles por meio de um projeto. Você paga somente pelas consultas feitas aos dados. O primeiro terabyte (1 TB) por mês é gratuito, sujeito aos detalhes sobre preços de consultas.
Conjunto de dados de viagens do Citi Bike em Nova York
Viagens do Citi Bike em Nova York
O Citi Bike é o maior programa de compartilhamento de bicicletas dos Estados Unidos, com 10.000 bicicletas e 600 estações em Manhattan, Brooklyn, Queens e Jersey City. Neste conjunto de dados, constam as viagens do Ciki Bike desde a inauguração em setembro de 2013. O conjunto passa por atualizações diárias. Os dados foram processados pelo Citi Bike para desconsiderar viagens feitas por funcionários para manutenção e inspeção do sistema, assim como viagens inferiores a 60 segundos de duração, consideradas inválidas.
Para começar a ver esses dados no console do BigQuery, visualize os detalhes da tabela citibike_stations:
Acessar o esquema citibike_stations
Três colunas nesta tabela são relevantes para este tutorial:
bike_stations.longitude: a longitude de uma estação. Os valores são longitudes válidas em WGS 84 em formato de graus decimais.
bike_stations.latitude: a latitude de uma estação. Os valores são latitudes válidas em WGS 84 em formato de graus decimais.
num_bikes_available: o número de bicicletas disponíveis para locação.
Consultar as estações com mais de 30 bicicletas disponíveis
Nesta seção do tutorial, você executa uma consulta SQL padrão que encontra todas as estações do Citi Bike na cidade de Nova York com mais de 30 bicicletas disponíveis para locação.
A seguinte consulta SQL padrão é usada para encontrar as estações do Citi Bike com mais de 30 bicicletas.
A consulta inclui as seguintes cláusulas:
Com a cláusula SELECT, a coluna num_bikes_available é selecionada, e a função ST_GeogPoint é usada para converter os valores das colunas latitude e longitude em tipos GEOGRAPHY (pontos).
Com a cláusula FROM, a tabela que está sendo consultada é especificada: citibike_stations.
Com a cláusula WHERE, os valores da coluna num_bikes_available são filtrados para apenas as estações com mais de 30 bicicletas.
Para executar a consulta usando a IU da Web do BigQuery no Console do GCP, siga estas etapas:
A consulta leva um momento para ser concluída. Depois que ela é executada, os resultados são exibidos no painel Resultados da consulta.
Visualizar os resultados da consulta no Geo Viz
A próxima etapa é visualizar os resultados no BigQuery Geo Viz, uma ferramenta da Web para a visualização de dados geoespaciais do BigQuery com as APIs do Google Maps.
Iniciar o Geo Viz e autenticar
Antes de usar o Geo Viz, é preciso autenticar e conceder acesso aos dados do Google BigQuery.
Para configurar o Geo Viz, siga estas etapas:
Abra a ferramenta da Web do Geo Viz.
Abrir a ferramenta da Web do Geo Viz
Na primeira etapa, Select data, clique em Authorize.
Na caixa de diálogo Escolher uma conta, clique na sua Conta do Google.
Na caixa de diálogo de acesso, clique em Permitir para conceder ao Geo Viz acesso aos dados do BigQuery.
Executar uma consulta SQL padrão em dados do GIS
Depois de autenticar e conceder acesso, a próxima etapa é executar a consulta no Geo Viz.
Na primeira etapa, Select data, insira o ID do projeto no campo Project ID.
Na janela de consulta, insira a seguinte consulta SQL padrão:
Em Local de processamento, selecione EUA. Ao consultar um conjunto de dados público, escolha US como local de processamento porque os conjuntos de dados públicos são armazenados nos EUA.
Quando a consulta for concluída, clique em See results. Ou clique na segunda etapa, Define columns.
Isso leva você à segunda etapa. Nesta etapa, para Geometry column, escolha WKT para exibir os pontos correspondentes às estações de bicicleta no mapa.
Formatar a visualização
Na seção "Style", há uma lista de estilos visuais para personalização. Determinadas propriedades se aplicam somente a tipos de dados específicos. Por exemplo, com circleRadius, somente os pontos são afetados.
Veja as propriedades de estilo compatíveis:
fillColor: a cor de preenchimento de um polígono ou ponto. Por exemplo, as funções "linear" ou "interval" podem ser usadas para associar valores numéricos a um gradiente de cores.
fillOpacity: a opacidade de preenchimento de um polígono ou ponto. Os valores precisam estar no intervalo 0-1, em que 0 = transparente e 1 = opaco.
strokeColor: a cor do traço ou contorno de um polígono ou de uma linha.
strokeOpacity: a opacidade do traço ou contorno do polígono ou da linha. Os valores precisam estar no intervalo 0-1, em que 0 = transparente e 1 = opaco.
strokeWeight: a largura em pixels do traço ou contorno de um polígono ou de uma linha.
circleRadius: o raio, em pixels, do círculo que representa um ponto. Por exemplo, uma função "linear" pode ser usada para correlacionar valores numéricos com tamanhos de ponto e criar um gráfico de dispersão.
Cada estilo pode receber um valor global, aplicado a todos os resultados, ou um valor orientado por dados, aplicado de maneiras diferentes dependendo dos dados de cada linha do resultado. Para valores orientados por dados, o resultado é determinado pelos seguintes elementos:
Função: uma função usada para calcular um valor de estilo a partir dos valores de um campo.
Identidade: o valor dos dados de cada campo é usado como o valor de estilo.
Categorização: os valores dos dados de cada campo listados no domínio são associados um a um aos estilos correspondentes da faixa.
Intervalo: os valores dos dados de cada campo são arredondados para o valor mais próximo no domínio, e o estilo correspondente da faixa é aplicado.
Linear: os valores dos dados de cada campo são interpolados linearmente entre os valores do domínio, e uma mistura dos estilos correspondentes da faixa é aplicada.
Campo: o campo especificado nos dados é usado como entrada para a função de estilo.
Domínio: uma lista ordenada de uma amostra dos valores de entrada de um campo. As entradas de amostra (domínio) são associadas a saídas de amostra (faixa) com base na função fornecida e são usadas para inferir valores de estilo para todas as entradas, mesmo as não listadas no domínio. Os valores no domínio precisam ser do mesmo tipo (texto, número etc.) dos valores do campo que você está visualizando.
Faixa: uma lista de uma amostra de valores de saída para a regra de estilo. Os valores da faixa precisam ser do mesmo tipo (cor ou número) da propriedade de estilo que você está controlando. Por exemplo, a faixa da propriedade fillColor precisa conter apenas cores.
Para formatar o mapa, siga estas etapas:
Clique em Add styles na segunda etapa ou em Style, na terceira etapa.
Altere a cor dos pontos. Clique em fillColor.
No campo Valor, digite #0000FF, que é o código HTML para a cor azul.
Examine o mapa. Se você passar o cursor sobre um dos pontos, o valor será exibido.
Clique em fillOpacity.
No campo Valor, digite .5.
Examine o mapa. A cor de preenchimento dos pontos agora está semitransparente.
Altere o tamanho dos pontos com base no número de bicicletas disponíveis. Clique em circleRadius.
No painel circleRadius, faça o seguinte:
Clique em Baseado Data driven.
Para Function, escolha linear.
Em Campo, selecione num_bikes_available.
Em Domínio, insira 30 na primeira caixa e 60 na segunda.
Para Intervalo, insira 5 na primeira caixa e 20 na segunda.
Examine o mapa. O raio de cada círculo corresponde agora ao número de bicicletas disponíveis naquele local.
Feche o Geo Viz.
mantenha o projeto para uso futuro.
Para saber mais sobre o trabalho com dados do BigQuery GIS, veja Como trabalhar com os dados do BigQuery GIS.
Para acessar um tutorial sobre o uso do BigQuery GIS, veja Como usar o BigQuery GIS para traçar o caminho de um furacão.
Para ver a documentação sobre funções SQL padrão no BigQuery GIS, consulte Funções geográficas no SQL padrão.