5分钟在谷歌云上使用dataflow来运行job
png
17 docs tagged with "GCP"
View All Tags5分钟在谷歌云上使用Dataproc运行Apache Spark集群
png
Bigquery中sql语句常用命令
连接数据库
Bigquery常用命令
查看数据集的schema 使用bq show 数据集
dataflow sql
总体流程
dataproc--dataproc+GCS+Bigquery+Pyspark
流程很简单
dataproc--跑pyspark(从big query获取数据)
流程很简单
dataproc参数化跑spark和读写avro文件
1. spark 初始化,因为要读取成dataframe或者sql形式,导入SparkSession
dataproc自动伸缩和运行spark job
我们运用数据分析的时候,通常都是脏数据,我们需要清洗才能被使用.
GCS 读写 by python
我们可以使用谷歌的Python客户端API将文件上传到谷歌云存储。
gsutil常用命令
gsutil命令快速入门
yaml语法学习
首先我们要学Yaml语法:
使用terraform基本语法和创建vm
我觉得terraform的基本语法就是字典对象式语法.
用yaml配置文件传参数给pyspark,然后再dataproc运行
首先我们要学Yaml语法:
读取avro文件的schema
首先安装包
读取avro文件的schema
首先安装包
谷歌常用命令
列出活动账号名称