选择项目
gcloud config set project query-11
创建虚拟环境,并且激活
pip3 install --upgrade virtualenv --user
python3 -m virtualenv env
source env/bin/activate
安装samples和apache Beam SDK
pip3 install --quiet apache-beam[gcp]
建立一个cloud storage bucket
gustil mb gs://query-11
在dataflow开启pipeline
python3 -m \
apache_beam.examples.wordcount \
--project query-11 --runner \
DataflowRunner --temp_location \
gs://query-11/temp --output \
gs://query-11/results/output \
--job_name dataflow-intro
我们可以去到dataflow,点击flow