投稿
  1. 谷达鸭首页
  2. 投稿

Google云端推无服务器Spark服务，还可在BigQuery编辑代码无缝执行

育碧 • • 投稿

Google推出无服务器Spark服务，并且让用户可以通过云端资料仓储BigQuery，直接编写代码并以Spark执行，降低Spark的使用障碍

Google云端推无服务器Spark服务，还可在BigQuery编辑代码无缝执行

谷歌云端正式推出无服务器开源群集运算框架Spark服务（Serverless Spark） ，官方提到，这是目前市面上第一个可自动扩展的无服务器Spark服务，另外，谷歌还让云端资料仓储BigQuery连接无服务器Spark运算资源，BigQuery用户现在可以使用无服务器Spark，和BigQuery SQL进行数据分析。 这些功能更新的目标，都是要让用户能更简单地运作大规模ETL和数据科学等使用案例。

由于Apache Spark所提供的速度、简易性和程式语言灵活性，使得不少企业应用Apache Spark来进行资料工程、数据探勘和机器学习等任务，但谷歌提到，管理群集和调整基础设施的效率很差，针对不同使用案例的整合程序，可能会大幅消耗生产力。

而谷歌提供无服务器Spark，供用户专注于代码和逻辑设计，不再需要管理群集和调整基础设施，通过选择的接口就能上传Spark操作，无服务器Spark会自动处理规模缩放，来符合任务的需要。

另外，谷歌也开始提供BigQuery实现无服务器Spark功能预览版，通过提供统一界面，供数据分析师在BigQuery编辑器中，编写SQL和PySpark程序码，并且不需要配置基础设施，就能无缝地使用Spark执行。 谷歌正努力在各种界面，整合无服务器Spark服务，使得用户不需要预先配置任何基础设施，便可以启用Spark，接下来还要让用户在全托管机器学习平台Vertex AI，也能用到Spark。

赞 (0)
打赏 微信扫一扫 微信扫一扫
育碧育碧认证作者
0 0

相关推荐

发表评论

登录后才能评论