凿开数据冰层,透出智能时代的光:华为云与开发者的结伴旅行
2022-06-30
来源: 脑极体
1925年,苏联经济学家康德拉季耶夫在《经济生活中的长波》中,提出了经济历史以50-60年周期波动的理论--这就是著名的康波周期。康波周期认为,科技是社会生产力发展的根本动力。一个新周期的开始必将以技术变革为起点。
几年以来,伴随着全球经济不确定性增加,供应链风险加强,以及疫情带来的打击,越来越多的声音开始讨论我们是否已经处在一个康波周期的尾声,全球经济将不可避免地陷入衰退。同时也有乐观者提出,一个周期的结尾是另一个周期的开始。寻找能启动新增长周期的关键技术才是消解困境的唯一方式。而启动新周期的钥匙,就掌握在那群每日研究AI、云计算、大数据的开发者手中。
从尝试飞行的莱特兄弟,到拉下交流电闸刀的特斯拉,再到硅谷车库里研究计算机的少年们,每一次改变世界的技术发明,其实都是从一些细小但勇敢的开发创新开始。只要有足够的条件,总会有一位或者很多位开发者站出来,用技术的光亮再次照耀世界。
但前提,是需要更多人为他们创造充足的条件。
在新技术还有待磨砺的时候,开发者的工作其实并不好做。很多极具创意与胆识的开发者,都被无尽的重复工作与高企的开发成本拖垮了梦想。比如说,我们都知道有一句话:中国的人口红利将转化为善于通盘应用数据,未来得数据者得天下。
但真要处理数据,以数据驱动智能化、数字化落地的时候,开发者却可能面临海量技术无从下手。茫然无措的他们,又怎么去改变世界呢?
华为云刚刚给出了一些最新答案。6月15日,在“华为伙伴暨开发者大会2022”上,华为云 CEO 张平安带来了“共创新价值,一切皆服务”主题演讲,并发布一系列创新云服务:在经验即服务方面,发布了最新的行业 aPaaS 和基础 aPaaS 服务,加速实现行业 SaaS 创新;在基础设施即服务方面,将发布“全球一张网”的最新部署进展和出海扶持计划。在技术即服务方面,发布全新的数据治理生产线,以及数字内容、AI 开发、软件开发生产线的升级服务。
这些创新云服务,可能每种都值得仔细聊聊,但碍于篇幅不免显得笼统。我们不妨就从各个领域,各个平台的开发者都会面临的问题:如何应对数据工作,如何降低数据开发与治理成本说起,聊聊华为云给开发者们的准备的礼物。
打开华为云的行囊,开发者会发现里面赫然躺着一条条“生产线”。
如果一个人,一个团队的力量有限,那一条甚至几条生产线的效率与能量或许就足够去改变些什么。
如果开发很难,就让它变得简单。
如果数据、AI、数字人,这些技术与开发者们之间还隔着冰层,那就凿透它,让数据飞驰,让开发有光。
“第三种资源”:当数据成为新的生产要素
让我们先来说说数据这东西的重要性。
今天,我们依旧可以非常确定地说,数据流将是未来企业在水流、电流之后的第三种必须接入资源。就像一家企业不会找一个没电不通自来水的办公室一样,企业也不会放弃在数据流中寻找价值。
近两年,从央行发布的各种报告到经济界的各种推演,都显示出中国市场的人口红利正在消失。而想要应对这种局面,根本解决方式是构建新的生产函数。充分发挥数据价值,在海量的生活数据、产业数据中寻求生产力的持续突破。从“东数西算”工程到十四五远景规划中提出数字中国建设,无不展示了数据在未来发展中的价值。
数据之所以如此重要,是因为它可以成为一种全新的生产要素,而不必依赖其他各种各样的农业、工业生产基础。由这种生产要素激活出的经济形态,就是我们常说的数字经济。更具象一点来看,数据可以在三重价值中帮助一家企业激活增长爆发力。
1.自我透视:根据自身数据优化重整业务,从而提升产业合理性,降低生产成本。
2.寻找机遇:根据内外部数据结合,找到市场空间与市场阙值,准确创造商业价值。
3.培育智能:数据是AI技术的基础养料。有效将数据与AI结合,可以提升企业的智能化水平,全方位迭代生产关系。
数据的重要性越来越高,与数据相关的开发工作越来越多样、复杂,开发者的商业机会越发多元。但开发者却很有可能并未从中找到时代红利,因为数据开发这项工作,实在是太“痛苦”了……
总是打出枯井:真实的数据开发并不美好
修路和打井是现实生活中的两个难点,往往费尽千辛万苦,却打出了一口枯井,怎么也找不到水源。
对于开发者来说,上云或许就是修路,而数据治理就是挖井。面对繁杂、庞大,且非结构化的数据,开发者需要完成复杂且高重复性的数据治理工作,而最终得到的数据价值还很难估量。如果我们注意过企业的IT岗位招聘启事,会发现数据工程师很可能是薪资待遇偏低,但人数需求很大的岗位。原因就在于数据筛选、数据清理等工作重复度高,劳动时间长,产出价值却充满不确定性。另一方面,数据治理的步骤环节又很多,每个环节需要不同的软件工具。这导致数据开发很难实现自动化,依旧需要依赖人力。
而一旦涉及“数据+AI训练”的新技术组合,企业又可能面临另一个难题。深度学习算法的黑盒性强,训练结果差异大,数据加工步骤众多。这又导致相关岗位的技术门槛被堆高,往往需要高水平的算法架构师来解决并不复杂的数据问题。最终导致业务价值可能无法抵消人力成本。
现实中细碎、复杂的数据治理工作,导致开发者很可能拥有这样或那样的数据,最终却打出的都是枯井。甚至仅仅是在统一数据标准,剔除无效数据等基础工作中就浪费大量时间。基础的数据治理,往往会占据整个项目80%以上的人力与工作时间,最终导致整个项目难以按时交付。
这种“人拉肩抗”式的数据开发与数据治理,最终导致很多开发者团队望数据而兴叹,又让很多具有高价值数据资产的行业,无法找到技术合作伙伴,数字化难以推进。
想要改变这种尴尬的现状,可能必须要从数据开发工作的技术手段着手。用更先进、可靠的自动化技术,替代传统意义上流程繁琐、步骤冗长的数据开发。
最佳状态,是数据开发工作能够拥有“生产线”那样流水作业的效率与气势。
江河飞驰:把数据开发变成“生产线”
千万不要低估“生产线”这三个字所蕴含的能量。1913年,福特建立了世界上第一条生产流水线。之后短短10年,生产线模式就传播到世界各地。二战期间,美国能够源源不断生产物资,满足盟军庞大的物资需求,核心原因之一就是美国拥有当时最完美、数量最多的工业生产线。换个角度看,一种生产行为可以转化为生产线,也是其真正走向成熟的标志。
数据治理这项让所有开发者一听到就头疼的工作,也终于迎来了走向“生产线”的一天。去年,华为云就已经面向开发者与伙伴发布了三大生产线服务。而今年又推出了全新的生产线服务--数据治理生产线DataArts。它能够帮助企业更便捷高效地管理和使用数据,释放数据价值。
DataArts的工作原理正是它的字面含义。它就像生产线一样,把海量的复杂的无序的数据生产成为清洁透明高质量的数据能源。与以往各个环节需要使用不同的工具与开发软件不同,DataArts提供一站式平台,实现从数据入湖、数据准备、数据质量、到数据应用等全流程的数据治理。这样一来,数据工程师将不再需要一批批,手工作坊式地进行数据清洗、筛选、入库,而是可以将数据源源不断导入,再持续生产出高质量可应用的数据。如果说以前的数据治理,是隔山跨海去挑水,那么DataArts就实现了拧开就有的自来水。
同时,DataArts还融合了智能化的数据治理能力,在多个层面帮助开发者大幅提升效率。比如在数据准备环节,DataArts可以让开发者不用花时间去重复编写大量SQL脚本,像操作Excel一样简单完成数据的清洗、查重、汇聚等工作,让原本需要几天才能完成的开发工作缩短到几小时。
数据工作的另一个要点是安全,为了保护企业的数据资产价值。DataArts拥有全链路数据安全管理,可以很好地保护隐私数据,对数据使用进行合规性审计;同时也能够帮助企业沉淀数据资产,发挥数据价值,实现业务创新。华为内部已经基于DataArts生产出10W+高质量的数据资产。在华为外部,DataArts服务了1000家以上的政企客户,每天有千万级数据任务在云上DataArts运行。
我们可以从一个案例中直观感受到DataArts的价值。从2019年开始,帆软联合华为云的数据治理解决方案已经服务了近200家制造业客户。在信义玻璃项目中,帆软通过华为云的数据治理生产线,集成各类IT系统数据以及超过数十万点位的生产设备和生产工艺数据,进行高效的数据处理,建立了企业级数据目录,进而帮助信义玻璃达到经营数据可视化、可分析、可预测,风险可预警,使经营报表生成时间从过去的一周缩减到一小时。同时通过能耗和工艺数据的可视化,使产线能耗大幅改善,每年节省费用数千万人民币。
或许这才是开发者和企业用户应用的样子:让人更加笃定安然,让数据如江河般飞驰。
数智合流:开发者的旅程应该有光
或许我们可以再深挖一下这个话题。面向数据时代,面向新一代信息技术带来的历史机遇,我们期待的开发者应该是什么样子的?
至少,开发者的工作不应是这样的:
面向AI的新技术和新市场,开发者学不会技术,找不到合适的开发平台,从训练到部署全是槽点;
面向日益增多的数据治理与应用需求,开发者需要疲于奔命地工作,还不知道最终清洗出的数据能否符合标准;
面向产业智能化的趋势,算力变成了开发者难以承受的成本,最终让梦想付诸东流。
想要解决这些问题,让开发者聚焦于创新创造,就应该清扫掉他们前进路上的那些成本、技术、人力、平台等等障碍。让开发者的旅程充满光,而不是遍地阴霾。
开发者需求的光,是效率,是低门槛,是工具化标准化,是把最先进的技术与最简单的开发融为一体。这也是华为云正在做的事:通过将长线程的开发工作变成高度自动化的生产线;再将多条生产线组合在一起,形成数智合流的理想开发状态。
这是因为,未来的ICT开发与生产逻辑,一定是以数据作为新型生产资料,以智能作为驱动数据的手段,最终形成新的生产力。为此,华为云不仅发布了数据治理生产线,同时也在AI技术、低门槛开发等领域继续升级,打造了多条生产线合围而成的高效率、低门槛、高技术净值式开发。
华为云在去年发布AI开发生产线ModelArts的基础上,今年又升级了AI应用开发框架ModelBox,以此来解决AI应用开发者平均需要大量时间进行芯片和系统适配的难点,实现了AI应用一次开发,全场景部署,将跨平台开发适配周期缩短80%,将推理性能提升2-10倍。
软件开发生产线DevCloud也进行了升级。最新发布的华为云桌面IDE CodeArts可以为开发者提供随时随地的在线编程体验,能够快速连接 220 多个华为云服务和 4500 多个华为云 API,让开发更便捷;同时 CodeArts 提供了智能代码搜索和全量代码补全功能,以及开放的插件标准和插件市场,让开发更高效,生态更开放。
此外,面向越来越旺盛的数字人需求,数字内容生产线 MetaStudio发布了数字人生成服务,仅需 5 秒钟就可根据用户上传的照片,生成自己专属的 3D 数字人。
越来越多的开发需求,正在走向生产线模式。开发者们可以从小作坊式的敲敲打打,夜以继日的疲惫工作中走出来,走向工业化的流水线运转,走向新技术为我所用的创造时代。
更简单,更高效,更智能,这就是开发旅程中的光。
“生产线”背后的云之迭代:智能世界,一切皆服务
华为云为开发者准备的一条条生产线背后,是名为“技术即服务”的战略构想。这些生产线的本质,是华为云在AI、数据、软件开发等领域积累的前沿技术,通过平台化、工具化的方式进行外放。先趟过开发者需要过的河,用华为云的技术能力去解决开发者单打独斗难以解决的问题,最终让开发者站在华为云铺好的技术之路上,向未来飞驰。
显然,这样的价值对接是在传统意义上的云计算市场中很难看到的。云计算提供的基础是按流量付费的存、算资源,进而开始向SaaS代表的云上服务延展。云计算开始从单一的基础设施功能,向点对点的软件服务功能转变。
那么更进一步呢?云计算承载着开发者、企业用户的业务与数据,当然可以为他们带来更多。比如是否能在云平台上,将已经成熟的开发模式带给开发者?是不是可以基于公有云输送对前沿技术的理解与同步应用?是不是可以用云作为出海动力,完成生态化的海外市场拓展?
这些构想,是将云计算的价值模式进行又一次迭代。从SaaS代表的点对点价值交付,变成多样性的立体化价值交付。在新的云计算市场逻辑中,厂商将通过多种方式向开发者、合作伙伴、用户输送价值,竭尽所能满足各个角色在生态中的需求。而各个角色又在统一的平台与技术能力下相互创造价值,不断递增产业机会,相互激发产业空间。
这种把技术、经验、基础设施都化为市场服务一部分的战略,被华为云称为--一切皆服务。
一切皆服务的孕育与成型,或许可以视作对云计算市场底层逻辑的一次迭代。云计算服务商与用户、开发者之间的交流介质不再是简单的用云量,也不是某种技术的使用频次,而是以技术、基础设施为起点,思考开发者、用户的大量需求。多个角色共同进步,共同面对和解决一系列问题。
这次云之迭代,或许可以解决开发者长期面对的“头疼医头,脚疼医脚”问题。云的角色不再是一位售卖者,而是一个与你一同想问题,创造价值的朋友和伙伴。
一朵属于未来的云,或许应该是这样的--
在技术优势、基础设施投资、数字化经验等领域,与开发者和伙伴共享一切价值。
在包容度,关注度上读懂用户,让服务渗透一切需求。
通过技术创新、生态缔造、密集合作,与开发者、合作伙伴、企业用户一道努力,抓住一切机会。
为了那些光,为了那些飞驰的数据,为了那些奔流的智能。
首先,那朵云要为赋能开发者,尽可能付出一切努力。