据报道,Gartner认为:在IT预算削减带来短期价值兑现需求、不确定性发展环境让企业更加希望快速敏捷的交付数据分析结果或产品,以及技术的日新月异为数据分析平台的可组装性提出更高要求的大背景下,企业应从数据中台(Data Middle Office)的构建转向“数智基建(Data Infrastructure)”的部署上。
在新发布的“中国数据分析和人工智能技术成熟度曲线图”中,Gartner也认为,“数据中台”在进入成熟期之前会被淘汰。
图片来源网络
数据中台提出多年,时至今日,技术和环境的快速变化,使得数据中台的建设面临诸多严峻的挑战。数据治理、隐私保护、系统集成,诸多难点在消磨市场对于数据中台的热情,但不可否认的是数据中台的价值仍在进一步彰显。对于广大CIO来说,该如何帮助企业进一步是发掘数据价值?昔日趋之若鹜的数据中台真的即将走向消亡吗?
李长华 尚参科技创始人,央企特聘信息化专家,科学技术哲学博士
武威(Kevin) 尚参科技联合创始人
对此,小编特别专访了尚参科技创始人李长华及尚参科技联合创始人Kevin,两位专家对于数智基建与数据中台的定义与关系进行了深入的解析,同时解读了AI、大模型对于数据中台和数智基建所带来的深刻影响,以及针对数据分析、数据如何为业务赋能领域存在的可见趋势进行了预测,最后为广大CIO和厂商提出了一些建议。
01【 数智基建和数据中台不是一个层次上的概念 】
相关报道中,Gartner表示,数据中台通常是单一厂商利用开源能力进行大量二次迭代和开发工作之后,所构建的一个中心化、集中式的端到端数据分析平台,架构的复杂性更高、交付周期更长且容易被单一厂商“锁定”。与数据中台不同,数智基建强调通过多个供应商的密切合作,构建灵活且可持续的数据分析和AI平台,利用生态系统的力量,确保平台的技术始终处于领先地位。
对于数据中台是否即将消亡,长华老师认为从目前的表现来看,还无法给出一个肯定的答案。从马云提出“大中台小前台”,中台在我国的发展是把业务能力组合起来,形成共享中心。中台创立之初就带有一定的业务概念,而不是纯技术的概念。
长华老师分享说:“以上提到的相关报道中,认为数据中台是一种中心化集中式的端到端的数据分析平台,强调由单一厂商利用开源技术进行二次开发和迭代,提供数据分析和AI功能,按照这样的理解,数据中台还是停留在技术系统和产品层面。
单一厂商开发的、中心化的技术产品可能会过时或者消亡,从这样视角定义的数据中台,是可能消亡的。但我认为,对于数据中台的定义可能还有进一步的讨论空间,数据中台提供的数据分析能力,以及数据共享能力。如果强调是一个厂商,则偏向把中台定义为产品,事实上,中台本身包含一定的业务成分和含义,并不是一个产品。数据的价值是不容置疑的,所以需要通过一个介质,也就是数据中台通过技术把数据集成起来,提供分析能力,并且给到对数据有需求的人使用。
数据中台的核心是提供数据分析能力,将此能力输出给前台,同时,它还将前台反馈的信息反向整合,从而优化后台应用和支持后台工作人员的决策。所以如果把数据中台作为一个技术产品来看,过时并不奇怪,但是如果把数据中台作为数据能力的平台,现阶段还不能说是过时的。中长期之内使用数据和发现数据价值还是有很大门槛的,大部分业务人员很难直接使用数据或者是从数据中挖掘价值,因此在一段时间内,数据中台或将仍是是数字化转型中一个必需的重要能力。”
定义和出发点不同,导致了看待数据中台消亡的结果也是不同的,而且从某种意义上来进一步看待中台,数据中台并非是一个应用和平台,而是一种组织战略。Kevin谈到:“Gartner过去认为数据中台是一种组织战略,允许组织有效的赋能前台的数据消费侧。因此从这样的定义来看,数据中台更多的定位于数据生产者数据服务者,中台在传统架构上构建了一层服务,以提供集成和增加新的数据服务和分析能力。此外,我认为数据中台不但提供数据的底盘和服务,而且还提供了可组合、可重用的平台能力。也就是说结合具体场景,数据中台应该能够快速敏捷的组装交付模块,拼搭出上层的数据或者分析消费场景,以迅速满足业务应用的数据分析支撑需求。数据中台不但是组织战略,而且也提供了一种可组合和可编排的数据能力平台。”
02【 企业数据文化是数据中台成功与否重要影响因素 】
数据中台火了之后,企业纷纷把它作为企业数字化转型的金钥匙。投入巨大的财力、物力、人力,寄希望于数据中台帮助企业解决数据价值挖掘和使用效率问题,推进企业完成数字化转型,创造企业第二增长曲线。
但数据中台不是万能的,数据中台虽然并不特指某一个软件工具,更偏向于一个抽象概念。而且,很多企业管理者对于中台并没有一个清晰的认知,“我要搞数据中台,搞了数据中台就能帮我解决企业内部的数据问题。”殊不知,数据中台扮演的是一个工具属性,内部的组织管理和制度,才是更为重要的存在,比如匹配的组织架构、内部数据治理模式、数据管理制度、数据加工及使用流程等。
业内有很多人认为数据中台没有达到爆火时预期的广泛成功,原因在于价值主张宽泛,与业务脱节,单纯交互技术,对于出现这种现象,长华老师谈到了几个核心的原因。
重点在于企业本身的数据文化和数据能力。一般来说通过数据进行管理决策,对于整个组织的数据文化,包括使用者个人能力的要求都是比较高的。是否真的相信数据、且可以用好数据的能力非常关键。很多时候,不论是管理层还是员工层都更愿意相信惯性思维和经验,这样就会导致对数据重视程度不够。而且数据中台项目势必会带来组织的变革,流程的调整,所以对项目负责人的能力和影响力要求也非常高。
相对来说,传统企业更容易走向不那么相信数据的误区。相反对于互联网企业来说,反而容易走向太相信数据的误区,很多场景下,模型和数据也并不能反应出工作的整体执行,所以就非常容易产生偏见和漏洞。因此对于数据既不能盲目相信,也要积极的理解和使用数据。而且当进行了数据分析后,由谁来进行决策也起到了关键作用,使用人的数据素养至关重要。
当然,不单是中台,任何一个数据类型的项目想要取得成功都是具有一定挑战的。数据中台是否能够取的成功,其中包含着多方面的影响因素。
Kevin也表明,所谓中台的失败,很少有纯技术层面的失败,更多的是与业务难以协同的困扰,所以说整个项目初期的规划是非常重要的。另外数据治理的缺失,治理模式不当也是造成问题的核心所在,例如数据质量的问题,使得即使愿意用数的业务部门也无法完全相信数据,对数据中台的价值更会发生质疑。中台的发展是永远在路上的,原因在于业务是持续变化的。
总而言之,单纯把数据中台没有取得广泛成功的原因归结为价值主张过于宽泛,单纯交付技术是不完整的。而且要判断数据中台是否是成功的,关键在于该平台是否对业务的分析提供了有效的赋能,是否为前端的业务提供了有力的支撑,提供可组装、可编排的数据分析能力,数据管理能力,还有自服务能力。这是重要的标准,但也是相对要求较高的标准,毋庸置疑,这是中台上线初期很难达到的标准,数据中台价值的发挥是需要长时间积累的,更是需要持续迭代的。
03【 现阶段数智基建的“先进性”并没有凸显出来 】
从定义上来看,数智基建的英文Data Infrastructure强调的是数据基础设施,Gartner 将“数智基建”定义为一种聚焦于数据、分析和AI生态建设的全新部署模式,通过使用已经建立了密切合作的供应商产品组合,构建全面的数据分析和人工智能解决方案和服务体系。而作为该生态的核心组成部分,“数智基建”提供包括分析型数据库、数据集成、元数据管理、数据质量,以及数据虚拟化等在内的技术能力,作为数据分析和 AI 应用可复用的底座。
长华老师谈到从以上定义中,相比于数据中台,并未看到数智基建体现出巨大的“先进性”。
“数据和分析是两个概念,数智基建定位于数据集成和管理层面,再上层才是对数据的分析和应用。数据中台则是数据分析平台,因此二者的差距还是非常明显的。因此说低层次基础设施取代上层建筑这是不合理的,也与我之前的观点是一致的。我认为很可能二者在将来是一个互补的关系,数智基建为数据分析提供基础。
“数智基建的先进性应该体现在数据编织上,数据编织强调的是不论数据在哪,只要需要的时候,就能把数据拿到,就像是数据分布在一张智能网上,需要使用哪些数据,直接进行调用即可。另外大模型也好,数智基建也好,都是结构化数据,但现实中的数据并非都是结构化数据,我认为高级的数智基建应该是一种自动化程度更高,更加注重原始数据和自然语言的呈现与处理。”
所谓数据资源,是指那些能够为企业带来价值的数据集合。这不仅包括企业内部的数据,也包括外部的市场调研数据、用户生成数据等。当数据积累到一定程度后,其价值不仅仅局限于记录事务信息,更在于通过深入分析和处理,挖掘出更深层次的价值。数据资源的潜在价值取决于需求和使用场景,因此对于CIO来说,不但要致力于提升数据质量,同时应建立组合能力,数据中台要为业务赋能,这才是数据中台的重要价值体现。
04【 AI人工智能、大模型为数据价值挖掘带来新动能 】
在数字化快速发展的时代,数据已经成为业务经营与管理决策的核心要素。不论是传统行业,还是以互联网公司为代表的“数字原住民”,“数据”都会被记录下来,从海量数据中挖掘价值是重要的工作,战略的决策、策略的制定、日常的运营等都高度依赖于数据。
但当下大部分运营人员数据知识薄弱,获取想要分析的数据时需要依赖于专业数据分析人员。虽然有看板、BI等数据产品,但仍存在使用成本高、数据准备难、灵活性和可扩展性差等问题。大模型的出现将进一步改善用户的数据分析体验、采用和影响,使得“数据分析平民化”这一理念成为现实。
谈到AI、大模型等技术对于数智基建和数据中台的影响,长华老师表示其影响是多方面的,且初期的影响已经产生了,主要体现在以下几个方面:
与数据中台的交互方式发生了变化。自然语言的大规模应用,会降低数据平台应用的门槛,对于企业来说,可以快速的搭建平台,通过自然语言与平台进行互动。
大模型技术对于未来的数智基建和数据中台的技术架构和技术特点也带来了深远的影响,例如当下过度依赖结构化数据,未来可能不会像当下这般依赖结构化数据,会更加偏向自然语言。
在数据处理上,原来的自动化处理(通过编程实现),也会更加智能化,甚至可以根据外界的需求来自动调节。人工智能来提升数据管理和数据处理的自动化,也是未来的一大趋势。虽然无法确定的判断实现这样的演变需要多长时间,但是方向是能够确定的。
虽然技术的发展为数据价值的发现提供了赋能,但是其中也隐藏着一定的风险,Kevin讲到:“在当前数字化转型的背景下,我们鼓励CIO积极采纳AI和大模型进行数据分析赋能。然而,CIO们需时刻保持对AI相关风险、偏见及伦理问题的高度警惕。尽管数智化基础设施为AI提供了强大的赋能能力,但其本质上仍属于技术架构的底层,导致潜在问题的识别往往滞后于应用层面的显现。因此,CIO们应在充分利用AI赋能的同时,建立健全的风险管理机制,以有效应对可能出现的挑战。这种双重策略不仅有助于推动创新,还能确保企业在追求技术进步的过程中,始终遵循伦理标准和风险管控的最佳实践。”
对于未来数据和分析领域的发展趋势,长华老师预测:
人工智能和大模型,在整个数据和分析领域将起到重大作用,都应该在探索如何通过大模型对数据管理和分析进行改造,由人工智能来取代更多原有技术。
很多企业的数据模型是不完整的,导致企业无法完全掌握自身的经营情况,因此构建数据的全模型是必要的。也就是说企业不但要具备自身的数据,还要具备外部的宏观经济数据。这就如同开车,只看仪表是远远不够的,还要看道路情况、天气情况等等。
05【 经济下行,数据基础建设或许应当“从上而下” 】
在经济下行周期下,企业进行数字化转型显得更为重要,它成为企业应对挑战、寻找新增长点的关键路径。企业期望通过数字化构建更强的韧性,以灵活应对市场变化,保持竞争力,其中最为重要的一环就是发掘数据的价值。
数据的最大价值将体现在与平台的深度融合上。无论是云计算平台、大数据平台还是人工智能平台,它们都是数据处理和分析的强大工具。通过将数据导入这些平台,利用先进的算法和模型进行深度挖掘,可以发现隐藏在数据背后的规律、趋势和机会,为决策提供科学依据,为创新提供动力源泉。
数据基建的建设会面临哪些挑战,CIO和IT部门又应做好哪些准备?
长华老师建议可以参考以下两种做法。
方法一:从业务出发,找到业务面临的问题,或者是根据战略目标,着重做一部分数据整理和应用,这里讲的数智基建与最后的业务价值仍有一定距离,是基础性工作,这一阶段业务的参与度并不高,所以CIO要具备一定的主动性和控制力,找到工作重点,采取循序渐进的策略。
方法二:要更多利用自动化手段,包括数据发现、数据标注等技术,尽量向AI和大模型靠拢。从数据管理转向大模型,还是有很高门槛的,所以这也对IT部门提出了更高的要求,需要学习相关的知识,提升相关技能
针对数据基础的建设,Kevin从组织层面进行了分析,他谈到:在数据驱动的数字化转型过程中,企业通常采用两种策略:自下而上和自上而下的方法。自下而上的方式始于数据技术支撑平台,逐步向上整合至业务消费层。这一方法在初期往往忽视业务战略的对齐,企业可能未进行充分的业务调研和需求评估。在经济上行期,这种策略可能不会带来显著的负面影响,然而在经济下行阶段,其局限性开始显露,落地实施的难度显著增加,且可能导致成本的浪费。
因此,在经济下行环境下,企业更应采用自上而下的策略。这一方法应从公司的战略层面出发,识别典型业务场景和核心业务痛点,明确当前的核心矛盾和需求点。通过这种方式,企业能够更清晰地界定所需的技术建设和架构,确保底层数据技术的开发与业务目标紧密对接。这种系统性的方法论不仅能提高资源利用效率,还能确保企业在复杂的市场环境中保持竞争力。
在不同的行业,不同的发展阶段,不同的经济环境下,企业的数据建设策略也应是因地制宜的,上升到整个数字化转型的项目亦是如此,数字化对于当今的每个企业来说都是必不可少的,企业也可以通过多种方法去完成转型。领导者也可以通过很多方法在许多方面发挥作用,但最重要的一点还是领导层的直接参与。
作为一项“一把手”工程,不论是数字化的建设,还是其中的项目,领导者都应该做到规划好时间,并留出时间来推动数字转型。因为在时间和注意力不足的情况下,仅凭CIO和IT部门来推动,这将会是一项极其困难的任务。无论企业是在追求基本的数字化和渐进式变革,全面的转型和颠覆,还是介于两者之间的改变,亲自参与到这项工作中去都非常重要。尤其是经济下行期,高层领导甚至是一把手的参与更为重要。
【 结语 】
针对当下的技术发展,以及市场发展现状,长华老师建议:对于广大厂商来说,新产品一定要通过AI来赋能,这时除了人对数据的应用,AI也会成为主要的数据应用者,所以数据基础一定要满足AI的应用。对于CIO来说,做数字化解决方案一定也需要厂商的支持,所以要在技术、人才上做一些准备,否则当新的机会来临时,可能也抓不住。对于一些可见趋势,例如全模型,可以进行一些尝试,让高管和领导层真正了解到企业的实际经营状况。
正如地产行业的发展,在风暴突然来临时,很多企业走向了衰落,甚至关闭,其中有一部分原因就在于企业本身没有重视数据,只看到自己,没有看到行业环境的变化以及数据的反馈,如果CIO能够通过一些模型进行预测,提前给到企业预警,很多企业是可以提前采取一些措施的。
综上所述,数据价值的重要性不容忽视,CIO带领的数字化仍任重道远,至于数智基建是否会取代数据中台,小编认为要画一个问号。但持续挖掘数据价值,实现数据驱动下的科学决策、高效运营、精益管理,则要画一个感叹号,这是必须要做的!