数据摄取
从各种来源收集、传输、存储和规范数据,创建完整、关联的用云和成本数据集,以供分析。
管理数据源
确定合适的内部业务数据,数据有上下文情境,以便支持分摊策略。
确定跨职能协作框架的合适数据源。
明确各数据源的颗粒度。
明确各数据源收集的要素、维度和指标。
与供应商建立并保持联系,包括各数据源提供商、为组织获取或处理数据的工具提供商。
保证数据质量
定义并维护机制,为FinOps实践产出质量稳定和规范的数据。
定义并维护评估数据质量和一致性的机制。
根据在摄取数据中发现的变化,调整并管理数据源文档和内容预期。
开发并维护可观测性和警报功能,在数据摄取流程超出既定界限时通知团队。
将可用性、质量或一致性问题告知数据源所有者和数据用户。
收集与数据摄取频率、时效性、颗粒度、审计和数据保护相关的策略与治理要求,包括使用情况、成本、补充数据(如可持续性、可观测性等)。
确保数据的时效性和可用性
确定或设计存储数据的数据仓库,满足报告与分析需求,明确数据仓库的访问方法、维护责任和管理策略。
定义数据源之间的归一化操作,在哪里进行归一化,使用哪些标准和数据库相关的键。
根据报告与分析、单位经济效益的要求,向数据提供商提出数据要求。
维护数据仓库,确保在整个生命周期内具有适当的规模、成本、性能、弹性和可用性。
在单位经济效益中引入数据摄取指标和表现。
为组织所有人提供如何访问摄取数据的指导,并明确数据质量和可用性预期。
定义
数据摄取涵盖收集、传输、处理、转换和关联各类数据集,创建具有适当粒度、可访问性和完整性的数据仓库,确保数据可查询并有上下文情境,以支持所有FinOps能力中所有FinOps角色活动。
数据摄取需求会根据每个组织的FinOps实践方式而产生很大差异:
组织如果完全依赖云服务提供商的工具实现FinOps所有能力,可能不需要引入或处理任何数据。
组织如果使用第三方FinOps工具提供商,可以完全或部分依赖提供商来获取数据。
组织如果需要来自云使用数据外的数据,数据摄取流程则更加复杂。
因此,随着组织发展以及完成其他能力所需的数据发生变化,数据摄取能力也需要随之发展。
支持FinOps活动的数据,必须包括云服务或其他按量计费服务提供商的云成本和使用数据,但也可能包括:
修改后的云账单数据(例如,调整或加价后的数据)
碳使用数据
云资源利用率或性能数据
可观测数据
自建、混合、专有云数据
配置管理数据库(CMDB)或其他服务管理的元数据
许可证或发行费用的IT资产管理(ITAM)数据
专项工具的云数据(如Kubernetes使用情况)
业务数据(如收入、用户数、交易量)
其他数据或元数据,提供用云和云成本的背景信息
成本分摊、报告与分析、单位经济效益等FinOps能力将提供具体的要求,已确定在任何既定时间所需的数据来源、颗粒度、规范化程度、关联性以及存储方式。
要实现有效FinOps,必须获得定期更新、频繁迭代的详细数据流,包括使用情况、利用率和成本等信息,并可以对这些数据进行分类、关联和分析,为决策提供坚实的基础。
对于刚接触云的组织来说,数据摄取可能是一个初期挑战。云服务提供商的成本和使用的数据集庞大复杂,而且各提供商都使用专有的模式和数据结构。云数据的复杂性、规模、不一致和延迟性给使用标准商业智能(BI)工具或构建自定义工具带来了障碍。鉴于数据的大小和规模,如果没有更高级的技术或大数据能力,就难以进行有效分析。
FinOps开放成本和使用规范(FinOps Open Cost & Usage Specification, FOCUS)项目致力于为云成本数据提供一致性和标准化,并最终扩展到其他提供商的数据源,包括SaaS提供商数据、可持续性数据、许可证发布商数据、专有云和可观测性提供商数据。随着供应商和数据提供商采用FOCUS规范,组织将受益于通用和自定义工具的互操作性。
可观测平台、安全平台、碳使用平台和业务运营应用程序也有非常大的数据集,可能需要与云数据关联。作为标记或分摊策略的一部分所创建的元数据,受到成本分摊能力的管理,可以为这些数据集的关联、上下文和汇总提供重要的健。数据摄取保证了云平台生成的标签或标记得以整合,并将其映射到内部的分摊元数据。
数据摄取能力可以发现或构建报告与分析的云数据源。组织可以为云数据创建公共数据仓库,也可以使用现有的数据仓库,具体取决于数据的复杂性、组织的需求以及是否需要将数据连接到其他数据源。
数据摄取的目标不是积累数量最多、粒度最细的实时可用数据集,而是为组织在当前成熟度下收集和整合有价值的数据。随着时间的推移,组织的分析需求逐渐成熟,使用服务类型更加多样化,使用其他云或SaaS产品,以及内部策略和使用情况变化,所需数据也将随之发生变化。
数据摄取能力在这些情况下触发行动:构建或添加数据源、获取更详细的数据、与元数据进行结合、统一数据的标准格式、开发特定工具、提升数据摄取效率和便捷性。随着 FinOps 成熟度提高,以及投资这些步骤获得价值的过程中,这项工作将会循序渐进地展开。
成熟度评估
爬行
使用云服务提供商提供的工具,无需获取特定数据。
采用成本和使用数据的汇总文件,或通过API获取单个数据源或云服务提供商的聚合数据。
单独分析来自不同来源的数据,不进行规范化处理。
以云成本和使用数据为主,几乎不采集其他来源的数据。
在关键的云平台和数据资源中,应用统一标签、命名标准和层次结构,以便手动关联不同的来源。
已有分摊、报告与分析所需的数据源,如利用率数据、碳数据、内部元数据。
汇总数据时,需要人工干预和/或多步骤转换。
行走
从多个云服务提供商和/或其他相关数据源引入资源级别的数据。
规范不同数据源的成本指标,提供标准一致的数据仓库。
使用一个或多个第三方FinOps工具或平台来规范数据,或使用FOCUS规范提供商的维度与指标。
能够为不同的云生成一致报告,可能采用不同的报告方式。
数据能映射到业务,并能够随着业务需求的变化而改变。
采集大部分历史数据,可以分析年度趋势变化。
收集性能数据、利用率数据和碳使用数据。
有数据完整性检查机制。
奔跑
数据仓库综合而统一,涵盖云使用情况、成本数据、性能、可持续性、利用率等数据。
在最细粒度的层面获取数据,以支持更复杂的数据分析或报告需求。
利用FOCUS或其他标准,对所有数据源的维度和成本指标进行规范化,在多云之间实现报告的一致性。
随着业务需求的变化,数据能映射到业务,并能收集历史数据。
采集所有历史数据,以进行深入的趋势分析。
采集SaaS、软件许可供应商或其他内容提供商的非云数据。
有数据完整性机制,包括质量检查和自动机制。
职能活动
FinOps从业者
与其他FinOps角色合作,确定数据源列表,满足当前报告、分析和运营需求。
识别数据缺口,并与相关团队协作完善源数据。
确定每个数据源所需的颗粒度。
建立数据规范化模型,将各个来源的字段相互关联。
定期主动验证数据源内容,掌握变更时间,及时响应调整并重新记录,告知所有相关人员。
在数据生命周期内,确保数据源和存储库成本和使用信息准确,规模适宜,及时备份,管理得当。
提供数据访问途径,确保需要信息的人可访问数据。
制定报告并输出预期文档,并随着成熟度提高定期更新。
利用FOCUS用例库,并与其他FinOps角色合作,确定FinOps实践所需的FOCUS数据集。
产品
根据FinOps实践要求,提供业务或产品信息,确定KPI或提供其他所需信息。
财务
根据FinOps实践的要求,提供数据源的访问权限。
确保财务部门使用最新、合适的数据源进行报告、预测和决策。
参与或主导数据完整性和质量验证工作,确保发票、数据源和其他信息能够按预期关联匹配。通常每月或定期对数据进行核对,对比云服务提供商的原生工具数据与标准化数据
最大限度地减少或消除数据源系统之外的数据更改,并对所有源变更进行记录与核对,确保可回溯。
采购
在与数据源供应商的合同或受管理的互动中,应明确数据摄取的需求和标准,确保能够获得所需的数据访问权限。
向数据源供应商提出必要的要求,确保合同义务和条款得以执行,与FinOps实践的需求相符。
工程
在工程权限范围内,提供性能和使用情况监控信息的访问权限,以供FinOps数据仓库使用。
对于分析或报告的数据,识别数据问题或不一致之处,确保数据的完整性和准确性,维护数据质量。
管理层
支持集中化的数据标准化策略,满足FinOps实践对不同信息的访问请求。
提倡并加强沟通,强调建立单一可信的云使用和成本数据源的必要性,在报告和决策中有据可依。
关联角色
在权限范围内,提供数据源或内容访问权限,将信息与FinOps数据仓库内容进行关联。
制定数据架构与格式,支持FinOps数据仓库随着时间推移实现数据规范化和信息关联。
识别逐渐浮现的FinOps数据问题、不一致或变化,帮助存储库负责人维护数据质量和可用性。
与第三方平台提供商合作,解决数据源与其报表之间的数据差异。
成功衡量指标和KPI
每日一次/多次定时接收云服务提供商的数据,例如:
每天至少接收1次云成本和使用报告
每天至少生成1次导出账单
按照既定协议,确定所有必需的数据源,格式一致规范,数据可获取。
成功完成数据质量检查。
成功完成FOCUS验证器检查。
针对自动通知或报告的数据质量或可用性问题,需在1个工作日内调查,在3个工作日内解决。
数据摄取和处理在预期时间内进行。
数据源发生变化时,需在1个工作日内识别,在3个工作日内调整数据存储或处理的参数。
按需识别并启用新的数据源、更细的颗粒度或新的数据关联。
数据时效性:与预期时间相比,每个数据源最后一次更新到现在的时间。
数据摄取时间:与预期时间相比,从接收新版本数据到存储原始数据进入FinOps数据仓库之间的实际时间。
提取、转换、加载(ETL)/标准化/关联时间:与预期时间相比,从每个数据源存储原始数据开始,到完成数据关联、标准化、转化、存储入库的实际时间。
以标准化方式呈现总成本的百分比(%)
元数据元素的匹配百分比(%)
输入和输出
云服务提供商成本和使用情况数据,按所需粒度、清晰度和频率生成。
FOCUS数据集,包含云服务提供商的使用情况和成本数据,以及补充数据,如可持续性、可观测性、SaaS等。
利用率、性能或可观测数据,包含CPU、内存、磁盘和/或网络利用率等系统指标,以所需的资源或资源组级别提供。
日志或系统的交易数据,记录各类资源(通常是共享资源)的使用次数或数量。
业务绩效数据,提供了数据上下文场景,例如客户数量、收入或销售额、交易数量或其他业务成果,以说明云成本和用云情况。
根据单位经济效益确定的KPI ,支持FinOps数据仓库中数据元素的收集和关联。
合规与治理要求,使用所获取数据实现整体云政策和其他FinOps设定的绩效。