企业私有化 AI 算力项目怎么立项？负载、服务器、机房、软件、实施、运维、扩容、退出与 TCO 清单

私有化 AI 项目的报价单常从服务器开始：几张加速卡、多大显存、多少机柜。业务团队还没说清每天有多少请求、能等多久、数据为什么必须留在本地，采购就已经在比较硬件型号。结果通常有两种。设备买小了，上线后排队；设备买大了，大部分时间闲置，软件、机房和运维费用却按满配持续发生。

立项先回答业务问题

写清项目服务谁、处理哪项任务、替代或改善哪段流程、失败会造成什么影响。知识问答、视觉检测、文档抽取和大模型生成对算力、存储、网络与连续性的要求差异很大。“建设企业 AI 平台”无法直接换算成设备数量。

算力预算从负载开始

记录日请求量、峰值并发、输入长度、输出长度、文件或图片尺寸、模型数量、上下文长度、批处理窗口和增长假设。还要区分开发、测试、生产、评测与应急环境。平均请求量适合算月度用量，峰值决定容量能否扛住业务时段。

给每类任务设服务目标

首个结果等待时间、完整响应时间、每秒吞吐、成功率、允许排队长度和恢复时间分别设阈值。交互式问答关心首字等待，批量抽取更关心单位时间处理量，实时检测则可能有固定时延上限。一个“响应要快”的要求不够采购或验收使用。

质量门槛先于性能门槛

较小模型、量化模型或更短上下文可能省资源，但必须先通过业务评测。把准确率、召回率、引用、拒答、关键子群和人工改判设为门禁，再比较符合质量要求的配置。低成本但不能完成任务的方案，没有可用的单位经济性。

使用真实请求做基准测试

测试集要覆盖短长输入、高峰并发、多个模型同时运行、缓存命中与未命中、工具调用和知识检索。厂商给出的单模型峰值只适合初筛。MLCommons 的MLPerf Inference 数据中心基准提供了标准场景和指标，但企业仍需用自己的模型、数据和服务目标复测。

测试结果保留完整条件

记录模型与版本、精度、批大小、输入输出长度、并发、运行时、驱动、硬件、功耗模式、温度和测试持续时间。只保留“每秒 100 请求”的结果，几周后就无法解释它对应哪套配置。

优化参数会改变容量

批处理、并发实例、缓存、张量并行和模型并存方式都会影响吞吐、延迟与显存。NVIDIA Triton 的Model Analyzer 文档展示了在指定硬件上比较模型配置、计算与内存需求及服务质量约束的思路。使用其他推理框架时，也应建立相同的配置扫描和报告机制。

容量表至少保留三档

情景	负载假设	用途
基准	已确认用户和近期业务量	形成首期采购与上线容量
高峰	业务峰值、批任务重叠和故障降级	验证排队、超时与服务目标
增长	新增部门、模型或站点的可解释增量	规划扩容触发点与预算窗口

余量要有用途

预留容量用于单机故障、发布切换、增长或临时高峰，并写明比例与依据。设备采购周期较长，可以多留扩容缓冲；业务变化快，则更适合分期采购。不能用一句“未来 AI 需求会很大”支撑成倍超配。

中心、边缘和混合方案分别报价

中心集群便于资源池化，边缘节点能降低现场时延与数据外传，混合架构还要承担模型分发和多地点运维。已有的私有化 AI 中心与边缘推理架构清单可用于先确定放置决策，再进入成本比较。

比较完整方案，不只比较加速卡

服务器报价应包括 CPU、内存、加速卡、本地存储、网卡、电源、导轨、管理模块、线缆和保修。不同机型的加速卡数量相同，主机内存、互联、功耗和可维护性仍可能不同。

显存容量与带宽都要核对

模型权重、缓存、并发会占用显存；内存带宽和互联又影响实际速度。硬件能装下模型，不代表能达到目标吞吐。评估多模型共存时，还要考虑碎片、切换和运行时预留。

CPU、内存和存储不是配角

分词、图片解码、检索、重排序、日志和接口处理会消耗通用资源。模型文件、向量索引、缓存、容器镜像和审计日志持续占用存储。只按加速卡计算，系统可能在其他环节出现瓶颈。

网络按数据路径设计

列出用户到网关、网关到模型、模型到知识库、节点间互联、备份与监控的带宽和时延。集群内部高速网络、跨机房链路、负载均衡和防火墙端口都可能产生设备、许可与实施费用。

机房先查可用条件

核对机柜空间、单柜功率、供电回路、UPS、制冷、承重、消防、接地、门禁、布线和远程管理。高密度服务器放不进现有机柜，后续改造可能比设备本身更慢。场地负责人应在采购前签字确认。

设备标称功率不能直接当电费

用实测空闲、平均和峰值功耗，结合负载曲线和运行时长估算 IT 用电。机房总电耗还包括制冷、配电损耗等基础设施。美国能源部的数据中心节能设计指南说明了 IT、环境、气流、制冷、电气及能效指标之间的关系。

PUE 只描述基础设施效率

PUE 通常用数据中心总能耗除以 IT 设备能耗。它能帮助估算机房配套能耗，却不能证明模型服务有效率。企业还要看每个有效请求、每份文档或每次检测的能源与成本。

电价用合同和时段数据

记录基本电费、峰谷电价、需量、税费和机房分摊方法。若项目使用托管机柜，电力可能按包干、额定功率或实际用量收费。报价中的“含电”要查清上限和超额规则。

软件费用单独拆开

基础模型、操作系统、虚拟化、容器平台、推理运行时、数据库、向量库、备份、安全、监控和工单系统都可能有许可或订阅。分别记录计价单位，是按用户、节点、CPU、加速卡、容量、请求还是年度授权。

开源软件也有持续成本

许可费为零，不代表安装、集成、升级、漏洞修复和故障支持免费。立项表要给内部工程时间、外部支持和应急响应计价。关键组件无人负责时，成本会在事故发生后集中暴露。

模型许可证逐项核对

确认商业使用、地域、用户规模、再分发、衍生模型、输出使用和品牌要求。许可证版本与下载来源进入制品记录。模型换版后重新审查，不能沿用旧结论。

实施费按工作包报价

把需求、数据治理、硬件安装、环境部署、模型适配、知识接入、权限、接口、测试、培训、上线和质保分别列出交付物与人天。供应商只报一个“平台实施费”，企业很难判断漏项，也难在范围变化时估算增量。

数据准备常常超过设备安装

文档清点、OCR、格式转换、切分、元数据、权限映射、去重、标注和测试集建设都需要业务人员参与。先参考企业私有化 AI 部署前准备清单确定数据与责任，再估算人员时间。

内部人员时间进入 TCO

业务专家、法务、安全、采购、财务、IT、AI 工程和现场运维都可能投入工时。项目会议、内容校验、验收和持续反馈也要计入。忽略内部时间，会让私有化方案与外部服务的比较失真。

培训分角色估算

终端用户需要任务与风险培训，内容管理员学习数据更新，平台团队学习部署与监控，安全团队学习审计和事件处置。人员流动后还会有复训成本，不能只安排上线前的一次演示。

测试环境不是临时赠品

模型升级、驱动更新、知识变更和故障复现都需要非生产环境。它可以使用较小容量，但必须覆盖关键硬件、版本和安全边界。若所有测试都占用生产集群，发布风险和业务停机都会进入隐性成本。

高可用先对齐业务损失

双机、双电源、备用网络、跨机房和异地容灾的成本差异很大。根据任务中断的财务、合规和运营影响设恢复目标，再决定冗余。内部辅助问答与生产控制不能套用同一等级。

错误预算帮助讨论取舍

允许多少失败和不可用，决定了冗余与运维投入。已有的SLA、SLO 与错误预算清单虽然以网站为例，其中从业务路径定义服务指标的方法也适用于 AI 服务。

备件与维修周期进入容量设计

记录关键部件故障后的备件来源、到货时间、现场更换能力和数据处理要求。采购一台闲置整机未必是最优方案；共享备件、厂商上门或允许短时降级也可以比较，但要用恢复时间证明。

供应链风险不止是交货期

核对设备和软件来源、授权渠道、固件更新、组件清单、漏洞响应、远程支持、生命周期和替代方案。NIST 的SP 800-161 Rev.1提供了把网络安全供应链风险纳入组织风险管理的框架，可用于完善供应商调查与合同条款。

报价锁定兼容矩阵

服务器、加速卡、驱动、固件、操作系统、容器、运行时和模型格式形成完整组合。供应商承诺性能时，应附对应版本。交付后任意一层升级都要重新验证。

合同写清性能验收条件

使用双方确认的模型、数据、并发、输入输出长度和服务目标验收。规定预热、缓存、测试时长、错误处理和统计口径。只写“支持某参数规模模型”或“算力达到某数值”，无法证明业务服务达标。

保修与支持分开比较

硬件保修处理部件故障，平台支持处理软件与配置问题，模型团队处理质量问题。明确服务时间、响应、到场、替换、升级和责任边界。多个供应商互相推诿的协调成本，也要在采购方案中考虑。

资源池要有计量

平台记录部门、任务、模型、环境和项目的资源申请、实际占用、请求量和闲置时间。Kubernetes 的容器资源管理文档说明了 requests、limits、调度容量与扩展资源的关系。无论是否使用 Kubernetes，都需要可归属的资源计量。

加速卡不能长期被空占

开发进程、闲置会话和过大的资源申请会降低利用率。设置配额、空闲回收、预约与优先级，重要生产任务保留必要容量。优化目标不是把利用率推到 100%，而是在服务目标和故障余量下减少可避免的闲置。

成本分摊要能促进行为改善

按项目、部门或产品展示资源与费用，至少让使用方看见其模型、环境和数据保留带来的增量。分摊规则保持稳定并可解释，避免为了账面精确建立维护成本更高的复杂模型。

定义业务单位成本

可选择每千次有效问答、每万页文档、每小时视频、每次合格检测或每个活跃用户作为单位。FinOps Framework 的Unit Economics 能力说明强调把技术成本与业务价值单位连接。只有计算单位成本，团队才能判断优化和扩容是否带来实际改善。

失败请求也消耗资源

超时、重复调用、无效检索、被拒绝的请求和人工返工会增加成本。单位成本分母应采用完成业务任务的有效量，不要用所有 API 调用美化结果。

把人工替代写成可验证假设

如果立项依据是减少人工时间，记录当前流程的样本量、平均处理时长、人员成本、错误率和 AI 上线后仍需复核的比例。不能把整个岗位成本直接算作节省，也不能忽略新产生的审核与维护工作。

收入提升需要对照证据

销售辅助、客户问答或内容生产可能影响转化与收入，但同时还有季节、流量和价格等变量。设计试点、对照组或前后可比口径，记录归因限制。财务模型保留低、中、高情景，不把最乐观增长写进唯一预算。

风险降低也可以量化

私有化部署可能减少数据外传、改善可用性或满足客户要求。用风险事件概率、影响范围、合同要求和控制证据表达价值。NIST 的AI 风险管理框架覆盖 AI 系统的设计、开发、使用和评估，可用于补齐财务表之外的风险与责任。

补贴和优惠只计已确认部分

若项目可能获得设备、研发、用电或园区支持，分别记录政策依据、申请主体、资格、材料、截止日期、拨付条件、到账时间和追回条款。未获批的金额放进情景分析，不从首期现金需求中直接扣除。

优惠不能掩盖不合适的架构

设备折扣、免费许可期或低价机柜会改变短期现金流，未必改变长期运维和退出成本。先确认业务负载与架构，再比较优惠。不能因为某类设备有补助，就把本来适合共享服务的任务强行私有化。

税务与会计处理由专业人员确认

硬件、软件、实施、研发和维护如何入账、折旧或摊销，取决于合同与适用规则。技术团队提供资产、使用期和工作范围，财务与税务人员给出处理意见。文章中的成本分类不能替代企业会计判断。

建立三到五年的现金流

按月或季度列出采购、改造、许可、实施、人员、能耗、支持、备件、扩容和退役。标出付款节点、质保期、涨价机制和汇率假设。一次性采购价很醒目，真正影响决策的是多年现金流和业务价值出现的时间。

TCO 表保持可追溯

成本组	典型项目	主要证据
基础设施	服务器、网络、存储、机柜、供电、制冷	配置、实测功耗、场地确认、报价
软件与数据	模型、平台、数据库、安全、数据治理	许可口径、数据量、工作包
交付与运行	实施、测试、培训、人员、支持、备件	人天、角色、SLA、维修周期
变化与退出	扩容、升级、迁移、残值、清除、处置	触发条件、兼容矩阵、退出演练

每个数字带来源和日期

报价、人员费率、电价、负载、增长率、汇率和设备寿命都记录来源、负责人、有效期与置信度。报价过期后更新模型，不能继续沿用旧价格。假设变化时重新计算，不手工覆盖最终结果。

敏感性分析比单一 ROI 更有用

分别改变业务量、利用率、模型大小、电价、人员节省、设备价格和项目延期，观察回收期与单位成本。若一个方案只有在全部乐观假设同时成立时才划算，立项人应看见这个条件。

设分阶段投资门

概念验证只验证质量与技术可行性；试点验证真实流程、负载和运维；生产阶段再采购满足近期需求的容量。每个阶段设退出条件和证据，避免在业务价值未证明前一次买满多年设备。

试点也要接近生产条件

用同类硬件、真实网络、实际权限和代表性数据运行完整周期。只在工程师电脑上演示，测不出机房、并发、监控、备份和人员协作成本。试点结束后更新 TCO，采购预算以实测数据为准。

扩容触发点写进方案

按队列、服务目标、资源占用、用户增长、模型增加和采购周期设触发条件。扩容前先排查配置、批处理、缓存和资源分配问题。优化后仍不足，再增加容量。

硬件生命周期与模型变化错位

服务器通常使用多年，模型和运行时可能更快变化。采购前评估未来模型是否需要更多显存、不同精度或新互联，也要承认预测有限。模块化扩展和标准接口往往比押注一个长期模型更稳。

退出成本在签约前核对

确认数据、模型、向量、日志、配置和审计记录能否导出；硬件如何清除、转用、出售或报废；软件许可终止后哪些能力停止；供应商退出需要多少时间和费用。没有退出路径，低首年报价可能形成高迁移成本。

备份要做恢复演练

模型仓库、配置、密钥、知识库、业务数据和审计日志分别设恢复目标。备份介质、异地位置、加密与权限都会产生费用。只有文件存在但无法在兼容环境恢复，不能计作连续性保障。

监控数据支撑预算复盘

上线后按月查看请求量、有效任务量、利用率、峰值、延迟、失败、能耗、人员工时和费用。与立项假设比较，解释差异。云资源和运维费用的归属方法可参考企业官网云资源与运维成本清单。

立项职责要分清

角色	需要确认的内容
业务负责人	任务、价值、负载、质量、人工流程和失败影响
AI 与平台团队	模型、基准、架构、容量、版本和运维
IT 与场地团队	网络、机房、供电、制冷、备份和资产
安全与法务	数据、供应链、许可、合同和退出
采购与财务	报价、付款、会计口径、情景和预算控制

立项门禁

• 业务任务、质量指标和服务目标已有负责人签字；
• 容量来自代表性负载和目标环境的实测；
• 设备、机房、软件、实施、人员、能耗和支持均进入 TCO；
• 高可用、备件、供应链和恢复要求与业务影响匹配；
• 单位成本、价值假设和敏感性分析可以复算；
• 补贴与优惠按获批状态分开，不依赖未确认资金；
• 项目设有分期投资、扩容触发点和退出方案。

凯乐丰如何协助私有化 AI 立项

凯乐丰 Colorfun 可通过私有化 AI 解决方案协助企业梳理业务任务、数据边界、模型与知识库、中心或边缘架构、目标负载、服务指标、实施范围和验收证据。算力采购由实测需求推动，官网、外贸独立站、SEO/GEO 与内部 AI 能力也可以纳入同一条数字化路线。

发布前最后核对

负载和性能是否来自真实业务样本；硬件报价是否包含主机、网络、存储和保修；机房供电与制冷是否确认；软件、数据和内部人力是否进入多年成本；单位成本是否使用有效任务量；未获批补贴是否仍被当作不确定情景；扩容与退出能否按记录执行。财务、业务和技术三方能用同一组证据复算，项目才具备立项条件。