第247章 云端的显卡(1/3)
作品:《太空争霸之我来自未来》二十多只木箱堵在卸货区,货梯门宽一米四,最大的服务器机柜连包装一米五二。
云平台负责人沈放仰头看了半天:“拆箱。”
机房主管摇头:“室外拆,防尘、防静电和搬运责任谁管?”
“那从楼梯抬。”
“四百多公斤,楼梯转角过不去。”
所有人口中的“云”,在这一刻成了一个卡在门外的铁柜子。
最后,团队联系厂家拆成服务器、托盘和机柜分别搬运,设备在临时洁净区验封,重新组装后逐台上电。第一只木箱从车上下来用了八分钟,最后一只进机房花了两天。
齐放蹲在楼下看工人抬设备,忽然明白方俊为什么总嫌算力申请慢。代码里写一行“申请八张卡”,地面上要先有人把八张卡从木箱抬进电梯能到的楼层。
新设备也不是插电就变成一朵云。
进口加速卡、国产服务器主板、两种网卡、三种电源规格混在一起。有的适合长时间训练,有的内存小但推理快;某批驱动只支持旧系统,另一批更新后又让原有程序报错。若把它们全标成“显卡资源”,调度器会像把小轿车、货车和拖拉机都写成四个轮子,然后随便派去拉同一车钢材。
沈放让每台设备先登记能力、功耗、驱动和可用数据域。通用公开任务可以去共享池,支付和航天敏感任务只在对应受控区运行;能被抢占的研究训练与不能中断的线上推理分开。生产服务不能因为有人半夜训练大模型,突然连一块卡都拿不到。
资源表一公布,各团队立刻开战。
搜索组要四十张卡训练新的查询理解,理由是百度、谷歌和移动应用都在抢用户;焊缝组要十二张,汽车厂合同正在等;航天故障检索要八张,下一次中型箭结构评审在两周后;机器人组要十六张跑视觉和路径仿真;支付风控虽然只要六张,却要求全天保留。
总需求超过现有容量两倍。
搜索负责人说业务收入最高,应优先。周遥问机器人合同是不是可以用收入少为理由延期。航天组说安全项目天然最高,支付组反问交易欺诈每天都在发生,难道等火箭试验结束再抓骗子。
马飞坐在会议室后排,听了半小时,没有替谁拍板。
“先把‘要多少’改成‘要做什么’。”他说。
各组重新提交任务。搜索组原本申请四十张卡连续占用两周,拆开后发现只有三次关键训练需要全量资源,其余调参可以用小规模样本;焊缝组把数据预处理放到普通计算节点,不再让昂贵显卡等着读取图片;机器人仿真中大量物理计算并不适合塞进同一种卡;航天组的报告日期固定,可以提前预约,没必要每天挂着空任务。
需求压下一截,仍然不够。
调度规则分成生产保障、已签客户里程碑、工程安全窗口和探索研究。高优先任务可以抢占低优先训练,但必须提前保存进度,说明抢占原因;“董事长关注”“媒体发布”“马上要融资”不构成优先级。每个团队能看到自己等待时间,也能申诉,却不能找沈放吃顿饭便插队。
规则上线第一夜便被人钻了空子。
搜索组一名经理把研究任务标成“线上故障恢复”,抢到十六张卡。焊缝模型被中断,第二天无法按计划给客户演示。沈放查日志时,对方说新模型关系搜索稳定,标记没有错。
“线上现在故障了吗?”
“没有,但旧模型效果下降会影响业务。”
“那叫迭代,不叫故障恢复。”
经理认为云平台不懂业务,直接找到马飞。马飞只问他愿不愿把“当前无故障”写进抢占单并签名。对方最后撤回标记,优先级造假进入部门绩效记录。
齐放没有因拿回资源高兴。他的训练从头开始,说明程序没有做好断点保存。被抢占是别人的错,丢掉八小时进度是自己的错。
工程团队给训练任务增加定期检查点,像长途车每隔一段把位置记下来。机器让给更急的任务后,回来不必从起点重跑。检查点本身占存储和时间,间隔也不能越短越好;团队按训练成本和中断概率
本章未完,请翻下一页继续阅读......... 太空争霸之我来自未来 最新章节第247章 云端的显卡,网址:https://www.71ge.org/511/511195/247.html

