[ML 1分钟]第一个模型能跑通就不错了
有业务能上机器学习模型了,算法工程师小月开心地不行。毕竟作为一名机器学习工程师,口袋子藏着无数陈年老模型:线性模型、树模型、深度模型、增强学习,要啥有啥。业务一来,恨不得立刻就掏出最炫酷的模型,一步到位。

但是,第一个模型,一定要简单
正当小月兴奋着呢,经理大圆泼了一瓢冷水,“第一个模型,一定要简单”。
第一个次迭代往往是提升最大的之一,简单模型即可,不需要特别。而且实际上,模型上线遇到的工程问题会比你想象的更多。在上线之前,一定要想好一些问题:
- 如何在线下生成一些结果,来观察是否符合预期?
- 什么样的结果是好,什么样的结果是坏?那些指标可以用来观察?如何获得这些指标?
- 如何将模型整合到系统中?绝大多数时候预生成结果存在数据库中永远比实时计算的架构要简单很多。
上线的过程中可能遇到的问题数不胜数,接口问题、性能问题、业务逻辑 Bug 等等。尽量把不同服务的边界定义清楚,确保能够不同团队能够各自 debug。
模型简单,特征也简单
简单的模型也要搭配简单的特征。
- 选取统计类特征,而非算法生成的特征,比如第一个版本不要用 Embedding 做特征。
- 减少特征种类,选取直觉上符合预期的特征。
- 尽量降低对于复杂数据生成管道的依赖,选择简单的数据。
测试过程中要观察:
- 线上下的数据是否一致
- 特征是否正确地输入到了模型中
- 模型学习出来的权重是否符合预期
- 线上和线下模型是否能够获取同一份特征数据
指标不降就能上线
简单的模型开发起来当然不复杂,但是联调所花费的时间真的超过了小月的预期。好在算法端几乎没有什么问题,一切就绪,可以AB测试。

小月对于新模型的期待很高,但是经理又给他降了降温,指标有可能也是中性的。但是,中性也是符合预期的,该上线就上线。我们的精力应该花在如何进入下一步迭代模型,而不应该再争论是否一定要正向才能上线了。
上线永远是快乐的!小月准备去吃一顿九美元的炸鸡自助庆祝一下
继续阅读
全部内容大模型落地的未来:开源+微调?
最近,AI 社区里流传着这样一句话——“通用大模型很强,但我并不需要我的应用去给我背诵法文诗歌。” 这句话听上去有点调侃,却反映了一个重要现象:许多企业和开发者在早期会选择大型通用模型(例如 GPT-4)去快速验证想法,但真正想要落地到生产环境,往往发现必须在速度、成本和“专用领域准确度”之间做权衡。 于是,“微调(F...
[ML 1分钟]细节太多,犯错太容易
机器学习工程师小月最近一直在研究新的深度学习算法。相对于现有的算法框架,新算法要求兄弟团队一块搭建了不少新的框架,也选用了一些以前不太熟悉的库。经过了三个月的准备,终于可以上线AB测试了。 但是AB测试效果老是不好 经过了几个月的迭代,效果依然不佳,仅仅只比手动排序更好,与现有的模型相比效果差距甚远。离线数据 AUC,...
[ML 1分钟]第一版排序不上机器学习算法
一个新的产品需求来了,产品经理总会提前很久就来找机器学习的团队,讨论能不能在第一版上线中就加入“神奇的”机器学习排序算法。 “我也是想呢,但是不行“。 我们当然想着用机器学习去帮助每一个产品,但是在实践中,最早的版本不应该考虑机器学习算法。 原因 背后的原因有很多。 第一当然是数据。不管是有监督还是无监督算法,或多或少...


