我负责优化云端模型的量化、部署和测试。针对 GPU 资源消耗过多的问题,搭建了基于 TensorRT 的模型量化和部署的流程。遇到的主要问题是量化后的模型存在精度损失,最后调研了一系列的模型量化算法,并开发了模型量化和转换工具,来实现自动化的模型转化和测试。最终量化模型的输出的 cosine 相似度高于 0.999, 同时模型 infer 的耗时降低 20%,GPU 的占用率降低 10%,GPU 显存降低 10%。实现了降本增效,节省三百万左右的算力成本。
负责开发一个内部使用的评测网站,方便所有人进行模型&数据管理、算法评测、结果管理、数据共享。并且预留接口,以实现 badcase 分析、回流数据管理、建图结果展示等功能。
评测平台架构
评测平台接口设计
评测平台页面效果图
将模型部署到手机、车机端对于 SDK 的性能要求较高,需要在完成复杂功能的基础上,尽可能的降低耗时和 CPU 占用率。针对这个需求,设计了多流程并行的框架,并加入了自动 profile 功能。共完成功能 12 项,实现实时的 AR 导航功能,并将 CPU 占用率控制在 70%以下。在四个月的时间里完成了个 AR 导航中的感知功能,并正式在江铃 CX743 车辆上线。后续该车正式量产,并实现了数据的回传,能有效辅助腾讯地图的数据更新。不同模块的效果如下:
我在此项目负责了哪些工作,分别在哪些地方做得出色/和别人不一样/成长快,这个项目中,我最困难的问题是什么,我采取了什么措施,最后结果如何。这个项目中,我最自豪的技术细节是什么,为什么,实施前和实施后的数据对比如何,同事和领导对此的反应如何。
我在此项目负责了哪些工作,分别在哪些地方做得出色/和别人不一样/成长快,这个项目中,我最困难的问题是什么,我采取了什么措施,最后结果如何。这个项目中,我最自豪的技术细节是什么,为什么,实施前和实施后的数据对比如何,同事和领导对此的反应如何。
(对于程序员来讲,没有什么比 Show me the code 能有说服力了)