FastAPI部署PyTorch CPU inference项目内存泄漏以及解决方案
起因
最近需要在一个2c4g的一个服务器上做VITS-fast-finetuning项目的边缘部署，VITS算一个不大不小的模型，实测下来服务器的内存只有3.6G，刨开乱七八糟的服务也就只剩下少得可怜的2G左右内存可用，因此需要相当地精打细算才能得到比较好的效果。
前端没啥好说的，自己和copilot合作了一下撸了一个又不是不能用的，之后就轮到重量级的后端登场了。
还在漏还在漏
首先我们的需求和一些现实情况如下：