工业大模型落地新范式
来源: | 作者:pmod6d781 | 发布时间: 2024-10-09 | 196 次浏览 | 分享到:



当然,工业领域还注意知识的隐私性以及数据安全。在学习过程中对怎么样规避这两个问题,这也是后面需要研究的一些课题。

6、部署工业大模型,一般需要什么资源?

如果说大家只是是想感受这个技术,有很多这种公开的一些基于云的API,不管付费的还是免费的都有。如果说大家要在实际的生产业务当中去用,我们更建议还是用私有化部署的方式。

合法途径,建议找Apache2.0协议的大模型,然后买GPU。选择大模型的参数量,比如7B、13B、70B,把参数量X2就是你需要的显存。比如你布一个7B的模型,那么就是14G显存。如果你想要130B,那就是260G的显存,那就是40G一块单卡乘以八块。

起步阶段,不做训练,只做推理,一两台服务器就可以把好多事跑起来了。大家可以边探索边交流。