如何手动下载chatglm-6b等模型？

[vowers]

部署完后让他自己下载老是下载的巨慢或者直接连接超时了，请问如何从huggingface.co那边手动下载放到model里吗？我看目录下一直是空的，不知道怎么操作

[vowers]

手动下载了模型后，还是报错了： “LayerNormKernelImpl” not implemented for ‘Half’

[GaiZhenbiao]

确实！是一个bug。我修复一下。

[GaiZhenbiao]

现在修复了。

[LeeKonyu]

或者我内存够大（64G）用CPU跑也凑合，但是也会报错 Error: “LayerNormKernelImpl” not implemented for ‘Half’

后来我改了下models.py ： if quantified: model = AutoModel.from_pretrained( model_source, trust_remote_code=True ).half() else: model = AutoModel.from_pretrained( model_source, trust_remote_code=True ).half() 改为 ).float() 可以运行了（虽然CPU是真的慢）

这块是BUG吗还是。。。 cpu不支持半精度把

麻烦问一下，我刚开始接触这方面的知识，我本地已经部署了chatglm，也下好了chuanhu，我要怎么才能导入chatglm模型呀。非常感谢，孩子太急了😭

[vowers]

网络环境好的话，直接点他会自动下载模型的

[vowers]

现在的报错换了一个。现在应该是你没有安装cuda的缘故。
Library cudart is not initialized 感觉还是容器的环境的问题，
我换了个基础镜像nvcr.io/nvidia/tensorflow:22.08-tf2-py3后，numpy有问题我降级到1.21版本后，再次用Chatglm就就都正常了
没事我在研究下看到底哪里有问题，反正就很奇怪