关于部署服务连接问题
-
谢邀。今天恒源云的客服小姐姐帮忙联系到技术,解决了困扰我多日的技术难点。
采用最近热门的langchain库和gradio框架部署的私有llm模型,生成的链接存在个别区域无法访问的问题。我以为是个别服务器网络问题,于是不同服务器,不同GPU卡部署都试了,都存在类似问题。
经过技术详细解释,有的地区可以访问,有的地区不可以访问的原因是因为有的地区可以正常解析gradio提供的公网域名,把请求送到frps进程(国外的),有的地区无法解析域名,所以流量到不了fprs服务端。这不是任何平台任何服务商能控制的。这个坑算是烫平了。
实际上,恒源云的用户前台早已生成了自己的自定义服务链接,相当于是把服务部署中很多前端问题解决了一大半,我绕来绕去结果原来恒源云早就解决了很多。
想提醒一下,有很多问题实际不需要问到技术,要仔细理解平台的用户文档,其实解决方案都在里面,再次感谢技术。另外服务器稳定性有差异这是客观的,重要的部署可以选高可用特性的机器,更稳定。
最后,有感兴趣部署和做领域模型或微调LLM的,欢迎交流指导。 -
@yodar 翻牌!留下用户id~我们会送上代金券奖励~