关于部署服务连接问题
-
谢邀。今天恒源云的客服小姐姐帮忙联系到技术，解决了困扰我多日的技术难点。
采用最近热门的langchain库和gradio框架部署的私有llm模型，生成的链接存在个别区域无法访问的问题。我以为是个别服务器网络问题，于是不同服务器，不同GPU卡部署都试了，都存在类似问题。
经过技术详细解释，有的地区可以访问，有的地区不可以访问的原因是因为有的地区可以正常解析gradio提供的公网域名，把请求送到frps进程（国外的），有的地区无法解析域名，所以流量到不了fprs服务端。这不是任何平台任何服务商能控制的。这个坑算是烫平了。
实际上，恒源云的用户前台早已生成了自己的自定义服务链接，相当于是把服务部署中很多前端问题解决了一大半，我绕来绕去结果原来恒源云早就解决了很多。
想提醒一下，有很多问题实际不需要问到技术，要仔细理解平台的用户文档，其实解决方案都在里面，再次感谢技术。另外服务器稳定性有差异这是客观的，重要的部署可以选高可用特性的机器，更稳定。
最后，有感兴趣部署和做领域模型或微调LLM的，欢迎交流指导。 -
@yodar 翻牌！留下用户id~我们会送上代金券奖励~
