环境
multi query group nu : 2
nu attention heads : 32
num layers : 28
original rope : true
pad token idpadded vocab_size : 65024
post layer norm : true
pre_seg len : nul1
prefix projection : false
quantization bit : 0
rmsnorm : true
seq length": 32768
tie word embeddings : false
torch dtype :"float16“4.41.2”transformers version use_ cachetrue
vocab_size：65024
用户用github上工程训练推理模型服务，代码编译运行异常 ，需要帮忙跑通代码，并安装合适版本；
为用户整理好合适素材，完美解决问题；
最终耗时30分钟调试完成，首页有更多案例欢迎访问，有需求欢迎私信哦！~
