【更多资源】▶https://bittly.cc/lingdu 【零度博客】▶https://www.freedidi.com 【加入会员】▶https://www.youtube.com/channel/UCvijahEyGtvMpmMHBu4FS2w/join 【高级会员】▶https://bittly.cc/JsLAn ------------------------------------- 🔔 模型及部署工具下载:https://www.freedidi.com/24267.html 🪶🥇🥈🥉 会员咨询 / 一对一(限量开放):🔗https://ask.tuio.cc 🔰 安全VPN推荐(最高优惠链接): 1.SurfsharkVPN:https://get.surfshark.net/aff_c?offer_id=390&aff_id=4890 2.ProtonVPN:https://go.getproton.me/aff_c?offer_id=26&aff_id=1905&source=youtube 3.ExpressVPN:https://go.expressvpn.com/c/2612933/1645830/16063 4.PureVPN: https://billing.purevpn.com/aff.php?aff=44074 🚀VPS 推荐: 1.https://bandwagonhost.com/aff.php?aff=58794 (搬瓦工 CN2) 🦞 AI 生成对口型视频(支持多语言):https://bittly.cc/heygen 💰比特币交易平台 1.火币官网 : https://www.htx-kol.com/invite/zh-cn/1g?invite_code=48tr7 2.欧易官网: https://bittly.cc/okx ======================= 其它更多精彩内容推荐:😍 https://youtu.be/-VrgBEz-EZ4 https://youtu.be/bowzVW93pig https://youtu.be/uFHtS_kJAUE https://youtu.be/dNsxnuAIIdw https://youtu.be/q1qCzx3sakA https://youtu.be/swafOCGzmow https://youtu.be/5eA7-gWH_2o https://youtu.be/HAXed-ZYEZQ https://youtu.be/nc-EQHtx2W8 https://youtu.be/LQwD0x1Z8ak https://youtu.be/T4eLUtIRy_M https://youtu.be/5XrayNHLWrg https://youtu.be/b_NTQEWJLxw https://youtu.be/lzb5bJS4XtI https://youtu.be/cHIyeTdKB4g https://youtu.be/p8KTaBv7nxw https://youtu.be/UWelKj2LkIU https://youtu.be/JBv-thjmVP8 https://youtu.be/QCvF8mCPwdQ https://youtu.be/NLO0nx4EN24 https://youtu.be/r351ngmDL3Q https://youtu.be/IIcAe2AlROE https://youtu.be/kCrX3Dm4_cY https://youtu.be/UhMim4G79Oo https://youtu.be/xzBiF8TJ_t4 https://youtu.be/Q-FUmOtysyg https://youtu.be/MEZnK8ZOSVw ========================= 零度电报群:https://t.me/lingdujie
ADVERTISEMENT
我的3070又香了。刚想卖掉。
我只想说,大哥,牛X,全网只有大哥的教程在我心中排名第一,天天来学习,最最主要的是大哥的细心,关键是教程链接,给得非常详细,其他UP主有些人文档链接也没有,用到的代码也没有,还得截屏提取文字,所以直接关了,每天就等零度大哥的教程,真香!!!👍👍👍👍👍👍👍
數筷子的測試是不是有問題? 1. 不同照片會有角度跟反光干擾,應該都用同一張照片吧 2. 6:41與7:13、7:36的筷子是不是不太一樣? 7:13、7:36有1根筷子比較細、扁 我用6:41問網路免費版的: gemini:22、24根,要它再數數3次都是這種答案。跟他說是21根後,它才說21根 chatGPT:21 claude:沒有筷子,是磁力珠(巴克球/Buckyballs)。問了3個免費模型都是沒有筷子。跟他說是21根筷子,它才說21根 grok:19 根,要它再數數2次都是這種答案。跟他說是21根筷子,它才說21根 我用7:13問網路免費版的: gemini:19根,要它再數數也是這種答案。跟他說是21根後,它才說21根 chatGPT:24 根,要它再數數變22根。跟他說是21根後,它才說21根 claude:沒有筷子,是金屬磁力球(磁珠),共約 25 顆金屬球,要它再數數也是這種答案。跟他說是21根筷子,它才說21根 grok:20根、18~22,要它再數數變20 、19 ~ 21。跟他說是21根筷子,它才說21根
太好了,剛好想升級顯卡,可以把退役的3070 玩看看
本地部署了,好用!
注意,13.1的CUDA 对应的llama是 13.1 ,3070ti测试的,否则无法运行
結果千問用來算筷子真的好厲害 @@ 筷子廠大喜 ~
3060 12g 可以跑37~40t/s
零度你好,,我一直都有关注你的是,讲得非常详细非常好,能不能出一期用LLAMA CPP本地模型+小龙虾啊,肯定很过瘾
雖然二十幾個token不算快,但是能跑真的讓人驚訝 不過不知道Q4會不會有甚麼副作用,以前用一些量化模型會有些問題"繞不出"去 就是一直重複某一段話,一般調整top-k跟temp可以緩解,但無法完全解決
Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.1 DLLs 是两个组合,后者解压扔进前者文件夹就能让你免去下载安装一个CUDA
2根8g的 系统卡死住了😂
都是AMD的配置,GPU基本不工作是怎么回事,CPU快拉满了
不错,8G显卡可以分析大篇幅的文章了
非常不错。
這千問3.6真的好用,跑本機終於不會卡卡了,4060可以有36tokens~
我也也用5060 ti 16GB跑35B,透過llama.cpp,不過本地記憶體要夠大 因為要CPU offload Qwen3.6-35B-A3B-Q5_K_M.gguf 24.62 t/s
各位,這東西還是要RAM,常駐參數是只顯存放的,不是電腦總額 RAM只有16G的就放棄了
感谢,我用2080ti22G魔改版的,加豆包调整的参数,cuda12.4现在能跑到24token/s
試了 本地大模型都有限制,很多事都不能做