stablediffusion吧 关注:32,392贴子:112,886

Nunchaku (SVDQuant) 0.2.0发布,再见了GGUF……

只看楼主收藏回复

前几天吧里还有人发过关于Nunchaku (SVDQuant) 的帖子,但是当时的版本局限性很大,但是前两天出了0.2.0版本后发生了质的变化。
新版本可以直接用原版flux lora不用转化了,支持加载多个lora,支持controlnet,支持redux,兼容20系显卡,这次更新可谓是把“鸡肋”变成了“牛肋排”。要知道GGUF虽然降低了硬件需求但是速度并没有什么提升,但是Nunchaku的速度却是翻倍的,并且画质损失微乎其微。
12g显存,原版fulx fp8轻松占用97%,Nunchaku的占用只有70%,速度还翻了不止一倍。

并且插件自带First-Block Cache,开启后速度再次大幅提升。


IP属地:河北1楼2025-04-07 16:26回复
    Nunchaku官方目前提供了多种模型,包括fp4的flux,50系显卡用了直接起飞,这次更新后,可以说它是flux下一个量化方向了。


    IP属地:河北2楼2025-04-07 16:29
    回复
      不过Nunchaku对使用环境有要求,必须要 PyTorch>=2.5,官方还提供了各版本环境的轮子。


      IP属地:河北3楼2025-04-07 16:31
      回复
        fill也很好用,以后需要用到fill的工作流都可以替换成用int4的量化的模型了。


        IP属地:河北4楼2025-04-07 16:45
        回复
          会有更多的模型吗?就像gguf那么多


          IP属地:四川来自Android客户端6楼2025-04-07 20:12
          收起回复
            FLUX全套都有了,因为要cuda126以上,所以AMD不能用


            IP属地:江苏7楼2025-04-07 20:15
            回复
              50系直接下载就可以吗,comfy一直用不了


              IP属地:天津来自Android客户端8楼2025-04-07 20:46
              收起回复
                牛的


                IP属地:广西来自Android客户端9楼2025-04-07 21:02
                回复
                  确实很厉害,感觉会是未来flux量化的主流方向,甚至超过fp8。1024*1024的图,我用笔记本电脑6g显存的2060m只用22s,5080m只用6s。而且相比之前gguf量化会有很大损失,这个svdquant方法和fp8相比几乎看不出明显差异,这下20系以后的所有N卡估计都能玩flux了


                  IP属地:北京来自Android客户端10楼2025-04-07 22:46
                  收起回复
                    但顶不住这个出图快啊,批量出图,然后用量化的fill修图。我比较期待他的视频量化,说在做


                    IP属地:江苏11楼2025-04-07 22:49
                    回复
                      那以后wan2.1的视频生成速度也会极大提升吗


                      IP属地:湖北来自Android客户端12楼2025-04-08 02:18
                      收起回复
                        不错的技术,小显存显卡也有救了。不知道升级了环境对其它功能插件有没有影响,等社区其它量化模型放出来再试试,原版模型没什么欲望。


                        IP属地:浙江13楼2025-04-08 09:19
                        收起回复
                          什么模型


                          IP属地:辽宁来自Android客户端14楼2025-04-08 09:29
                          回复
                            这东西更适合视频模型


                            IP属地:广东15楼2025-04-08 09:31
                            回复
                              这玩意的模型保存我还是看不懂,deepcompressor,triton,CUDA开发包都装上了还是报错


                              IP属地:云南来自Android客户端16楼2025-04-08 14:00
                              收起回复