9
  2. 闲聊吹水
  3. 成功本地运行chatGLM!可以猫娘!

成功本地运行chatGLM!可以猫娘!

catkin038
12天前 283 9

成功运行chatGLM，不过回答有对有错，并且即使4bit量化也需要超过6GB显存了。

但是，她不会拒绝成为猫娘，并且做的很好!

运行起来还是建议13GB显存，至少一张24GB显存卡。

直接运行会导致爆显存

还有就是家里GPU云太吵了，坐在机子旁边工作必须带耳塞，这样还是耳鸣了。

 

 

温暖的灵魂终将相遇 孤影&墨香
收藏的用户（0） X
正在加载信息~
最新回复 (9)
  • MarikoChiba @Ta 12天前
    2楼

    公布出来让咱们玩玩

    0
  • colayun @Ta 12天前
    3楼

    哈哈哈

    0
  • 启涵 @Ta 11天前
    4楼

    感觉想在腾讯云竞价实例上运行下，但是价格太贵了，一个小时要1.736元

    0
  • V Rose @Ta 11天前
    5楼

    开放吗

    0
  • catkin038 @Ta 楼主 11天前
    6楼

    启涵 感觉想在腾讯云竞价实例上运行下，但是价格太贵了，一个小时要1.736元
    1.7不算贵了对于GPU云来说

    0
  • catkin038 @Ta 楼主 11天前
    7楼

    Rose 开放吗
    可以，找我预约，因为只有单卡，多人使用会导致推理速度大幅下降甚至卡死，6B规模局限性太大，仅供参考。

    0
  • catkin038 @Ta 楼主 11天前
    8楼

    MarikoChiba 公布出来让咱们玩玩
    可以，找我预约，因为只有单卡，多人使用会导致推理速度大幅下降甚至卡死，6B规模局限性太大，仅供参考。

    0
  • V ejsoon @Ta 11天前
    9楼

    請問「貓娘」的意思是？

    0
  • catkin038 @Ta 楼主 10天前
    10楼

    ejsoon 請問「貓娘」的意思是？
    虚拟猫娘

    0
    • 十年之约
      11 楼
        登陆丨 注册丨 QQ登陆
作者最近主题：