首先声明我是个AI小白，啥也不懂，会点英语，会的不多，以前我就听说本地大语言模型7B或13B都很弱智。一直没什么时间倒腾，最近大模型QWEN2发出来了，随手试了试，还真不错，也不需要额外的调整就能有很不错的输出。

想玩的先准备好

1. 一台电脑至少8G的显卡，我的是去年买的垃圾4060 8G.

2. 然后去这个网站https://lmstudio.ai/ 下载LM studio.

3. 然后国内好像要修改一些参数才能用，看这个视频：

https://www.bilibili.com/video/B ... 67cdaee39e5c5b09aef

https://www.bilibili.com/video/B ... 67cdaee39e5c5b09aef

4. 然后下载模型，推荐使用刚发布的 qwen27binstructq5_k_m.gguf。无论工作学习还是开车我觉得都很不错。

软件内就可以搜模型下载，如果下载不了，要去https://huggingface.co/Qwen/Qwen27BInstructGGUF/tree/main这里下

然后用软件开聊。具体看图。

就是在system prompt里面写故事背景，AI就会结合故事开始互动。我不是技术大佬，我只是玩家，不喜勿喷。

#613 更新

许多老哥说加载之后有乱码。这种情况需要设置一下右边有一个preset 选择llama3 v2 . Model Initialization 里面Flash attention, 打勾， 然后重新加载就行了。 如果发现模型不愿意跟你se se，你点一下下面的regenerate，多刷两次就好了。