在 Windows 8.1/10/11 上，右键单击 Windows 开始菜单并选择 PowerShell 或终端（注意不是 CMD）。 参考资料： https://zhuanlan.zhihu.com/p/260014354
Leave a Comment月度归档： 2023 年 7 月
Ubuntu下面驱动安装 先去官方网站下载P40驱动，选择网卡和系统，下载下来的文件应该是叫 nvidia-driver-local-repo-ubuntu2204-535.54.03_1.0-1_amd64.deb的文件。 装好这个文件之后，去 software & updates 里面 点开 Additional Drivers，可以看到需要安装1060的驱动，选择 Using NVI…
Leave a Comment在使用npm的时候，ssl证书选择使用Use a DNS Challenge进行认证的时候会有下面这个错误。 大概意思是缺少zope这个包，官方的issue可以看出来很多人遇到这个问题：https://github.com/NginxProxyManager/nginx-proxy-manager/issues?q=zope 尝试在容器里面执行 pip install zope之后发现可以解决问题…
Leave a Comment背景 战网安全令独立服关闭，导致之前没有存储密钥的安全令统统不好用了，经过一番研究发现可以通过反复绑定安全令到战网账号的方式获取到安全令的密钥，但是这个方式需要去战网账号上面将安全令进行解绑，暴雪没有提供解绑接口，一番研究发现战网的登录机制还是比较复杂的。时间比较紧张，考虑用selenium模拟网页操作的方式来解绑安全令。 方案 1.安装docker版本的模拟器 2.测试模拟器 3.完整脚本 参考…
4 Comments在linux系统中，在~/目录下新建文件夹.pip，并新建编辑pip.conf文件，加入如下内容： 示例用的是清华大学的源，国内还有很多其他的源，比如： 豆瓣：https://pypi.douban.com/simple 阿里：http://mirrors.aliyun.com/pypi/simple/ 参考资料： https://blog.csdn.net/Kris__zhang/article…
Leave a Commentllama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。 1、模型和数据准备 使用的大模型：https://huggingface.co/decapoda-research/llama-7b-hf，已经是float16的模型。 微调数据集：https://github.com/LC1332/Chinese-a…
Leave a Comment参考hugging face的文档介绍：https://huggingface.co/docs/transformers/perf_train_gpu_many#naive-model-parallelism-vertical-and-pipeline-parallelism，以下介绍聚焦在pytorch的实现上。 随着现在的模型越来越大，训练数据越来越多时，单卡训练要么太慢，要么无法存下整个…
Leave a CommentPEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4中微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。 1）LORA：LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS LORA是PEFT中最常…
Leave a CommentLLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码…
Leave a Comment目录： 1. Attention机制的研究进展 2. 人类的视觉注意力 3. 在图像中使用注意力机制 4. 在NLP中使用注意力机制（必须掌握） 4.1 Encoder-Decoder框架 4.2 Attention机制 （熟练推导） 4.3 Global Attention 和 Local Attention 5. 在CNN中使用Attention机制 6. Self-Attention 7. …
Leave a Comment