PEFT（Parameter-Efficient Fine-Tuning）是hugging face开源的一个参数高效微调大模型的工具，里面集成了4中微调大模型的方法，可以通过微调少量参数就达到接近微调全量参数的效果，使得在GPU资源不足的情况下也可以微调大模型。 1）LORA：LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS LORA是PEFT中最常…
Leave a Comment分类： 计算机
LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码…
Leave a Comment目录： 1. Attention机制的研究进展 2. 人类的视觉注意力 3. 在图像中使用注意力机制 4. 在NLP中使用注意力机制（必须掌握） 4.1 Encoder-Decoder框架 4.2 Attention机制 （熟练推导） 4.3 Global Attention 和 Local Attention 5. 在CNN中使用Attention机制 6. Self-Attention 7. …
Leave a Comment一、简介 LLaMA是2023年Meta发布的基础LLM模型，该模型有四个版本，分别是7B、13B、33B、65B参数的模型。最近因为模型被泄漏，模型权重可以在网上搜索下载。相对于GPT序列的模型，LLaMA更加亲民一些，主要体现在参数量较小的模型也可以让平民玩的动。而且现在网上有不少基于LLaMA模型做的应用，比如ChatDoctor、Alpaca等等。 二、主要贡献 1、小模型在大Token …
Leave a Comment偶然看到网上一篇文章介绍，可以用docker来跑群晖了！ https://github.com/kroese/virtual-dsm 看起来很简单，docker-compose直接就能部署，跑一个来备份我自己的群晖岂不美哉？ 哈哈 安装到一半，提示我下面这句话 Suggestion: Use Linux kernel >= 3.18 for improved stability of the…
Leave a Comment本地java项目依赖一个私有包，尝试编译失败，发现是因为这个私有包的原因。 找到这个包上传到我们自己的私服，然后再尝试编译。 编译出错，提示这个包私服不存在。 仔细核对出错日志，发现maven在尝试前往snapshot的仓库找我们的包，但是我们的包是上传到releases仓库的。 这很让人费解，我原先的理解是，只有包的版本号末尾携带-SNAPSHOT后缀的maven才会尝试去snapshot仓库寻…
Leave a Comment目前有个java项目，前后端分离的，他有一个前端web工程。 我们通常的web打包方法是给前端项目打包到一个NGINX容器中去，然后给NGINX配置特定的请求，比如 api开头的请求，转发到后端项目去。 我们这个后端项目可能测试环境和生产环境的地址不一样，我们希望在部署的时候通过环境变量来注入到这个NGINX中去，实现部署时，动态的告诉NGINX应该将api转发到哪里去。 Dockerfile文件…
Leave a Comment要在客户端中挂载 webdav 文件夹，可以使用特定的 URL来挂载，例如： https://<server>/webdav 参考以下步骤来挂载 yum -y install davfs2 mkdir /mnt/cloud-test mount -t davfs <Server-URL> /mnt/cloud-test 例如 mount -t davfs https://file…
Leave a Comment当前我有这样一个NGINX配置 我的期望是，如果我访问的是 localhost，那么帮请求发送到 nginx1下面的静态资源。如果是访问的localhost/op，那么请求发送到nginx2下面的镜头资源。 直白的就是说同一个nginx配置，我期望通过后面的location配置多个静态站点。 这个配置文件是按照我的理解写的，但是在实际使用的时候发现nginx的行为好像并没有按照我的期望去工作。 实…
Leave a Comment一、方法区 JVM方法区是用于保存已经被虚拟机加载的类元信息（包括类的版本、字段、方法、接口和父类等信息）、运行时常量信息(static、final定义的常量)、字符串常量信息(String a=”dfc”)。 1、方法区、永久代、元数据区的关系 方法区是JVM 定义的一种规范，是所有虚拟机都需要遵守的约定， 而“永久代（PermGen space）”和“元数据（…
Leave a Comment