量化那些事之FP8与LLM-FP4刀刀宁:紧接着过年前的计划,现在开始嗑一下量化方法。还是老方法,几篇相关的文章一起看: 2208.09225:FP8 Quantization: The Power of the Exponent 、2209.05433:FP8 Formats for Deep Learning 和 2310.16836:LLM-FP4: 4-Bit Floating-Point Quantized Transformers 。以及一个番外篇:Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models 。一共四篇。 其中,第一篇FP8是高通的文章,22…
文章61 赞同4 评论
多模态大模型知识点王康康:近期在多模态大模型训练上学习了不少内容,但缺乏一些实践,这里随手记录一些学习内容。 数据清洗常见的多模态大模型以文本和图片为主。数据来源包括网络,电子图书馆,GPT4大模型生成,各种垂类专业知识等。常见的使用场景包括文档理解,图表理解,科学图例,文字阅读,多学科问题,数学推理,中文问答等。由于大多数多模态大模型的训练分为两个阶段,所以数据也分为两类:一类是图片和文本粗略对齐的数据,用于预训练;二类是…
文章6 赞同2 评论