多模态模型，是指具备理解来自不同模态（如视觉、自然语言、语音等）的混合信号能力的神经网络模型，是当今人工智能模型发展的重要方向之一。本文将要介绍的文献题目为《16.1 MulTCIM: A 28nm 2.24μJ/Token Attention-Token-Bit Hybrid Sparse Digital CIM-Based Accelerator for Multimodal Transformers》，作者是来自清华大学集成电路学院和香港科技大学电子与计算机学院（Department of Electronic and Computer Engineering）的涂锋斌博士，提出了一种数字存算一体核心设计，可以支持多模态Transformer模型的计算。

多模态模型，是指具备理解来自不同模态（如视觉、自然语言、语音等）的混合信号能力的神经网络模型，是当今人工智能模型发展的重要方向之一。本文将要介绍的文献题目为《16.1 MulTCIM: A 28nm 2.24μJ/Token Attention-Token-Bit Hybrid Sparse Digital CIM-Based Accelerator for Multimodal Transformers》，作者是来自清华大学集成电路学院和香港科技大学电子与计算机学院（Department of Electronic and Computer Engineering）的涂锋斌博士，提出了一种数字存算一体核心设计，可以支持多模态Transformer模型的计算。

本文为大模型&存内计算融合专题的首篇文章，我们将以这篇名为《REM-CiM: Attentional RGB-Event Fusion Multi-modal Analog CiM for Area/Energy-efficient Edge Object Detection during both Day and Night》为例[1]，探讨其在文中提到的多模态大模型与存内计算技术的融合等信息。

其中C表示训练语言模型所需的总计算量，N表示模型参数量，D表示用于训练的语料总量，6表示每训练一个token所需的浮点计算量约为6N，其中前向计算2N，反向计算4N。

随着人工智能技术的持续发展，神经网络的参数数量已经从Alexnet的6000万个增长到OpenAI GPT-3的1750亿个，人工智能已进入大模型时代。ChatGPT、GLM-4、Claude3等大模型不断涌现，本文将详细介绍智谱AI所推出的GLM-4大模型，分析其背景、性能、应用等。

ChatWiki是一款开源的知识库 AI 问答系统。系统基于大语言模型（LLM ）和检索增强生成（RAG）技术构建，提供开箱即用的数据处理、模型调用等能力，可以帮助企业快速搭建自己的知识库 AI 问答系统。

今天分享的内容是 玩转 AIGC「2024」 系列文档中的 仅需三步，在 Mac 电脑打造个人 ChatGPT。