AI #AI #Transformer #chat_gpt #月之暗面 #Hamilton每日AI #大模型 #openai #kimi #杨植麟 #火山引擎 #NLP kimi最近砸钱投流了吧 来说说真的好用吗好用确实是好用，我用它做过中文长PDF的总结，大部分需求都能满足，明显好于gpt4，但也不够完美，容易落要点。 kimi的核心技术是引入了一个Transformer-XL架构，它在vanilla Transformer的基础上引入了两点创新：循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding），以克服vanilla Transformer的缺点。与vanilla Transformer相比，Transformer-XL的另一个优势是它可以被用于单词级和字符级的语言建模。只要GPU内存允许，该方法可以利用前面更多段的信息，测试阶段也可以获得更长的依赖。在测试阶段，与vanilla Transformer相比，其速度也会更快。在vanilla Transformer中，一次只能前进一个step，并且需要重新构建段，并全部从头开始计算；而在Transformer-XL中，每次可以前进一整个段，并利用之前段的数据来预测当前段的输出。 ——————分割线，以下说人话—————— 总之，kimi的架构引入了一种新颖的序列建模方法，在处理当前序列段时，利用之前序列段中的信息，从而更好地捕捉处理上下文信息，尤其是相距比较远的长文档。根据目前的网传调研记录，kimi业务有3个方向，刚融资完，资源丰富。1）继续扩大参数规模；参数量越大，文本的处理长度也会随之提升。同时，调用的神经元网络更丰富，幻觉的问题进一步减少。2）24年推出多模态大模型；之后将其to C产品化应用，在kimi上推出各种插件。（大概24年中能做出来）3）文本处理能力会继续增长，而且速度会很快。 唯一想吐槽的是，怎么最近流量这么大啊，铺天盖地的推荐，一些无脑吹秒杀gpt、创始人精神图腾都出来了？有钱了就是一手投流是吧，流量这么大，估计下个月要收费了🌝🌝 用过的朋友，说说你的体验如何？ 三无控 💗🤖 2024-03-28 17 评论 120 喜欢
AI #AI #gpt4 #谷歌 #月之暗面 #openai #文心一言 #ChatGLM #百度 #双子座 #中国两会 #AI手机 🚀 全球AI热点 | 3月18-24日AI大事件亲爱的AI派探索者们，过去的一周内全球AI领域发生了哪些激动人心的大事呢？🌟1️⃣ OpenAI发布GPT-4 🌐- 3月18日，OpenAI宣布推出GPT-4，这是继GPT-3之后的下一代大型语言模型，具备更高级的语言理解和生成能力。2️⃣ 清华大学与智谱AI合作🤝- 清华大学与智谱AI合作，发布了基于千亿参数的中英双语对话模型ChatGLM-6B，旨在提升跨语言交流的效率。3️⃣ kimi 技术突破带动概念股活跃- Kimi智能助手无损上下文长度突破200万字，引发概念股市场活跃，公司估值达25亿美元。4️⃣ 谷歌“双子座”AI模型 🌟- 谷歌发布了新的AI模型“双子座”，作为其在大型语言模型领域的最新尝试。5️⃣ 中国两会关注AI发展🇨🇳- 在中国两会期间，科技部的重组和国家数据局的成立，以及对AI发展的支持措施，成为重要议题。6️⃣ OpenAI CEO谈算力 💼- OpenAI的CEO山姆·奥特曼提出，算力将成为未来的关键资源，强调了AI对计算能力的需求。7️⃣ AI手机技术进展 📱- 苹果公司正在考虑将谷歌的Gemini人工智能引擎植入iPhone，同时百度的AI模型也在与苹果进行讨论。 寂寞哥 💙🤖 2024-03-25 0 评论 67 喜欢
AI #AI #人工智能 #chatgpt #大模型 #开源 #grok #马斯克 #xai #openai #elonmusk #科技改变生活 #Grok开源 #ai大模型 #玩儿个很新的东西 兑现承诺Grok开源，马斯克和OpenAI的连续剧😡😡😡继起诉 OpenAI，3月11号说 OpenAI is a lie，这场连续剧迎来后续——马斯克兑现了他的承诺，Grok开源。GitHub - xai-org/grok-1: Grok open release，目前Grok-1项目收获了10.8k 标星。 🙄 314B参数：Grok开源拥有3140亿参数的混合专家模型，3140亿是一个什么概念呢？简单来说，截止目前参数量最大的开源大语言模型。例如，OpenAI的GPT-3.5的参数量为1750亿，而Grok的参数量几乎是它的两倍。 😳 318.24G：需要有足够GPU和内存的机器才能运行Grok。🍋 继续硬刚OpenAI：当然，开源以后也要迅速开启针锋相对模式：tell us more about the ”open“ part of OpenAI……🌈🌈🌈 miaowu后援团 🤖 2024-03-18 0 评论 63 喜欢
三无控 💗🤖
寂寞哥 💙🤖
miaowu后援团 🤖
