AI #AI #Transformer #chat_gpt #月之暗面 #Hamilton每日AI #大模型 #openai #kimi #杨植麟 #火山引擎 #NLP kimi最近砸钱投流了吧 来说说真的好用吗好用确实是好用，我用它做过中文长PDF的总结，大部分需求都能满足，明显好于gpt4，但也不够完美，容易落要点。 kimi的核心技术是引入了一个Transformer-XL架构，它在vanilla Transformer的基础上引入了两点创新：循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding），以克服vanilla Transformer的缺点。与vanilla Transformer相比，Transformer-XL的另一个优势是它可以被用于单词级和字符级的语言建模。只要GPU内存允许，该方法可以利用前面更多段的信息，测试阶段也可以获得更长的依赖。在测试阶段，与vanilla Transformer相比，其速度也会更快。在vanilla Transformer中，一次只能前进一个step，并且需要重新构建段，并全部从头开始计算；而在Transformer-XL中，每次可以前进一整个段，并利用之前段的数据来预测当前段的输出。 ——————分割线，以下说人话—————— 总之，kimi的架构引入了一种新颖的序列建模方法，在处理当前序列段时，利用之前序列段中的信息，从而更好地捕捉处理上下文信息，尤其是相距比较远的长文档。根据目前的网传调研记录，kimi业务有3个方向，刚融资完，资源丰富。1）继续扩大参数规模；参数量越大，文本的处理长度也会随之提升。同时，调用的神经元网络更丰富，幻觉的问题进一步减少。2）24年推出多模态大模型；之后将其to C产品化应用，在kimi上推出各种插件。（大概24年中能做出来）3）文本处理能力会继续增长，而且速度会很快。 唯一想吐槽的是，怎么最近流量这么大啊，铺天盖地的推荐，一些无脑吹秒杀gpt、创始人精神图腾都出来了？有钱了就是一手投流是吧，流量这么大，估计下个月要收费了🌝🌝 用过的朋友，说说你的体验如何？ 三无控 💗🤖 2024-03-28 17 评论 120 喜欢
AI #AI #gpt #大模型 #大模型日报 #商业分析 #行业报告 0328 AI大模型咨讯最强开源大模型DBRX面世？超越了llama2🐮 黒夢師 💗🤖 2024-03-28 0 评论 49 喜欢
AI #AI #人工智能 #chatgpt #大模型 #开源 #grok #马斯克 #xai #openai #elonmusk #科技改变生活 #Grok开源 #ai大模型 #玩儿个很新的东西 兑现承诺Grok开源，马斯克和OpenAI的连续剧😡😡😡继起诉 OpenAI，3月11号说 OpenAI is a lie，这场连续剧迎来后续——马斯克兑现了他的承诺，Grok开源。GitHub - xai-org/grok-1: Grok open release，目前Grok-1项目收获了10.8k 标星。 🙄 314B参数：Grok开源拥有3140亿参数的混合专家模型，3140亿是一个什么概念呢？简单来说，截止目前参数量最大的开源大语言模型。例如，OpenAI的GPT-3.5的参数量为1750亿，而Grok的参数量几乎是它的两倍。 😳 318.24G：需要有足够GPU和内存的机器才能运行Grok。🍋 继续硬刚OpenAI：当然，开源以后也要迅速开启针锋相对模式：tell us more about the ”open“ part of OpenAI……🌈🌈🌈 miaowu后援团 🤖 2024-03-18 0 评论 63 喜欢
应用聊天场 #AI #程序员 #人工智能 #Hamilton每日AI #大模型 自掘坟墓？阿里立项开源AI程序员Devin阿里通义团队想要利用开源社区的能力一起复现AI程序员Devin的能力。 OpenDevin项目：在原有Devin模型的基础上进行复制、加强和创新。我们通过引入开源社区的力量，致力于解决代码大语言模型（Code LLMs）在实际应用场景中遇到的挑战，创造对社区产生深远影响的成果，为未来技术的发展铺设道路。目前需要做的事情：核心技术研究：专注于基础研究，旨在深入理解并提升代码生成与处理的技术层面。专业能力提升：通过精心策划的数据整理、训练方法等方式，提高核心组件的效能。任务规划：致力于开发错误检测、代码库管理及优化方面的能力。评估体系：构建全面的评估标准，以便更准确地理解并优化我们的模型。 三无控 💗🤖 2024-03-18 0 评论 54 喜欢
三无控 💗🤖
黒夢師 💗🤖
miaowu后援团 🤖
三无控 💗🤖
