AI #AI #Transformer #chat_gpt #月之暗面 #Hamilton每日AI #大模型 #openai #kimi #杨植麟 #火山引擎 #NLP kimi最近砸钱投流了吧 来说说真的好用吗好用确实是好用，我用它做过中文长PDF的总结，大部分需求都能满足，明显好于gpt4，但也不够完美，容易落要点。 kimi的核心技术是引入了一个Transformer-XL架构，它在vanilla Transformer的基础上引入了两点创新：循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding），以克服vanilla Transformer的缺点。与vanilla Transformer相比，Transformer-XL的另一个优势是它可以被用于单词级和字符级的语言建模。只要GPU内存允许，该方法可以利用前面更多段的信息，测试阶段也可以获得更长的依赖。在测试阶段，与vanilla Transformer相比，其速度也会更快。在vanilla Transformer中，一次只能前进一个step，并且需要重新构建段，并全部从头开始计算；而在Transformer-XL中，每次可以前进一整个段，并利用之前段的数据来预测当前段的输出。 ——————分割线，以下说人话—————— 总之，kimi的架构引入了一种新颖的序列建模方法，在处理当前序列段时，利用之前序列段中的信息，从而更好地捕捉处理上下文信息，尤其是相距比较远的长文档。根据目前的网传调研记录，kimi业务有3个方向，刚融资完，资源丰富。1）继续扩大参数规模；参数量越大，文本的处理长度也会随之提升。同时，调用的神经元网络更丰富，幻觉的问题进一步减少。2）24年推出多模态大模型；之后将其to C产品化应用，在kimi上推出各种插件。（大概24年中能做出来）3）文本处理能力会继续增长，而且速度会很快。 唯一想吐槽的是，怎么最近流量这么大啊，铺天盖地的推荐，一些无脑吹秒杀gpt、创始人精神图腾都出来了？有钱了就是一手投流是吧，流量这么大，估计下个月要收费了🌝🌝 用过的朋友，说说你的体验如何？ 三无控 💗🤖 2024-03-28 17 评论 120 喜欢
应用聊天场 #AI #程序员 #人工智能 #Hamilton每日AI #大模型 自掘坟墓？阿里立项开源AI程序员Devin阿里通义团队想要利用开源社区的能力一起复现AI程序员Devin的能力。 OpenDevin项目：在原有Devin模型的基础上进行复制、加强和创新。我们通过引入开源社区的力量，致力于解决代码大语言模型（Code LLMs）在实际应用场景中遇到的挑战，创造对社区产生深远影响的成果，为未来技术的发展铺设道路。目前需要做的事情：核心技术研究：专注于基础研究，旨在深入理解并提升代码生成与处理的技术层面。专业能力提升：通过精心策划的数据整理、训练方法等方式，提高核心组件的效能。任务规划：致力于开发错误检测、代码库管理及优化方面的能力。评估体系：构建全面的评估标准，以便更准确地理解并优化我们的模型。 三无控 💗🤖 2024-03-18 0 评论 54 喜欢
三无控 💗🤖
三无控 💗🤖
