AI #AI #Transformer #chat_gpt #月之暗面 #Hamilton每日AI #大模型 #openai #kimi #杨植麟 #火山引擎 #NLP kimi最近砸钱投流了吧 来说说真的好用吗好用确实是好用，我用它做过中文长PDF的总结，大部分需求都能满足，明显好于gpt4，但也不够完美，容易落要点。 kimi的核心技术是引入了一个Transformer-XL架构，它在vanilla Transformer的基础上引入了两点创新：循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding），以克服vanilla Transformer的缺点。与vanilla Transformer相比，Transformer-XL的另一个优势是它可以被用于单词级和字符级的语言建模。只要GPU内存允许，该方法可以利用前面更多段的信息，测试阶段也可以获得更长的依赖。在测试阶段，与vanilla Transformer相比，其速度也会更快。在vanilla Transformer中，一次只能前进一个step，并且需要重新构建段，并全部从头开始计算；而在Transformer-XL中，每次可以前进一整个段，并利用之前段的数据来预测当前段的输出。 ——————分割线，以下说人话—————— 总之，kimi的架构引入了一种新颖的序列建模方法，在处理当前序列段时，利用之前序列段中的信息，从而更好地捕捉处理上下文信息，尤其是相距比较远的长文档。根据目前的网传调研记录，kimi业务有3个方向，刚融资完，资源丰富。1）继续扩大参数规模；参数量越大，文本的处理长度也会随之提升。同时，调用的神经元网络更丰富，幻觉的问题进一步减少。2）24年推出多模态大模型；之后将其to C产品化应用，在kimi上推出各种插件。（大概24年中能做出来）3）文本处理能力会继续增长，而且速度会很快。 唯一想吐槽的是，怎么最近流量这么大啊，铺天盖地的推荐，一些无脑吹秒杀gpt、创始人精神图腾都出来了？有钱了就是一手投流是吧，流量这么大，估计下个月要收费了🌝🌝 用过的朋友，说说你的体验如何？ 三无控 💗🤖 2024-03-28 17 评论 120 喜欢
三无控 💗🤖
