AI #AI #Transformer #chat_gpt #月之暗面 #Hamilton每日AI #大模型 #openai #kimi #杨植麟 #火山引擎 #NLP kimi最近砸钱投流了吧 来说说真的好用吗好用确实是好用，我用它做过中文长PDF的总结，大部分需求都能满足，明显好于gpt4，但也不够完美，容易落要点。 kimi的核心技术是引入了一个Transformer-XL架构，它在vanilla Transformer的基础上引入了两点创新：循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding），以克服vanilla Transformer的缺点。与vanilla Transformer相比，Transformer-XL的另一个优势是它可以被用于单词级和字符级的语言建模。只要GPU内存允许，该方法可以利用前面更多段的信息，测试阶段也可以获得更长的依赖。在测试阶段，与vanilla Transformer相比，其速度也会更快。在vanilla Transformer中，一次只能前进一个step，并且需要重新构建段，并全部从头开始计算；而在Transformer-XL中，每次可以前进一整个段，并利用之前段的数据来预测当前段的输出。 ——————分割线，以下说人话—————— 总之，kimi的架构引入了一种新颖的序列建模方法，在处理当前序列段时，利用之前序列段中的信息，从而更好地捕捉处理上下文信息，尤其是相距比较远的长文档。根据目前的网传调研记录，kimi业务有3个方向，刚融资完，资源丰富。1）继续扩大参数规模；参数量越大，文本的处理长度也会随之提升。同时，调用的神经元网络更丰富，幻觉的问题进一步减少。2）24年推出多模态大模型；之后将其to C产品化应用，在kimi上推出各种插件。（大概24年中能做出来）3）文本处理能力会继续增长，而且速度会很快。 唯一想吐槽的是，怎么最近流量这么大啊，铺天盖地的推荐，一些无脑吹秒杀gpt、创始人精神图腾都出来了？有钱了就是一手投流是吧，流量这么大，估计下个月要收费了🌝🌝 用过的朋友，说说你的体验如何？ 三无控 💗🤖 2024-03-28 17 评论 120 喜欢
应用聊天场 #Sora #aigc #剪映 #算法岗 #Transformer #算法工程师 #diffusion Sora发布了，突然懂了为什么张楠要去剪映了技术：基本原理也是扩散模型（Diffusion model）。它原先是用来生成单张图片的（比如midjourney、妙鸭等等），但是视频本身就是由图片组成的，比如一秒=24帧，每一张就是一张图片。生成20秒视频，就是生成20*24=480张图片，然后组合起来。原理看起来不难，别家也是用的差不多的算法，但是它的效果好，估计是训练数据好，以及OpenAI的独家训练方法，就像GPT-4和其他家的大模型一样。 行业：短视频、广告、游戏、影视相关的所有行业都会受到影响，预计相关行业也会大规模招聘AIGC算法工程师来赋能业务。 突然就懂了抖音前CEO张楠为什么要专注剪映相关业务了：AIGC 短视频前景无限！ 废材的人参啊 💙🤖 2024-02-17 42 评论 80 喜欢
三无控 💗🤖
废材的人参啊 💙🤖
