255 甲光向日金鳞开(6k)
无论如何,易科的Q3财报在这个月十五号都要出炉了。 尽管心里已经有预期,但亲自走入暴风雨中的陆奇还是心神不宁,也免不了在心中自嘲,看客与当事人的感受终究不同,这份压力还是受着了。 11月2日,上午11点,陆奇开完会接到了秘书的通知,方总中午请客。 等他抵达小食堂,听到正在放着的音乐是《All You Need Is Love》便不禁微微一笑,那篇由谷歌发布《Attention Is All You Need》的名字就是来自披头士的这首歌。 陆奇与埃尔德、吴恩达打了招呼,没聊几句就转入了深度学习DL的话题,也就立即打起精神,讲述自己更多的想法。 这两位在易科都不简单,一位总领研发范畴的事务,一位是深度学习的主要负责人,虽说自己算是空降组建深度学习事业部,但资源的分配和使用也需要相互的沟通。 陆奇能在微软做到高位,自然不会轻视人事工作。 “谷歌那边把自注意力机制的模型在论文里命名为Transformer,我问了问,他们内部是在开发新的NLP模型了。”吴恩达谈到上次业界探讨后的变化。 吴恩达之前是斯坦福的副教授和人工智能实验室主任,而在加入易科前就在谷歌负责相关工作,与那边的研究交流没有中断,上次的激辩同样给他带来不少灵感。 陆奇点点头,也说着自己掌握的消息:“业界对于Transformer的表现很认可,像去年成立的OpenAI,他们现在也在着手研发一款以Transformer为核心的大模型,干脆直接以它命名,叫GPT,Generative Pre-trained Transformer。” OpenAI是一家去年成立的公司,有不少领域内知名的人物参与。 方卓这时候简单总结道:“难道谷歌的这个Transformer真就能超过RNN和CNN了?我们在这两方面已经投入很多了。” RNN是循环神经网络,CNN是卷积神经网络,易科的Siri是基于前者,太白则是基于后者。 同样,业界在人工智能领域的研究也主要是这两个方向以及它们的变体,RNN能处理序列数据中的时间依赖性而广泛应用于自然语言处理任务,CNN则因为它在图像识别和处理中的出色表现,成为计算机视觉领域的基石。 像易科的机器人Guard就使用了CNN在视觉方面的成果。 但现在,诞生于一场激辩中的第三个方向竟然隐隐有取代RNN和CNN的趋势,这无疑会削弱易科在相关领域研究的优势。 陆奇听到方总这样说,保持沉默,埃尔德也不出声。 反倒是吴恩达笑了起来:“方总,在科学研究上,方向错了,越努力就距离成功越远,这一点从我最开始做科研就已经被事实教育过,RNN在处理长序列时遇到了梯度消失和爆炸的问题,这一点的突破一直很艰难。” “现在,Transformer模型有希望解决这个问题,并且已经表明它的并行处理能力和更高效的训练特性,这就应该按照对的来。” “我们投入的资源和精力并不能左右科学的正确答案。” “答案就在那,我们只是用各种各样的方式发现角落里的它。” “况且,RNN与CNN仍旧会在特定的场景下发挥作用。” 吴恩达不管是不是方总在试探自己的想法,先表明在科研上的立场。 方卓微微点头,沉吟道:“其实,不瞒你们,陆总的到来给我很多新的思考,你们今天说的这个Transformer,谷歌在做,OpenAI在做,好像大家一下子又认为这个方向可以创造很多新可能,既然真有希望,那我们在战略上的定位是不是还需要修改。” 他说着自己这两天在想的事情:“陆总还说了英伟达要卖铲子的事,我现在回想,黄仁勋当时确实在现场很高兴,和我聊过自注意力机制对GPU的促进,如果还要提高重视程度,那我们实际上在整个产业链上是能用出更多力气的。” “这马上冰芯要收购中芯了,实际上,冰芯也已经在主导长电在封测领域的方向,如果英伟达可以卖铲子,我们为什么不可以卖?” 方卓说着自己考虑修正的方向。 陆奇刚要点头,忽然反应过来,吃惊的说道:“冰芯要收购中芯了?” 方卓点点头,确认自己说了这话。 陆奇陷入思考,按方总所说,冰芯不仅要收购中芯,还已经在国内封测领域有主导权,这样再加上易科,俨然便是设计、制造、封测一条龙。 如果在未来两年之内能解决光刻胶的问题,构建更大范围内的软硬件生态,这必然能带来足够的后劲。 他油然一叹,严肃的说道:“方总,当务之急就是要恢复冰芯在先进制程上的制造能力啊。” 方卓“嗯”了一声,想说点什么又放弃了。 算了,都到这时候了,反正也快献礼了。 反正,意思就是这个意思。