因为ChatGPT的出现,人类似乎找到了扮演上帝的感觉,给计算机注入了“灵魂”。
过去半个月来,ChatGPT是社交媒体当之无愧的主角。和6年前同样横空出世的AlphaGo不同,这次你我这样大众的感受更为强烈。这也是为什么,作为一款聊天机器人,它用仅仅2个月时间就收获了1亿用户。达到相同的成绩,TikTok用了9个月,更早时的instagram用了30个月。
在产业界,谷歌、百度、阿里等国内外科技巨头争相坐上牌桌,以推出自家版ChatGPT为目标,证明自身在AI领域的深厚积累。
为什么ChatGPT成了绕不开的话题?因为人工智能终于知道如何和人类进行自然交流,给出接近人类表达、认知、需求和价值观的回答,同时展现了成为普通人都能用的先进生产工具,以及未来如“水电煤”一般基础设施的可能性,尽管它依然不完美。
不过,它并不是从“石头缝里蹦出来”的。这是过去20年,以神经网络为主流,推动深度学习发展从量变到质变的结果。其间有无数人类群星和普通人为之闪耀。
了解这些人和事有助于进一步知道ChatGPT是怎么来的,有什么问题,又将带领人类走向何方。
这段有些漫长的旅程从一段刺耳的声音开始。
大力出奇迹?
“ChatGPT缺乏创新,没什么革命性。”这个评价来自一个叫杨立昆的人——在全球几乎一边倒的赞誉声中,颇为格格不入。
杨立昆不是中国人,他的英文名是Yann LeCun,出生在法国。2017年以前,他在中文互联网上有着各种称呼:杨乐昆、杨乐春、严乐村……直到那一年来中国演讲,他官宣了自己的中文名。
中文版telegram下载地址
如果是单纯的键盘侠,这样的评价不值一笑。但杨立昆恰好是全球为数不多能够对ChatGPT“指手画脚”的人物。
2019年,他和Yoshua Bengio、Geoffrey Hinton一起获得了计算机界的最高荣誉“图灵奖”,被称为“深度学习三巨头”。他们深信,计算机可以像人类一样,依靠神经网络进行“思考”无障碍中文版telegram的下载的网址在哪里。没有他们,就没有昨天的AlphaGo和今天的ChatGPT。
从左至右:Yann LeCun、Geoffrey Hinton、Yoshua Bengio
为什么LeCun会发出这样的感慨呢?ChatGPT的内核是大语言模型,从2018年OpenAI发布的第一代进化到了ChatGPT使用的第四代GPT-3.5,据说GPT-4也已经呼之欲出。
一路升级,OpenAI没有对算法模型进行根本改动,更多是微调了训练机制,以及越来越多人力和算力的投入,从“大力出奇迹”到“更大力出更大的奇迹”。
ChatGPT背后的投入远没有它给出的回复来得“举重若轻”。第一代GPT训练涉及的参数量为1.17亿,到了GPT-3这个数字变成了1750亿,扩容了近1500倍。对应的训练数据量,从5GB扩到了45TB,近万倍的增长。
为了训练GPT-3,OpenAI投入可能达到1200万美元,这还不算背后的微软为它斥资5亿美元建立的超算中心。
所以,搜狐创始人张朝阳表示,ChatGPT的成功是量的积累,包括了机器的算力、服务器的数量以及知识库,“因为训练成本投入过高,没能力的公司只会白白浪费资源。”
到了GPT-3.5,也就是ChatGPT,OpenAI引入了人类反馈强化学习(RLHF)机制。他们找了40个博士,对GPT-3.5针对不同问题给出的三个答案进行打分,建立奖惩模型,最终让机器知道怎样的回答更讨大部分人类喜欢——有人觉得ChatGPT有“讨好型人格”,即来源于此。
不过,RLHF是DeepMind(前沿人工智能企业)首创的。拆解ChatGPT背后的底层技术,类似的情况还有很多。比如,采用的Transformer架构最早由谷歌发明,使用的神经网络语言模型是另一个巨头Yoshua Bengio20多年前提出的,他和LeCun很早就提出让机器“自监督学习”的设想……
最新中文的telegram下载的地址在哪呢
因此,在LeCun看来,就底层技术而言,ChatGPT并没有什么特别的创新,也不是什么革命性的东西,“与其说ChatGPT是一个科学突破,不如说它是一个像样的工程实例。”
然而,对绝大多数人而言,这道不断站在巨人肩膀上,穿行了80年的微光已经足够耀眼。
至暗时刻里的三个臭皮匠
如今深度学习仰仗的神经网络,最早被提出是在1943年,距今刚好80年。其间,包括冯·诺依曼在内的天才都做过探索,但收效甚微。上世纪80年代,整个科学界已是“符号主义”的天下,“神经网络”的研究已经停滞了近20年,整个人工智能的发展也陷入了寒冬。
符号主义认为,用符号运算和逻辑推理就能让计算机拥有人的智慧。神经网络的支持者则坚信,要参照人类大脑的神经网络让计算机智能起来。
那会儿神经网络的支持者,就像是挡在六大门派前的张无忌。其中的代表人物,就是“深度学习三巨头”。
Geoffrey Hinton,1947年出生,现任谷歌副总裁兼工程研究员。他出生在一个英国学术“豪门”, 父亲是昆虫学家,母亲是教师,叔叔发明了“国民生产总值”(GNP)概念,高祖父发明的布尔代数奠定了现代计算机科学的基础。
然而,直到获得“telegram官方的最新版下载网站图灵奖”,Hinton也从未正式上过计算机课程。他学过生理学、物理学、哲学、心理学,却不怎么懂数学、神经科学和计算科学,研究过程中不断要向带的学生来请教。就是这么一个“门外汉”,凭借BP算法、玻尔兹曼机和改进卷积神经网络,不仅自己敲开了计算机最高殿堂的大门,还带着深度学习冲破了黑暗。
“反向传播算法”(BP算法)曾在20世纪80年代末为神经网络的研究注入了一针强心剂。在这一算法的支持下,计算机有了根据给出的参考答案进行“自我纠正”的能力。只是由于算法不完善和计算机算力不足,没能进一步发展。
Yoshua Bengio出生在1964年,和Yann LeCun一样是法国人,现在是加拿大蒙特利尔大学教授。他出生在一个嬉皮士家庭,童年是个典型的书呆子,最好的朋友是兄弟Samy(谷歌大脑联合创始人),以及两人通过卖报赚钱买来的计算机。
区别于另外两个巨头,Bengio绝大部分精力放在学术研究上,和产业保持了一定的距离,相关论文被引用超17万次。
他凭借序列的概率模型、高维词汇嵌入和注意机制以及生成对抗网络(GAN)获得了“图灵奖”。GAN是2014年,Bengio与Ian Goodfellow一同推出的,让计算机学会了“左右互搏”,捅破了机器成长的天花板,为“强化学习”奠定了基础。
两人还和Aaron Courville等人合著了《Deep Learning》(《深度学习》)一书,成了人手一本的“AI圣经”。
然后就是一直以心直口快著称的Yann LeCun,1960年出生,现任Meta首席I科学家。他对于人工智能的兴趣,是在9岁观看《2001太空漫游》时种下的。现实世界里,他也是第一批让机器“睁眼看世界”的人,只不过看的是支票上的手写字。
这得益于1989年他构建的机器视觉卷积神经网络LeNet。过去10年,卷积神经网络(CNN)已经成为深度学习的基础技术。除了CNN,他比Hinton更早尝试构建BP算法,还拓展了神经网络的视野。
无论是在学术上还是心理上,Hinton都是Bengio和LeCun的领路人。1987年,LeCun短暂加入过Hinton的实验室。而Bengio从本科开始,就站在了Hinton的肩膀上,一路成长为巨人。
Bengio 说Hinton 有“穿透黑暗看清事物”的能力。他在潜心研究神经网络时长期受腰椎疾病困扰,两任妻子先后罹患癌症,但他始终坚信,错的是其他人。如今,Hinton 被誉为“深度学习之父”。
因此不难理解,在以LeCun为代表的科学家眼里,真正的创新对应的是BP算法、GAN、CNN等等,它们才构成了如今深度学习的基石。
极富个性的AI女神
到了2000年初期,研究神经网络的“傻子”更不受待见了:学术机构不允许他们发表论文,计算机视觉圈子将他们拒之门外。大量专家学者都觉得,这是一条行不通的道路。
2003年,LeCun从产业界回归,成为纽约大学的教授。他和Hinton、Bengio结成非正式的联盟,共同合作研究神经网络。2006,Hinton和学生终于完善了BP算法,此时距离它被提出已经过去了整整20年。
不过,真正让这套算法声名鹊起的,是6年以后的一场大赛,它和日后被称为“AI女神”的李飞飞有关。
1992年,李飞飞随父母从北京到新泽西,落地后不久,妈妈找了份收银的工作,爸爸给人修相机。用她的话来说,“过往的一切被连根拔起”。
肤色不同外加语言不通,很长一段时间李飞飞是被排挤的对象,好在她拥有惊人的毅力:每天只睡4小时恶补英语,17岁时每天花10多个小时在餐厅里当清洁工赚钱,用两年多的时间完成了美国高考课程。
其间,她的数学天赋引起了老师的注意,在午休时抽空教她超纲的微积分。1995年,李飞飞以数学满分,总分1250分的高分吸引了无数名校的橄榄枝,最终她选择了普林斯顿大学。
和Hinton一样,李飞飞是个“不安分”的学生。本科学物理,因为对生物感兴趣还去研究了一年藏药,研究生学的是电子工程,博士研究的是当时还是冷门的机器视觉,足迹遍布普林斯顿、加州理工、斯坦福等高等学府。
丰富的经历也让她最终成为美国三院院士(美国国家工程院院士、美国国家医学院院士以及美国艺术与科学院院士)。
早年间李飞飞的论文署名是Feifei Li,将姓放在后面,但很快这个署名变成了Li Feifei,但凡引用她论文的人都习惯性地用了Feifei——这个世界有太多人姓Li了,可在人工智能领域,Feifei只此一位。
神经网络杀了回来
2009年,年仅33岁的李飞飞在斯坦福萌生了一个疯狂的想法,建立一个庞大的数据库用来教会计算机识别各种动物和物体。在此之前,计算机图片识别还仅限于汽车、飞机、豹子和人脸。
这个想法需要耗费大量的人和时间用于基础的标注工作,无论是产业还是学界都不愿意给资金支持,逼得李飞飞一度想重开爸妈当年的洗衣店——那会儿,她一度开出10美元一小时的价格,让名校学生参与标注。尽管这样,按照进度,完成项目至少要19年时间。
一次偶然的机会,她了解到了亚马逊的全球众筹项目AMT,以较低成本让全球有空余时间的网友帮忙完成这个不可能的任务。
到了2009年,她携手这个名为ImageNet的项目发布论文时,已经动用了167个国家的5万人,他们在两年半的时间里前赴后继,最终建立了一个涉及5247个类别,320万张图片的庞大数据库,其中图片数据是当时最大数据库的100倍。
等到2011年它停止扩建时,数据更新到了21841个类别,近1420万张图片。
2010年,ImageNet开始举办大规模视觉识别挑战赛,利用自己海量的数据库检测各种人工智能机器视觉识别的能力。比如,给出一只东北虎的照片,允许机器给出5个判断,只要里面有“东北虎”就算正确,一个都没对算错。
第一年,冠军的识别错误率是28.2%,第二年错误率仅仅降低了2.4%。但在2012年,一个叫AlexNet的模型将错误率一下子降低到了16.4%。
这个模型就是Hinton和他的学生Alex Krizhevsky、Ilya Sutskever设计完成的。他们率先在机器视觉领域使用了卷积神经网络,在人工智能的夜空上砸下了一枚重量级的烟花。
砰的一声、火花四溅、光芒万丈。
自此,神经网络就像LeCun曾预言的那样:杀了回来!
一场拍卖开启的军备竞赛
Hinton他们将AlexNet的实践整理成论文发表。没过多久,他们收到了一封来自中国的邮件。发件方是余凯,来自百度。他和Hinton相识于一个学术研讨会,同样深信神经网络将改变人工智能发展的余凯告诉百度的高管们,不惜一切代价签下Hinton。
来自东方的橄榄枝确实诚意十足。百度第一时间就给出了1200万美金的offer。与此同时,其他公司也表达了强烈的兴趣。这时,Hinton做了一个大胆的尝试,以他们三个人成立了一家公司,邀请兴趣方来竞标。
从左至右:Ilya Sutskever、Alex Krizhevsky、Geoffrey Hinton
2012年12月,人工智能领域顶级会议NeurIPS在美国太浩湖畔召开。和Hinton他们一同前往的,还有自己开飞机的谷歌高级副总裁Alan Eustace,百度也派出了余凯等人到场,其他潜在买家还包括微软和新锐公司DeepMind。
拍卖通过邮件进行,Hinton亲自在房间里坐镇。为了方便他站立打字,两个学生把垃圾桶倒扣在床尾的书桌上,在上面架上笔记本。拍卖的规则也很简单,每家公司每轮加价至少100万美元,1小时之后如果没人出价就结束。
最先出局的是成立才两年的DeepMind,他们给出的回报是股票而非现金。等到报价上升到2200万美金时,微软选择彻底退出。到了2400万美金,百度总部的高管开始亲自接管。
随着拍卖的继续,Hinton发现百度总是愿意不断加价,即便把报价时间缩短到半小时内,这家中国公司也没有表现出要放弃的意思。当报价来到4400万美元的时候,Hinton喊了暂停。第二天,他通过邮件宣布拍卖结束,决定牵手谷歌。
这是谷歌和百度两个昔日对手在另类战场完成的一场角逐。决定结果的因素有很多,包括Hinton腰椎和背部有伤,不适合长途出行。10年过去了,两家公司都选择在人工智能赛道上一路狂奔,几乎在每个领域都有交集。
这场拍卖的两个“炮灰”,微软和DeepMind也没掉队。一年以后,DeepMind投入了谷歌怀抱,和Hinton站在了同一战壕,并且在2016年推出了轰动世界的AlphaGo。
至于微软,在2019年投资了一家名为OpenAI的公司,他们在去年11月30日推出了名为ChatGPT的聊天机器人,是现在最耀眼的明星。
但回过头去看,包括Hinton本人在内,多数人都低估了这场拍卖的意义——敏锐的科技巨头开始躬身入局,彻底打响了AI领域的军备竞赛。此后10年,深度学习将如同脱缰的野马,不断挑战人类对于人工智能想象力的极限。
认识一只猫
2012年,百度错失了“深度学习之父”Hinton,但一年多后,他们在一个叫吴恩达的华裔科学家身上扳回了一城。这位出生在伦敦,童年经常往来于香港和新加坡的年轻人,几乎踏足了美国所有顶尖的计算机学府。
本科在卡内基梅隆大学就读,硕士换成了麻省理工,博士是在加州伯克利获得的,后来加入斯坦福大学,担任人工智能实验室主任。
他在2010年前后和同事开启的一个小项目,无意之间解决了深度学习的算力问题。
2010年他加入“谷歌大脑”项目,其间和同事做了一件趣事。让“神经网络”观看从Youtube上随机选择的1000万段视频。一周之后,意想不到的事情发生了,机器居然自己认识了猫。在此之前,没人教过它猫是什么。
这是计算机在没有事先接到指令,在“无监督”的状态下知道了人类的常识。
关于这点,LeCun曾经打过一个比方,如果将人工智能视为一块蛋糕,无监督学习才是蛋糕本体,有监督学习只是蛋糕上的一枚樱桃。
不过,仅仅为了让机器认识这只猫,当时谷歌动用了16000个CPU处理器,花费了近百万美元。
这是紧跟好消息的坏消息。如果不解决算力问题,神经网络推动深度学习就是天方夜谭。这是吴恩达的前同事,现任英伟达首席科学家的达利建议他们可以用GPU(图形处理器)代替CPU。因为CPU更擅长一件一件做事情,做的事高大上但效率低,而GPU可以同时做很多事,事情本身难度不大,但胜在效率极高。
所以,对于深度学习里简单且重复的运算场景,GPU更适合。有多适合呢?后来吴恩达只用了12个GPU就完成了同等级的测试。
在2012年ImageNet挑战赛上,AlexNet运行时就使用了GPU进行运算加速。也就是说,那是神经网络在同时解决算法和算力问题之后给予人类的“惊鸿一瞥”。
2014年,吴恩达加入百度,开始打造“百度大脑”。后来通过一档《最强大脑》的综艺节目,成了家喻户晓的AI科学家。
算力即权力
GPU受到重视也彻底改变了英伟达的命运。这家近些年因为中美贸易摩擦,频频被推到风口浪尖的公司,主宰了全球的AI芯片市场,旗下最先进的A100、H100显卡几乎是每个顶尖AI研发机构的标配。
英伟达是美籍华人黄仁勋于1993年创办的显卡芯片公司。这个祖籍浙江青田,出生在台北的“中二”少年16岁就立下宏愿:成为全球的图形皇帝——尽管那会他取得的最好成绩是全美乒乓双打第三。
1999年,英伟达推出了全球第一块图形处理器,让GPU成为计算机中独立于CPU的另一个重要计算单元。第二年,黄仁勋大胆地提出了一个“黄氏定律”:英伟达的GPU每6个月升级一次,性能翻一番。对标的就是英特尔创始人摩尔的“摩尔定律”。
后来GPU更多运用于人工智能领域,“黄氏定律”也演化成“GPU将推动AI性能实现逐年翻倍”。
不过,这个坚信“算力即权力”的性能狂魔高估了主机的承载能力。无论是在PC时代还是手机时代,英伟达曾发布过多款具有爆炸性能的显卡,但因为工作温度过高,经常带着主机共赴黄泉。
尤其是一款名为GTX690的显卡,测试时让电容直接爆炸,被怒不可遏的网友称为“战术核显卡”,加入百科词条里。后来国内一家电视台信以为真,将它写到了军事节目里,声称搭载它的导弹可以摧毁一个航母战斗群。
节目播出后,黄仁勋得到了一个“两弹元勋”的称号。
在吴恩达的测试曝光后,黄仁勋算是找到了集中释放算力的地方。英伟达开始斥重资投入深度学习,研发用于AI计算的GPU和运算平台CUDA,挥动着倚天剑和屠龙刀大杀四方。目前,英伟达芯片占据了AI训练市场近100%的份额,全球TOP500的超级计算机中,其中的342台有英伟达的身影。
2019年前后,微软斥资5亿美元打造了一个超算中心,里面躺着10000张英伟达GPU。他们帮助微软投资的新锐人工智能公司OpenAI,在2020年孕育出了一个叫GPT-3的人工智能。
当它进化到GPT-3.5,ChatGPT诞生了。
搜索+ChatGPT=?
为了支持OpenAI发展,微软已经投入了130亿美元。从GPT-3开始,OpenAI不再对模型进行开源,被微软一家独占,极客们嘲笑它成为了CloseAI。这也引发了OpenAI部分创始成员出走。
对于ChatGPT,微软已经有了明确的规划。微软CEO纳德拉称:“这项技术将重塑几乎所有软件类别。”他们最新进展,是将ChatGPT集成到旗下搜索Bing(必应)里。
从国内外少数人的使用反馈来看,此举确实带来了颠覆性的体验。搜索不再是从一大堆结果里找寻想要的一个,更多时候变成了“所见即所得”。它甚至可以作为分析工具存在,比如有人让升级后的Bing计算阿里巴巴的现金流折现,机器也能迅速告知,并且能提供具体算法。它还可以帮忙总结刚浏览过一篇长文的要点。
与其说它是搜索,不如说它为每个人提供了一个强大的辅助大脑。但随之而来的问题是,唾手可得的答案一方面实际上“剥夺”了人类分析和思考的能力,通常说的“脑子越用越灵”,对象变成了AI而不是人类。
另一方面ChatGPT给出的答案依然带有讨好人类的滤镜,未来人类看到的信息会不会只是人类想看到的?单就搜索过程而言,直接拿到一个答案也意味着主动放弃了接收其他信息的可能,会不会就此形成新的信息茧房?
每一次AI带来质的飞跃,问题总比想象来得快和多。在教育领域,纽约一些高校已经下令禁止学生使用,并且开始调整作业的形式,比如降低论文的比重,以规避学生用ChatGPT来作弊。
我们打开了潘多拉盒子?
这两天,各行各业的从业者都在想方设法“调戏”ChatGPT,除了好玩和有关注度,也暗暗透着对未来被它取而代之的焦虑。尽管ChatGPT很客气地表示这一幕不会发生,但它越客气,人类就越不踏实。
一个不可回避的事实是,不同于以往变革,新的技术手段往往掌握在少数人手里,冲击的也是少数人,ChatGPT在升级或者普及成为人人可以调取的基础设施之后,必然会带来巨大冲击。
ChatGPT的确证明了在大模型中加入人类反馈的强化学习是有效的,但很难说它能带领AI到哪个高度——毕竟,现在的ChatGPT还有明显复制粘贴人类的痕迹——它的确已经能写小说,但还是需要人类不断投喂想法。
同时,这条技术路线也衍生出另外一个问题:能够有足够资源驾驭它的注定是全球少数几家科技公司,这对人工智能甚至于人类的发展是否有利?
从2017年到2019年,AI训练成本下降了100倍,但训练这种超大模型的成本还在上升。大公司手里握有的算力也正在成为一种隐形的霸权。一直以来,Bengio就对头部科技公司掌握大量资源有微词,认为人工智能应该为全人类服务,而不是某家公司。
但所有担忧和猜想都无法抹杀一点,ChatGPT正在带领人类进入新纪元。人类具备的认知能力是花了5.4亿年慢慢形成的,而让机器学会其中的一部分仅仅用了20年。显然,AI的发展不会止步于此。
Hinton并不认为人类大脑的奥秘,包括意识、情感在内,是神经网络无法捕捉的,就像随着生物学的发展,人类可以更科学地解释和维护生命,神经网络之于意识也是同样的道理。Bengio也认为,计算机能够掌握人类拥有的所有能力。
“一旦人类真正了解大脑是如何工作的,就可以通过神经网络进行重建。”对此,Hinton有“99.9%的信心”。
ChatGPT的石破天惊已经让许多人开始意识到,未来人类能看到什么样的世界,取决于眼下机器能看到什么样的世界。
ChatGPT不是从石头缝里蹦出来的。但我们可能终于撬开了潘多拉的盒子。
橙柿互动·都市快报 记者 梁应杰