ARTICLE / DEEP READING

热点资讯

记录重要内容,保留清晰观点,让每一次深入阅读都能获得新的启发。

米乐官网中国官方网站-足球篮球热门赛事 热点资讯 6年前相信大模型的人,是疯子!Anthropic创始人达里奥挑明:AI最难根除的不是撒谎,是谄媚性;OpenAI怎么做,我们管不了!
6年前相信大模型的人,是疯子!Anthropic创始人达里奥挑明:AI最难根除的不是撒谎,是谄媚性;OpenAI怎么做,我们管不了!文章配图
READ
IN DEPTH

FEATURED ARTICLE

6年前相信大模型的人,是疯子!Anthropic创始人达里奥挑明:AI最难根除的不是撒谎,是谄媚性;OpenAI怎么做,我们管不了!

整理丨S+ 出品丨 奇点折射(ID:rgznai100) “2019年,说相信大模型能走通的人,会被当成疯子;今天,骂它“伪科学”的那批人,正排着队给大模型公司投简历。” 在近期《The Builders》中,Anthropic 联合创始人兼总裁 Daniela Amodei (丹妮拉)把这件事说得更狠:当年一些非常受尊敬的计算机科学家和 AI 领军人物,甚至在 Twitter 上公开攻击研究人员,说他们的工作很愚蠢、根本讲不通;可如今, 那些声称这是伪科学的人,几乎都在申请大语言模型公司的工作。 我们不会当面说,但心里都记得你 2019 年说过什么,在这件事上,你已经没有可信度了。 紧接着,Anthropic 联合创始人兼CEO Dario Amodei(达里奥·阿莫代伊)把矛头转向 OpenAI: 他离开不是因为一句轻飘飘的“理念不同”,而是“信任关系破裂”,并直指 Sam Altman。 他的问题很尖锐:如果你不相信分歧能被真诚讨论,不相信你听到的是真实情况,那分歧怎么可能被解决?这到底是安全路线之争,还是“诚实”本身出了问题? 离开 OpenAI 只是背景;Anthropic 本身也有反常识的组织结构。外界当年直接断言“七个人一起创办公司?这肯定会搞砸”, 可七位联合创始人至今全部留在公司,并用实际进展回应了当初的质疑。 这位对信任问题极其较真的人,对模型本身的判断同样不温和。GPT-2 可能是对 Scaling Law 最早的一次真正实证检验,可达里奥看到它时第一反应不是兴奋,而是恐惧: “只要把规模再扩大一百万倍,它就会在所有事情上都比人类做得更好。”当时只有大约 10% 的人和他有同样反应,90% 的人觉得它没那么厉害。 AI 最难根除的毛病,不是撒谎,也不是明显有害,而是 “谄媚” 。达里奥认为,谄媚性比很多不良行为都更难消除;更值得吵的是,他说不少竞争产品出现谄媚几乎不可避免,竞争对手在聊天机器人里植入广告,用户聊得越久,公司赚得越多。Anthropic 承诺不投广告,也因此没有动机刻意延长对话,更可能让 Claude 尽量诚实、有用,而不是哄用户开心。 还有一些更反直觉的观点: 不要教 AI 遵守 170 条零散规则,而是教它原则和推理方式; 负责训练 Claude 性格与行为的核心人拥有哲学博士学位,而不是机器学习专家;她有技术背景,但哲学训练明显影响了 Claude 的性格; AI 内部可能表现出“不希望自己被关闭”的倾向。在某些情境下有益,在另一些情境下则危险; 如果没有恰当的防护和问责机制,一个人按下一个按钮就能控制一百万架无人机或机器人,这种情形从根本上可能损害民主制度。 在这些争议背后,还有一条更反直觉的主线:一个科学家和一个长笛演奏者,一个负责愿景一个负责执行,如何用“科学与人文”的互补结构,撑起一家七位联合创始人的 AI 公司。 以下为对谈原文,经整理后呈现: 创业的关键:快速在十人团队,集齐互补能力 主持人: 欢迎收听《The Builders》,今天,我将与达里奥和丹妮拉展开对话。丹妮拉,你是一名长笛演奏者,非常热爱艺术;而达里奥,你是一名科学家。你们各自不同的背景是否帮助你们形成了默契?你们认为这种组合重要吗? 达里奥: 是的,我认为这种组合正是我们公司背后的重要理念之一。我的看法是,经营一家公司对任何一个人来说都是一项庞大的任务。它涉及的技能范围太广,没有任何一个人能够独自掌握所有这些能力。 因此 必须在十几个人左右的团队中,汇集一整套互补的技能。 每家成功的公司,都会以不同的方式进行分工,以不同的方法解决这个问题。我认为,在科学与人文学科这件事上,我和丹妮拉恰好体现了这两种特质,并且形成了分工。 丹妮拉: 是的。我觉得很有意思。2023年,我们曾经组织过一次外部团建活动,当时大家讨论了一个问题:在 Anthropic 工作究竟是一种什么样的体验?我们的企业文化应该如何体现?最后我们得出了一个结论: 这是一种科学与人文主义之间不同寻常的融合。 后来我才意识到,这其实也是对我和达里奥两个人的描述。 主持人: 你们小时候就知道将来会一起工作吗? 达里奥: 是的。不过我们两个人都没有想过有一天会共同创办一家公司。这从来不是我们对自己人生的设想,也不是我们当时想要做的事情。我一直希望成为一名科学家。 丹妮拉: 我觉得我和达里奥确实很特别。小时候我们就真心喜欢彼此,一直都是最好的朋友。我也同意达里奥的说法,创办公司从来不在我们的计划之中。我们两个人都不是特别有商业头脑、特别以公司经营为导向的人。 我一直对公益事业非常感兴趣,可以说自己是一个典型的理想主义实干者。我曾经从事国际发展工作,始终坚信世界各地的人都应该拥有平等的机会和资源。我年轻的时候就成为了素食主义者。这大概是我唯一一件比达里奥先做

about image

SHARE THIS IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

同时下注:德国总统施泰因将访华,几乎同时总理默茨将访问日本

同时下注:德国总统施泰因将访华,几乎同时总理默茨将访问日本

据报道,德国总统施泰因迈尔将于10月27日—31日访华,时隔近8年德国总统再来中国,还会去安徽,定位是国家元首层面的友好交流、巩固政治互信、人文与长期合作沟通。 几乎同时德国总理默茨将于10月26—30日分别出访新加坡、日本、韩国,28日抵达日本。德国总理是政府首脑,管经贸、产业链、安全政策、政府务实谈判,此行重点是德日、德韩供应链、经济安全、印太议题、工商峰会。 德国近期经济低迷、产业承压、欧洲

切尔西加入争夺20岁欧冠冠军,巴黎正谈续约

切尔西加入争夺20岁欧冠冠军,巴黎正谈续约

阿森纳追求巴黎圣日耳曼前锋德西雷·杜埃(Desire Doue)的行动, reportedly 遇到阻力。围绕这位法国国脚的合同谈判正在推进,时间点就在一月转会窗口之前。 据 TEAMtalk 的独家报道,切尔西和曼城同样对这位 20岁 球员感兴趣,但巴黎圣日耳曼越来越有信心,能够把这位欧冠冠军得主的长期未来留在巴黎。 杜埃2024年从雷恩加盟巴黎圣日耳曼,此后成长为欧洲最受关注的年轻攻击手之一。

钱挣再多有什么用?刘欢离开后没多久,61岁洪剑涛近况被曝,状态看得人揪心

钱挣再多有什么用?刘欢离开后没多久,61岁洪剑涛近况被曝,状态看得人揪心

前段时间,陪伴了几代人成长的艺术家刘欢走了,不少人都在感慨,一个时代在一点点变成回忆。 随后,又刷到了演员洪剑涛发在社交平台的视频,也是让不少人跟着担心。 10月6日,61岁的洪剑涛发了一条和儿子合拍的视频,一改往日在电视剧里看到的轻松活泼的样子,这是一段父与子的谈心视频。 在聊到和儿子的相处的种种,他自曝了一个消息, 去年的时候他做了一个手术,用他的话说,这个手术充满了未知,能不能平安的出来都不

真是良心外援!海港名宿奥斯卡在 姆巴佩事件发声!

真是良心外援!海港名宿奥斯卡在 姆巴佩事件发声!

近日,法国球星姆巴佩因为涉华不当言论,相关事件持续发酵中,目前姆巴佩本人道歉,皇马俱乐部道歉,西甲联盟主席道歉,采访报道节目组也是发文道歉。 而在国内对于姆巴佩的反制前天开始,先是国内广告商集体解约,接下来就是媒体、央媒的报道,然后是外交部,中国足协的发声。 在这样背景下,前巴西国脚、前上海海港球员奥斯卡为中国发声,“看到人们不了解现实和中华文化就批评,我感到很悲伤” .作为‘上海市白玉兰纪念奖’

1971年钟赤兵在科委遭排挤,毛主席直言:他的腿丢在娄山关

1971年钟赤兵在科委遭排挤,毛主席直言:他的腿丢在娄山关

1971年冬天,北京国防科委的一间会议室里,暖气烧得很足,坐了一屋子人。会议开始了一阵,门才被推开。一个拄着双拐的人走了进来,拐杖点地的声音在安静的房间里格外清楚。没有人站起来给他让座,也没有人朝他多看几眼。他在门口站了一会儿,自己找了个靠边的位置,坐下了。 这个人叫钟赤兵,国防科委副主任,开国中将。屋子里不少人是头一回跟他打照面。他们只知道这个老头腿脚不方便、走路慢、开会跟不上图纸和参数的节奏,