智东西(公众号:zhidxcom)编译 | 尹明顺 吴浪娜剪辑 | 漠影加勒比女海盗1
智东西10月10日音尘,当地时辰10月7日,盛名播客主抓东说念主Lex Fridman和Cursor团队4名首创成员Michael Truell、Sualeh Asif、Arvid Lunnemark和Aman Sanger进行了一场长达两个半小时的对话。
Cursor是一个基于VS Code的代码剪辑器,它为AI扶直编程添加了许多强盛的功能,它引起了编程和AI社区的关注和兴奋,风头正盛。那么Cursor行为一个初创团队,如何能够与科技巨头微软的Github Copilot一战呢?
在播客中,几东说念主深度接洽了Cursor团队目下的发展以及异日的探索场所,还无为指摘了编程的异日,以及东说念主类与AI在计划和构建复杂而强盛的系统方面达成合营的各式可能。
团队成员在博客中详实共享了Cursor如何贯通你的代码库并以此为依据预计你下一步要作念什么,然后以惊东说念主的速率生成代码,从而有用普及了编程效率。
他们还先容了Cursor更多功能,不仅擅长自动补全代码,它还引入了影子责任区扶直编写代码,并能通过浅易的描摹来呐喊AI编写更复杂的代码,完成更多的任务。
此外,团队成员还对AI编程的期间要领进行了深入分析,并对东说念主与AI编程之间的伦理问题张开探讨,提到了但愿将OpenAI o1模子集成的愿景。
值得一提的是,团队成员认为,快速就是意思意思(Fast is Fun)。眩惑东说念主们在电脑上创造新内容的原因之一就是惊东说念主的迭代速率,而在其他领域,你可能会受到资源或才气的限制,但在编程的寰宇,只消有你和策动机,你就能相等快速地构建出相等酷的东西。
首创团队中,Aman Sanger担任Cursor的CEO,是一位工程师和企业家,此前他曾在Instagram和Facebook担任携带职位。Arvid Lunnemark是公司的CTO,是一位工程师,曾在Spotify和Google责任。Michael Truell担任计划主宰,Sualeh Asif担任公司COO。
▲播客现场先容Cursor团队成员(起首:YouTube加勒比女海盗1)
以下是对该播客内容的完整编译(为提高可读性,智东西诊治了部分问答的规律,并在不违犯答应的前提下进行了一定的增删修改)。
一、雷同增强版笔墨处理器,代码剪辑器可处理更多任务Lex:代码剪辑器有什么用?
Michael:代码剪辑器主若是构建软件的地方,恒久以来,而在今天或很长一段时辰里,代码剪辑器是指对郑重编程语言进行文本剪辑的地方。对于非行径员来说,可以将代码剪辑器贯通为行径员专用的增强版笔墨处理器。之是以说它是增强版,是因为代码有好多结构。因此,这个“笔墨处理器”即代码剪辑器,现实上可以为你作念好多事情,而这些是传统的笔墨处理器在文本剪辑方面作念不到的。
这包括给代码中不同的元素提供视觉区分,以便快速浏览;可以在代码库中导航,平直跳转到用户正在使用的内容的界说,就像在互联网上使用超搭伙;还有进行不实搜检以拿获基本不实等。传统上,这就是代码剪辑器的界说。我认为在异日十年内,跟着构建软件的方式有所变化,代码剪辑器的界说也将发生很大变化。
Lex:我认为代码剪辑器也应该很意思意思。
Arvid:是的,这相等遑急。这现实上是咱们决定构建什么的一个被低估的方面。咱们构建的好多东西,通过试用它们,再进行实验,然后因为它们不虞思意思而把它们扔掉。是以,意思意思的很大一部分在于好多时候要快。快速就是意思意思。
Michael:基本上,我认为眩惑好多东说念主在电脑上构建东西的原因之一是这种惊东说念主的迭代速率,而在其他领域,你可能会受到资源或才气的限制……致使将一大群东说念主聚在沿途编程亦然一件令东说念主讴颂的事情,唯独你和策动机,你才能可以相等快速地构建出相等酷的东西。
二、从Copilot的粉丝到开采Cursor,Cursor发源的两个遑急时刻Lex:对于不知说念的东说念主来说,Cursor是一个超等酷的新剪辑器,它是VS Code的一个分支。听听你们对我方剪辑器之旅的敷陈会很意思意思。我想你们整个东说念主都是VS Code和Copilot的诚恳粉丝。你们是如何战役到VS Code的,以及这如何指示你们走向Cursor?
Aman:咱们最初都是纯Vim用户。莫得Neovim,唯独纯Vim和末端。至少对我我方来说,当Copilot出来的时候,简易是2021年,我确凿很想试试它。是以我进入了VS Code,这是唯一可以使用Copilot的代码剪辑器,尽管我确凿很心爱使用Vim,但VS Code和Copilot的体验足以劝服我发生转念。是以,这基本上成了默许设立,直到咱们动手开采Cursor。
Lex:也许应该解释一下Copilot的功能。它是一个相等可以的自动补全器用。当你动手写东西时,它会建议一到三行代码来完成它,这是一种意思意思的体验。你知说念当你有亲密的一又友时,你的一又友会帮你补全你的话一样。当它作念得很好时,会有一种亲密的嗅觉。可能“亲密”这个词不太准确,但有一种很酷的嗅觉,就像“哇,它懂我”。关联词当它不懂你时,就会有一种不欢腾的嗅觉。是以会有这种摩擦。但我想说,对于好多东说念主来说,那种“它懂我”的嗅觉压倒了“它不懂我”的嗅觉。
Arvid:我认为GitHub Copilot被低估的一丝是,即使它出错了也有点烦东说念主,但并莫得那么倒霉,因为你只需再输入一个字符,也许它就能贯通你了,或者你再输入一个字符,它就能贯通你了。是以即使它错了,也不会那么倒霉。
Sualeh:你可以进行迭代和成立。我的道理是,对我来说,Copilot的另一个被低估的部分是,它是第一个真确的AI居品,第一个面向消费者的语言模子居品。
Lex:是以Copilot有点像语言模子的第一个杀手级应用。
Michael:是的,它的beta版在2021年发布。
Lex:那么Cursor的发源故事是什么样的?
Michael:简易在2020年,OpenAI发布了scaling laws论文,这是一个关节时刻,这个领域似乎取得了廓清可预计的进展,即使咱们莫得任何新想法,看起来只消有更多的策动才气和更多的数据,就可以让这些模子变得更好。
Lex:趁机说一下,咱们可能需要花三到四个小时来接洽scaling laws这个话题。但简而言之,这是一系列论文中的一篇,这些论文提议了一系列不雅点,认为在机器学习领域,模子的大小和数据的大小,越大越好。
Michael:是以在那段时辰,咱们中的一些东说念主有好多对于这会是什么花样的认识性接洽。对于整个这些不同常识领域的责任者来说,这项期间的发展将如何让他们变得更好?然后我认为有几个时刻,那篇论文中预计的表面进展动手变得相等具体,动手认为你可以在AI领域作念现实上有用的责任,而不需要去攻读博士。嗅觉目下可以构建一整套真确有用的系统。我认为第一个时刻是玩转Copilot的早期测试版,那种嗅觉很棒,很神奇。
我认为第二个遑急时刻是提前赢得了GPT-4的早期拜谒权限。简易在2022年底,咱们动手修改这个模子,才气的升级嗅觉相等巨大。在此之前,咱们一直在接洽一些不同的款式。因为Copilot,因为scaling laws,因为咱们之前对这项期间的兴味,咱们一直在修改行径员使用的器用,但这些都曲直常具体的器用。是以咱们正在为必须在Jupyter Notebook上责任的金融专科东说念主士构建器用,或者尝试使用这些模子进行静态分析。
而GPT-4的升级让咱们嗅觉这确乎证实了咱们之前预计的表面进展。嗅觉就像在阿谁时辰点你可以立即构建好多东西。而且,如果咱们保抓一致,这确凿嗅觉不单是是一个点科罚决议,这将波及整个这个词编程领域,整个编程都将通过这些模子进行,而且嗅觉这需要一种不同类型的编程环境,一种不同的编程方式,是以咱们动手构建那种更大的愿景。
Sualeh:有一件事我印象相等深切,我的室友是IMO金牌得主,好意思国有一个叫Putnam的比赛,这有点像是大学生的IMO,亦然一个数学竞赛,它相等精彩。我牢记Shengtong和Aman在2022年6月傍边打赌,赌能否在2024年6月或7月的IMO中赢得金牌。
Lex:IMO是外洋数学奥林匹克竞赛。
Sualeh:Arvid和我也参加了,尽管我在某种进程上相信进步,但我认为想拿下IMO金牌,Aman是在奇想天开。但淳厚说我整个错了,但这可能是团队中最有预知之明的赌注。
Aman:我明晰地牢记我和Michael有一次对话,在那之前我还莫得相等深入和批判性地想考过scaling laws,他提议了一个问题,为什么scaling laws就是你需要的一切,或者为什么scaling laws不会带来巨大的进步?我想我资格了悲悼的五个阶段,临了终于采纳了。
我想从那以后我一直对进步充满但愿和乐不雅。我想要补充的一丝是,这也取决于你将在哪些领域看到进步。数学是一个伟大的领域,尤其是模式化定理阐明,因为你可以得到一个很好的信号来现实考证事物是否正确。是以这意味着像强化学习这样的东西可以责任得相等好,我认为你可能会领有在数学上相等超东说念主的系统,但从期间上讲仍然莫得AGI。
三、Cursor预计你的下一步,或将改变构建软件的方式Lex:好的,那么咱们谈谈Cursor。
Michael:对咱们来说,决定作念一个剪辑器似乎是不言而喻的,至少对于咱们想要作念的事情和已毕的想法来说是这样的,因为当咱们动手开采剪辑器时,想法是这些模子会变得更好,它们的才气会提高,这将透澈改变你构建软件的方式,这不仅会让你赢得巨大的坐蓐力普及,而且会带来根人性的改变,构建软件的方式也会发生很大的变化。是以,如果你是现有编程环境的一个插件,那么你对代码剪辑器的限制会相等有限,咱们不想被这些限制所不停。咱们但愿能够构建最有用的东西。
Lex:Cursor与Copilot在某种进程上是竞争敌手,你们如何取胜?靠速率和功能质料吗?
Aman:是的,我想这是一个颠倒意思意思,也许相等私有的领域,如果你望望以前的期间海浪,也许唯唯一种主要的事情发生,它解锁了一波新的公司,但每年,每一个模子才气的进步,你就解锁了一波新的功能,尤其是编程中可能已毕的事情。
是以我认为在AI编程中,即使只是源流几个月,更不必说一年了,也会让你的居品变得有用得多。我认为一年后的Cursor将需要让今天的Cursor看起来落后。我认为微软依然作念了好多很棒的事情,但我认为他们不像一个初创公司那样有很大的空间真确陆续更动和鞭策这方面的发展。
Sualeh:我不知说念我是否从功能的角度来磋议它,如故从行径员的才气的角度来磋议它。跟着新的o1模子发布,我相信会有更多不同类型的模子,比如更长高下文的,也许更快,整个这些跋扈的想法你都可以去尝试,但愿其中10%的跋扈想法能够变成某种很酷且有用的东西,咱们但愿东说念主们能更快地领有它。换句话说,一个被低估的事实是,咱们正在为我方创造它。
当咱们动手构建Cursor时,你确凿会感到颓唐,你可以看到模子变得更好,但Copilot的体验莫得改变。就像,这些家伙天花板越来越高,为什么他们不创造新东西?他们应该创造新东西。那些Alpha功能在那儿?但莫得那些功能。如果作念了新东西,我确信它是一门好买卖。我敢服气这是一项伟大的功绩,我是那种确凿想尝试和使用新东西的东说念主,但很长一段时辰都莫得作念出新东西。
Lex:当你比较Cursor和Copilot时,Copilot很快就动手因为某种原因而给东说念主一种落后了的嗅觉。
Arvid:是的,我认为对咱们有匡助的一件事是,咱们把整个事情都作念成了,咱们在开采用户体验和与模子交互的方式的同期,也在开采如何让模子给出更好的谜底。是以你如何构建提醒,或者你如何找到高下文,对于Cursor Tab来说,你如何磨真金不怕火模子?是以我认为这有助于咱们让归拢批东说念主来负责整个这个词体验。
Sualeh:是的,就像制作UI的东说念主和磨真金不怕火模子的东说念主坐在沿途,相距18英尺远,致使时时是归拢个东说念主。你可以创造出一些如果不交谈、不实验就不可能已毕的东西。
Lex:你们用Cursor来写Cursor?
Arvid:天然。
Lex:咱们聊聊无所不可的Tab,号称加强版自动补全的功能。Tab是若何责任的?它是什么?
Michael:抽象来说,我认为Cursor目下在两个方面阐发可以。天然,它还有其他功能,但这两项功能对行径员来说相等有匡助。一是它就像在你死后不雅察,是一个速率很快、可以抢在你前边输入并预计你下一步要作念什么的共事。这亦然一个好的自动补全功能的初志,预计你下一步要作念什么,但咱们可以更进一步,不仅预计Cursor背面的字符,还能预计你要进行的下一个全体更变、下一个互异、接下来要跳转的位置。
第二个是,能匡助你有时源流于AI,告诉它该作念什么,已毕从指示到代码的调度。为了作念好这两件事,咱们在提高剪辑体验高下了好多功夫,让它们既恰当东说念主体工程学,又弥散智能和快速。
四、加强版自动补全功能Cursor Tab,放弃剪辑器中的低熵操作Sualeh:咱们真确想要已毕的是,让模子能够为咱们剪辑代码。这是咱们的愿望,在领有能够剪辑代码的优质模子之前,咱们进行了屡次尝试。有了优质模子后,为了让使用体验愈加畅达,咱们付出了好多辛苦来加速推理速率,并依然动手整合。
Michael刚才也提到了这种跳转到不同位置的才气,我认为这种跳转源于一种嗅觉,即一朝你采纳了剪辑,下一步要去那儿应该相等明显。比如,我作念了这个更变,模子应该平直知说念下一步要跳转到第18行。如果你是WIM用户,你可能会按18JJ之类的快捷键,但为什么我要这样作念呢?模子应该平直知说念。
是以,你只需要按Tab键,它就会跳到第18行,然后娇傲下一个剪辑,你再按Tab键,你只需一直按Tab键,就能一直这样操作下去。是以里面竞争就变成了,咱们能让东说念主按几许次Tab键?一朝你有了这个想法,更抽象地说,要磋议的是如何使剪辑达到零熵现象。
也就是说,一朝你抒发了意图况且剪辑,莫得新的信息片断来完成你的想法,但你仍然需要输入一些字符来让策动机贯通你真确的想法,那么模子巧合应该“读懂”你的心想,整个零熵位都应该只是被Tab键放弃,这就是比较抽象的说法。
Aman:一个意思意思的表象是,如果你看不同领域的language model loss,我相信每字节的比特数,这是一种对代码字符行径化亏本的揣度,比语言低,这意味着代码中有好多token曲直常可预计的,好多字符也曲直常可预计的。而且,当你不单是是试图自动补全代码,而是预计用户在剪辑现有代码时的下一步操作时,这种可预计性会被进一步放大。因此,Cursor Tab的想法是放弃剪辑器中整个低熵操作。一朝意图得到有用详情,就让咱们平直跳转到异日的某个时辰点,上前跳过。
Lex:那么,Tab在近期内应该能够作念什么?
Aman:我可以讲讲让这些功能阐明作用的一些细节。它们的蔓延极低,是以你需要在这个任务上磨真金不怕火微型模子。特别是,它们相等需要预填充token。这意味着它们有相等长的提醒,能看到好多代码,但现实上生成的token并未几。因此,使用MOE模子是最合适的。这是咱们取得的一项毒害,极地面提高了模子在长高下文中的性能。另一个毒害是咱们构建的投契解码的变体,称为投契剪辑。我认为,这两点是使其质料高、速率快的遑急成分。
Lex:那么缓存起作用了吗?
Aman:缓存起到了巨大的作用。因为你要处理这样多输入token,如果你在给定行中输入的每个按键都要针对整个传入的token重新运行模子,那么一是会大大裁汰蔓延,二是会让GPU负载过高。因此,你需要计划用于模子的现实提醒,使其具有缓存意志。然后,你需要跨央求重用KV缓存,以减少策动量。
Sualeh:但愿能跳转到不同的文献。是以,如果你在一个文献中进行了剪辑,可能需要转到另一个文献来完成你的想法,它也应该转到第二个文献。
Arvid:完整的泛化是下一走路动预计。有时你需要在末端中运行呐喊,它应该能够证据你编写的代码来建议呐喊,或者有时它会给出建议,但你很难判断它是否正确,因为你需要更多信息来学习。你需要知说念类型才能考证其是否正确。是以它巧合应该先带你到某个界说的地方,然后再带你追想,这样你就有了采纳下一个补全所需的整个必要常识。
Michael:编程是一门奇特的学科,有时你接下来五分钟要作念什么,现实上是可以证据你最近所作念的事情预计出来的。那么,咱们能否创造一个寰宇,让这接下来的五分钟要么在你死心的情况下自动完成,要么在你看到下一步要作念什么并证实无误后,通过轻触Tab键就能快速已毕。
五、增多娇傲框提醒代码互异,围绕审查者体验作念计划Lex:Cursor有一个相等酷且引东说念主闪耀的功能,那就是整个这个词diff界面情况。是以,模子用红色和绿色娇傲咱们将如何修改代码,然后可以在聊天窗口中应用它,它会向你娇傲diff,你可以采纳diff。那么,你能讲讲这方面的发展场所吗?
Sualeh:咱们可能会有四五种不同的diff。咱们为自动补全功能优化了diff,因此它具有与审查大块代码时不同的diff接口。然后,咱们正在尝试优化另一个diff功能,以恰当处理多个不同文献的情况。从高等次来看,互异在于,当你进行自动补全时,读取速率应该相等快。现实上,在整个情况下它的读取速率都应该相等快,但在自动补全功能中,你的肃肃力会集中在一个区域,东说念主类无法同期关注太多不同的地方。
在界面方面,咱们有刻下框,如果你试图在某个地方删除代码并尝试添加其他代码,它会尝试在侧面娇傲一个框。
咱们尝试了三四种不同的方法来已毕这个功能。最初的方法是在摆布娇傲一个带有蓝色删除线的框。它往时会以Google Docs的立场娇傲要删除的代码,你会看到一条线穿过,然后看到新代码,这相中分散肃肃力。然后咱们尝试了好多不同的方法……有删除、红色高亮等。
之后的迭代版块有点意思意思,你会按住Mac上的option键。是以它会高亮娇傲一段代码,以娇傲AI有建议给你。在这个例子中,输入和值都会变成蓝色,蓝色是用来高亮娇傲AI对你有一个建议。它不会平直娇傲建议的内容,而只是提醒你AI有一个建议。如果你确凿想看到它,就按住option键,然后你会看到新的建议,拖拉option键后,你又会看到原始代码。
Arvid:我个东说念主相等期待在这个领域作念出好多更正。咱们时时把它称为考证问题,这些互异对于小范围修改来说很好用。但如果是大范围修改,或者波及多个文献等情况,审查这些互异就有点劳苦了。是以这里有几个不同的想法。一个想法是,互异中的某些部分很遑急,包含了好多信息。而有些部分的信息熵很低,就是重迭的内容。
是以,巧合可以高亮娇傲遑急的部分,而将不那么遑急的部分灰度娇傲。或者,你可以有一个模子,它稽察互异并发现,“哦,这里可能有个间隙。”我会用红色波浪线美艳出来,并提醒你,“你应该重心审查这部分互异。”我认为这类想法很令东说念主兴奋。
而且,你但愿用一个智能模子来完成这项责任。目下的算法只是普通算法,莫得智能性。算法的计划需要智能,但你并不良善它是对于这个如故阿谁,你只但愿模子能作念到这一丝。
Sualeh:是以我认为一个遍及的问题是,跟着这些模子变得越来越智能,它们能够提议的更变也会越来越大。而跟着更变越来越大,东说念主类需要作念的考证责任也越来越多。这变得越来越……你需要匡助他们。我可不想把整个的时辰都花在代码审查上。
Aman:GitHub试图通过代码审查来科罚这个问题。当你进行代码审查时,你正在审查多个文献中的多个互异。但就像Arvid之前说的,我认为你可以作念得比代码审查更好。代码审查有点倒霉。你花了好多时辰去贯通那些平常对你来说很生分的代码,而且它致使并不可真确捕捉到好多间隙。
我认为,使用语言模子可以显赫改善审查体验,举例,使用Arvid之前描摹的那种技巧,即可能指向现实遑急的区域。我还认为,如果代码是由这些语言模子生成的,而不是由其他东说念主生成的……代码审查体验是同期为审查者和代码编写者计划的。
在代码编写者是语言模子的情况下,你就不必那么良善他们的体验了,你可以整个围绕审查者来计划整个这个词体验,让审查者的责任尽可能意思意思、拖拉、高效。我认为,如果只是机动地试图让这些东西看起来像代码审查,那就会出现问题。我认为你可以更有创造力,并鞭策可能性的界限。
Arvid:还有一个想法是,我认为规律很遑急。平常,当你审查一个拉取央求(Pull Request)时,你会看到一个文献列表,况且从上到下顺次审查,但现实上,你可能需要先贯通这个部分,因为这部分在逻辑上是先发生的,然后你再贯通下一部分,而你不但愿我方弄明晰这一丝,你但愿有一个模子来指示你。
我认为,并不是整个的编程都会变成天然语言。如果我正在和Sualeh结对编程,Sualeh在电脑前和键盘上,有时如果我来主导,我会对Sualeh说,嘿,已毕这个功能,这样就行了。但有时,向Sualeh解释我想让他作念什么太沉重了,是以我会接过键盘,给他展示一下。
我写一部分示例,然后他就明白了,这是最容易的调换方式。是以我认为,对AI来说亦然这样。有时,与AI调换的最浅易方式就是展示一个示例,然后它就会在其他地方施行这个操作。
或者,有时如果你在作念网站,举例,向AI展示你想要什么最容易的方式不是告诉它要作念什么,而是拖动或绘图东西,也许最终咱们会已毕脑机接口之类的,你就可以让它贯通你在想什么。是以我认为天然语言会有弹丸之地。但我服气地认为,它不会是大多数东说念主大部分时辰编程的方式。
▲播客现场(起首:YouTube)
六、Apply定制模子创建互异,更少的token使用更智能的模子Lex:我在使用这个剪辑器时,确凿感受到了通用AI(AGI)的存在。嗅觉它背后有好多机器学习在起作用。能告诉我一些让它正常责任的机器学习内容吗?
Aman:Cursor真确阐明作用的地方在于,咱们通过这组自界说模子与前沿模子沿途磨真金不怕火,这些模子在推理密集型任务中阐发相等出色。Cursor Tab就是一个很好的例子,你可以将这个模子专门化,使其致使比前沿模子还要好。另一个领域是Apply,令东说念主骇怪的是它需要定制模子,但这是必要的,而且在应用方面效果很好。
这些前沿模子在起草代码霸术和生成变化的古板草图方面颠倒出色,但现实上,为磨真金不怕火模子创建互异对于前沿模子来说曲直常艰难的。如果你尝试用Sonnet、o1或任何其他前沿模子来作念这件事,它会在一些愚蠢的事情上出错,比如策动行数,尤其是在相等大的文献中。为了科罚这个问题,咱们让模子勾画出这个古板的代码块,标明将发生哪些变化,然后咱们磨真金不怕火一个模子,将该变化应用到文献中。
Lex:咱们应该说,Apply模子会稽察你的代码,并给你一个相等好的新操作建议。而看似对东说念主类来说微不及说念的将两者联结起来的法子,并回绝易。
Sualeh:与遍及领会相背,这不是一个详情味算法。
Aman:是的,你会发现其他地方有Apply的浅拷贝,但大多数情况下它都会失效,因为你认为可以尝试进行一些详情味匹配,但它至少会有40%的时辰失败了,这会导致居品体验相等倒霉。我认为,跟着模子变得越来越智能,这种趋势将陆续下去。是以,Apply还能让你作念另一件事,那就是你可以用更少的token来使用最智能的模子。这在生成整个这些token的蔓延和资本方面都很振作。
是以,你可以给出一个相等古板的草图,然后让你的模子去已毕它,因为已毕这个相等古板的代码是一个更容易的任务。我认为这种趋势将陆续下去,你可以使用越来越智能的模子来进行霸术,然后也许可以由不那么智能的模子来处理已毕细节。也许你可以使用o1,也许它会有更强盛的模子,给出更高级别的霸术,该霸术由sauna递归应用,然后是apply模子。
Sualeh:也许应该谈谈如何让它变快。
Aman:让它变快的一个主要组成部分是投契剪辑。投契剪辑是投契解码的一种变体,也许简要描摹一下投契解码会很有匡助。在投契解码中,你可以利用这样一个事实,大多数情况下,我会加上一个限制,那就是当你在语言模子生成中受到内存限制时,如果你一次处理多个token,这比一次生成一个token要快。
是以咱们作念的是,不是使用投契解码平常所作念的,即使用一个小模子来预计这些草稿token,然后你的大模子会进去考证,在代码剪辑中,咱们对现有代码的外不雅有相等强的先验,况且该先验现实上是整个雷同的代码。是以,你可以作念的是,将原始代码的部分反馈回模子,然后模子大多数情况下都会同意,“好吧,我只是要把这段代码原样输出。”
是以,你可以并行处理整个这些行,只消使用弥散多块即可。然后最终你会达到一个不合点,模子目下将预计与原始代码不同的文本。它会生成这些token,然后,在弥散多的token与原始代码匹配后,咱们会重新动手以代码块为单元进行预计。
这现实上看起来就像是正常剪辑代码的一个更快版块。是以它看起来就像是模子重写整个代码的一个更快版块。因此,咱们可以使用与diff雷同的接口,但它的流式传输速率会快得多。
七、GPT和Claude在编程上哪个更胜一筹?Lex:哪个大语言模子更擅长编程?GPT和Claude,在编程方面,哪个更胜一筹?
Aman:我认为莫得哪个模子能在整个咱们认为遑急的类别中都优于其他模子,这些类别包括速率、剪辑代码的才气、处理多数代码的才气、长文本高下文,以偏执他几个成分和编程才气。我目下会说总体上最好的是Sonnet。我认为这是公共的共鸣。
o1也相等意思意思,它相等擅长推理。是以,如果你给它一些很难的编程口试立场的问题或者携带代码问题,它能作念得很好,但它似乎不如Sonnet那样能贯通你的大问候图。如果你望望其他好多前沿模子,我有一个疑虑,那就是嗅觉它们不一定好……我不是说它们在基准测试上磨真金不怕火,但它们在基准测试中的阐发确乎相等好,相对于整个中间的东西。
是以如果你尝试整个这些基准测试和它们评估的散布中的东西,它们会作念得很好。然则,当你把它们略微推离这个范围时,Sonnet是我认为在保抓雷同才气方面作念得最好的。你在基准测试中领有的才气与尝试指示它施行任何与编程干系的事情时领有的才气雷同。
Sualeh:趁机说一下,这是一个相等艰难且至关遑急的细节,基准测试与真确的编程之间的区别在于,真确的编程并不是口试立场的编程。东说念主类有时会说半吊子的英语,有时你会说,“哦,按照我之前作念的那样作念。”有时你会说,“添加这个东西,然后为我作念这个其他事情,然后制作这个UI元素。”但好多事情都是依赖于高下文的。你确凿想要贯通东说念主类,然后按照东说念主类的意愿去作念,而不是……也许抽象地说,口试问题曲直常明确具体的。它们在很猛进程上依赖于明确说明,而东说念主类的东西则不那么明确。
Aman:对于Claude,我听到过一个意思意思的不雅点,我认为AWS有不同的芯片,我怀疑它们与Nvidia GPU的数值略有不同,有东说念主推测Claude性能下跌可能与在AWS Bedrock上使用的量化版块与Anthropics GPU上运行的版块不同关联。
八、Preempt系统可自动已毕预感效果Lex:在这一切中,一个好的提醒(Prompt)饰演着什么脚色?
Arvid:我认为这取决于你使用的是哪个模子,它们都有隐微的别离,对不同的提醒反应也不同。但我认为,最初的GPT-4和旧年的某些模子,它们对提醒颠倒敏锐,而且它们的高下文窗口也很小。是以咱们有好多与代码库干系的信息,这些信息可能在提醒中会很有用。
你有文档、你添加的文献、你有对话历史,然后问题就来了,你如何决定现实上要把什么放进提醒里,特别是当你的空间有限时?对至今天的模子,即使你有长高下文,填满整个这个词高下文窗口就意味着它会变慢。这意味着有时模子现实上会感到困惑,而且有些模子比其他模子更容易困惑。
咱们里面有一个系统叫作念Preempt,它在这方面对咱们有一些匡助。我认为它是为咱们有8000个token高下文窗口的期间建立的,它有点雷同于当你在制作一个网站时。你但愿它在手机上能正常责任,你但愿它在桌面上也能正常责任,而你有这些动态信息,但你莫得固定的布局。
举例,如果你计齐整册印刷杂志,你知说念你可以把东西放在那儿,然则当你有一个网站或者一个提醒时,你有这些输入,然后你需要模式化它们,以便它们能老是正常责任,即使输入相等大,你可能必须削减一些内容。是以咱们的想法是,好吧,让咱们从中赢得一些启发。
计划网站的最好方式是什么?咱们相等心爱的是React以及它的声明式方法,你在JavaScript中使用JSX,然后平直声明:这就是我想要的,我认为这个部分比其他部分具有更高的优先级或更高的Z轴规律。在网页计划中,你有一个渲染引擎,就像Chrome一样,在Cursor中它是一个preempt渲染器,它会将整个内容都放在页面上。你只需说明你想要的效果,渲染器会自动帮你已毕。咱们发现这钟方法相等有匡助,而且它的作用跟着时辰的推移依然发生了变化。
最初它是为了恰当较小的高下文窗口,而目下它在拆分进入提醒词的数据和现实生成方面阐明了很大作用。因此,它更容易调试,因为你可以修改提醒词,然后在旧的提醒上进行测试,平直稽察你的修改是否确凿普及了整个这个词评估集的阐发。
Lex:是以你们是确凿用JSX来提醒吗?
Arvid:是的。咱们有一个文献组件,它经受光标。平常在你的文献中有一滑光标所在的位置,那可能是最遑急的一滑,因为那是你正在稽察的一滑。然后你可以给出优先级。而且,如果你有好多来自整个这个词代码库的代码块,你可以使用检索和镶嵌等重新排序分数来为这些组件添加优先级。
Lex:那么当东说念主类发问时,也应该尝试使用那样的东西吗?这是否意味着问题会变得松散和芜乱,如故这样的系统应该饱读舞东说念主们更廓清地抒发?
Arvid:我认为咱们的想法是,你应该只作念对你来说最天然的事情,然后咱们的责任就是弄明晰如何现实检索到相对遑急的事情,以便你的想考是特道理道理的。
Lex:模子遴聘答复与一般答复有多难?这很难,如何处理省略情味。我是否遴聘盘问更多信息以减少歧义?
Sualeh:咱们最近为Cursor添加了一个加入文献的功能。当你在剪辑代码或输入内容时,模子会尝试预计你正在作念什么,如果模子发现有省略情的地方,它会推断你可能在编写某种API。然后,模子会稽察你的历史记载,推测哪些文献与刻下的剪辑内容干系。
这里有一个期间上的难题,就是如安在整个历史记载中找到干系的信息,判断在刻下的提醒词下哪些文献最遑急。天然这个功能还处于熟谙阶段,但相信咱们会徐徐完善它,但咱们想展示出这个想法:你是否想添加这个文献、阿谁文献,以便模子帮你剪辑?
也许你在编写一个API,你也应该需要剪辑使用这个API的客户端和职业器代码,那么API发生变化时,客户端和职业器代码也需要相应更新。
Cursor可以作念的是,当你在编写提醒或代码时,在你按下回车之前,模子可以帮你找到这些可能需要沿途修改的部分。这样作念的克己是,可以提前科罚一些省略情味,确保整个干系的代码都被正确更新,而不需要手动去查找和同步这些蜕变。
九、咱们正在接近AGI期间,但AI Agent还不实用Lex:你们若何看Agent?Agent有多有用?
Arvid:我认为Agent就像是东说念主类,你能嗅觉到你正在接近AGI,因为你能看到一个演示,它阐发得就像一个真东说念主,这确凿很酷。我认为Agent在好多事情上还不是特别有用,但咱们依然越来越接近它们真确变得有用的阶段了。
是以我认为有些类型的任务,有Agent的话会更好。举例,如果咱们有一个bug,有时你不可在聊天输入框中使用Command+C和Command+V,这是一个相等明确的任务,我只需要用两句话来说:“这个不可用,请成立它。”然后我会很乐意有一个Agent,它会自动去向理,成立这个bug,然后我追想搜检成立情况。
它会找到正确的文献,尝试重现bug,成立它,然后考证它是否正确。这可能是一个需要很万古辰的过程。是以我认为我会很心爱这样。而且我认为在编程中,时时有东说念主认为Agent会取代整个的编程责任。我不认为咱们这样认为,因为好多编程责任,好多价值在于迭代,或者说你其实不想一动手就明确指定什么,因为你确凿不知说念你想要什么,直到你看到了驱动版块,然后你想在此基础上进行迭代,然后提供更多的信息。
是以在好多编程责任中,我认为你现实上想要的是一个即时的系统,它能立即给你一个驱动版块,然后你可以相等快速地进行迭代。
Lex:比如最近推出的Replica Agent,它可以设立开采环境,科罚软件包问题,竖立一切,包括竖立数据库和部署应用。这亦然你空想中的一部分吗?
Arvid:我认为是的,对于某些类型的编程责任,这确凿很酷。
Lex:这在Cursor的范围内吗?
Arvid:是的,咱们目下并莫得积极地在作念这件事,但可以服气的是咱们想让行径员的生计更拖拉、更意思意思,有些事情确凿很乏味,你需要经过一系列法子,你想把这些事情交给Agent去作念。然后有些事情,你可以让一个Agent在后台责任,同期你也在责任。比如说,你有一个同期波及后端和前端的PR(Pull Request),你在前端责任,然后你可以让一个后台Agent去向理后端部分,当你动手处理后端部分的PR时,你就依然有了一些驱动代码可以迭代了。是以这也会很酷。
十、影子责任区,在后台运行代码Arvid:源流,咱们要明确的是,咱们但愿在后台进行多数的操作,况且咱们正在尝试好多内容。目下,除了缓存预热或找出呐喊键提醒所需的正确高下文以外,咱们并莫得太多其他后台操作。但咱们的想法是,如果能确凿在后台进行策动,那么就可以匡助你预计更万古辰范围内的操作,而不单是是预计你接下来要写的几行代码。
而是预计在接下来的10分钟里,你可能会作念什么。通过在后台进行策动,咱们可以花更多的策动资源来作念这件事。是以咱们实施的影子责任区(Shadow Workspace)的认识,并在里面进行实验,是为了真确利用后台策动的上风,咱们需要给模子提供某种反馈信号,否则可以通过让模子想考更万古辰来赢得更高的性能,比如o1就是一个很好的例子。
但另一种提高性能的方法是让模子进行迭代并赢得反馈。对于行径员来说,一个相等遑急的反馈起首是语言职业器。它存在于大多数不同的语言中,况且每种语言都有一个单独的语言职业器。它可以告诉你“你在这里使用了不实的类型”,并给出不实提醒,或者它还可以跳转到界说,并贯通你的代码结构。TypeScript语言职业器是由TypeScript团队开采的,Rust语言职业器是由Rust团队开采的,它们都通过语言职业器契约与VS Code进行交互。这样,VS Code就不需要内置整个不同的语言,而是可以使用现有的编译器基础结构。
这是为了代码搜检、跳转到界说以及稽察你正在使用的正确类型。当你在处理一个大型款式时,类型搜检和援用查找功能都是必不可少的。如果莫得这些功能,就很难在大型款式中编写代码。
Lex:在Cursor中是如何使用语言职业器契约进行通讯的吗?
Arvid:在Cursor中,咱们使用语言职业器契约向行径员展示信息,就像在VS Code中一样,但咱们的想法是,咱们还想将这些信息展示给智能模子,况且咱们想在不影响用户的情况下作念到这一丝,也就是说,咱们想在后台进行这些操作。
影子责任区的想法是,咱们可以创建一个荫藏的Cursor窗口这样你就可以在它里面设立这个标志,然后把它荫藏起来。天然你看不到它,但它确乎存在。在这个窗口中,AI Agent可以简略修改代码,只消它们不保存修改,因为这仍然是归拢个文献夹。然后,它们可以从linters(代码搜检器用)中赢得反馈,跳转到界说,并对代码进行迭代。
这是咱们最终想要已毕的想法,亦然咱们博客著作东要接洽的内容,因为已毕这一丝有点难办。咱们但愿它在用户的机器上运行,以便整个模拟用户的环境。在Linux上,咱们可以作念一些很酷的事情,比如镜像文献系统,并让AI在文献级别上进行操作,但现实上,这些操作是存储在内存中的。咱们可以创建一个雷同于内核的扩展来已毕这一丝。而在Mac和Windows上,这有点难,但这是一个意思意思的期间问题,是以咱们在进行这项接洽。
Aman:一个可能有些约略但很意思意思的想法是,对保存操作进行锁定。这样,你可以让语言模子在保存到磁盘时锁定,然后你就不必在保存到磁盘的文献的真实版块上操作,而是在操作影子责任区中的那些未保存的内容。你仍然可以赢得不实提醒,并可以在其中编写代码。然后,当你尝试运行代码时,会出现一个小警告,提醒有锁存在,这时你可以从语言职业器或影子责任区中开释锁,以便并发地施行其他操作。
十一、模子查询bug仍有艰难,Open o1也不例外Lex:允许模子修改文献是一个令东说念主兴奋的异日,天然这听起来也有些吓东说念主。设计AI agent可以自动施行一系列任务,用户第二天只需对落幕进行审查,AI就好像你的共事一样。
Aman:我认为,模子在可运行性方面会有不恻隐况。施行一些浅易任务时,用户可以在几分钟内班师完成,在土产货机器上运行亦然合理的。而施行一些需要更万古辰以及更大变动的任务时,则需要在烦懑的沙盒环境中完成。如何精确将用户环境重目下烦懑沙盒中,并能确保代码运行落幕的一致性是极具挑战的。
Sualeh:我很好奇,你们(用户)想要什么样的编码agent?匡助你们找到间隙?如故已毕一些新的功能?
Lex:编码方面,我认为应该去关注查找各式级别的bug,尤其是逻辑不实,以及已毕方进取的不实。
Aman:这些模子在浅易地提醒下并不善于寻找和发现不实。它们的校准相等差,即等于最理智的模子o1亦然如斯。
Lex:您能解释一下吗?
Aman:我认为这些模子都能够很好地响应预磨真金不怕火数据的散布,跟着亏本函数的裁汰,模子的泛化才气也在增强。但目下亏本函数的裁汰已弥散多,以至于模子能够已毕全面的泛化。咱们主要在前沿领域使用模子,用他们进行代码生成并对问题进行回答。在预磨真金不怕火阶段,GitHub上的多数代码,数目高达数万亿个token,Stack Overflow和GitHub Issues等平台上也有多数问题和谜底,都为任务提供了丰富的数据。
但当你尝试鞭策其中一些在蚁集上并不常见的事情时,比如证据已有的剪辑来预计下一个剪辑的Cursor Tab想法,模子的脆弱性就会表表示来。
另一个很好的例子是bug检测,因为现实上并莫得太多真实的检测bug并提议成立建议的例子,是以模子在这方面会际遇很大的艰难。
但我认为,这同样是一个模子迁徙的问题,咱们需要将其他模子迁徙到Cursor Tab上,在将相等擅长代码的通用模子迁徙到bug检测任务时,效果应该也可以,只是需要咱们稍作念指示。
Sualeh:很明显,我认为模子相等了解代码。当它们在预磨真金不怕火过程中,巧合依然能够古板地察觉到代码的问题所在。这是因为有些东说念主依然对这些不实进行了严格的校准。
但当用模子编程的时候,比如编写数据库,这是很庞杂的数据信息,即便设立了好多严格的校准行径,可能不实也如故很难被修正。
十二、危急代码标注存争议,开采团队并不看好赏金轨制Lex:东说念主类也很难判断代码的遑急性。如果某行代码可能酿成严重后果,应该添加“这行代码是危急的”这一疑望。
Arvid:全部大写,重迭十次
情趣做爱Lex:是的,即使是归拢个东说念主也可能会健忘单个代码的危急性。
Arvid:我认为在一定进程上这也适用至今天的AI模子,如果你确凿在每一滑中都标注dangerous,dangerment,dangerous的话,模子也会愈加关注这些,况且更有可能在该区域发现不实。
Lex:明确标注代码的潜在危害进程是一种致密的实践。
Arvid:但这种作念法存在争议,举例Sualeh就不太心爱。
Sualeh:天然从好意思学角度来看我不心爱这种作念法,但它确乎对模子和容易淡忘代码危急性的东说念主们很有匡助,可以幸免一些小的不实导致严重的情况,举例职业器宕机。
Aman:即使是普通的文档字符中,东说念主们在修改代码时也时时会忽略,因此需要明确指出潜在风险。
Lex:东说念主们在修改代码时往往只磋议如何更正功能,而忽略了潜在的风险。
Arvid:如果能够对整个代码进行模式化考证,就可以确保不会引入bug。
Aman:这个设计中的异日具体会是什么花样?
Arvid:我认为东说念主们可能不再需要编写测试了,模子会证据代码自动生成标准,用户只需审查标准。同期,智能推理模子管帐算出代码是否恰当标准。这种方式适用于大多数函数。
Michael:标准的生成确凿容易吗?为软件明确东说念主类的意图是具有难度的,毕竟有些想法很难指定,也很难阐明它是否确凿能够恰当你的想法去施行。
Arvid:您认为标准很难生成?
Michael:对于难以用标准语言描摹的需求,模式考证并不可靠。
Arvid:即使有多数的标准文档也难以达成?
Michael:标准可以取代单元测试。
Arvid:但标准语言可以不绝发展,以涵盖更多需求。
Lex:这一设计是否适用于整个这个词代码库,而不单是是单个函数?
Arvid:的确,对整个这个词代码库进行模式化考证更难,但这是值得追求的想法,况且从表面上是可行的。举例,最近有一些接洽可以对硬件进行模式化考证,包括C代码、GCC编译器和Verilog硬件描摹语言。大型代码库也雷同于多层系统,如果可以理解并分别考证每个部分,那么模式化考证整个这个词代码库应该是可能的。不外,标准问题确乎是个挑战。
Aman:如何处理反作用和外部依赖?举例调用Stripe API?
Sualeh:Stripe为其API编写了一个标准。
Aman:是否整个外部依赖都可以提供标准?举例,如果行径中使用了语言模子行为原语,如何将其纳入模式化考证?
Arvid:这亦然可能的。
Aman:如何阐明语言模子效果?
Arvid:可以阐明语言模子的对都性,或者阐明它能够给出正确的谜底。
Sualeh:这是最终的空想。
Lex:如果这能够已毕,将有助于确保代码的正确性和AI的安全性。
Lex:既然模子在bug查找方面存在艰难,那么异日的但愿在那儿?
Sualeh:但愿模子源流能够匡助发现一些浅易的bug,举例off-by-one不实或疑望与代码不一致的情况。最终,模子应该能够发现更复杂的bug。
Michael:强盛的bug查找模子对于已毕AI编程至关遑急。如果AI能够自动生成代码,那么也需要能够考证代码的正确性。这不仅是为了匡助东说念主类行径员,亦然为了考证AI生成的代码。
Arvid:是的,但现实上是若何作念到的呢?有一个流行的想法是这样的,引入bug比找到bug更容易,因此可以磨真金不怕火一个模子并引入一些不实代码,然后就可以磨真金不怕火一个反向不实的模子,并用其中的合成数据去寻找不实。这是一个可以的例子。
Michael:还可以利用大型模子和代码以外的信息来扶直查找bug,举例通过代码施行轨迹和调试器信息。bug查找器用可能会有两种不同的居品形态,其一是在后台运行的快速模子,用于发现常见的bug。其二是用于科罚特定bug的高策动量模子,用户可以支付一定的用度去使用。
Lex:是否磋议过用资金将这些整合起来?如果模子能够找到bug或生成高质料的代码,我鼎沸付费。前几天,我用Cursor模子生成了三个齐备的函数,主要用于与YouTube API交互,为我提供多语言字幕更新功能。
API文档不是很好,而且有代码交叉表象,我用谷歌搜索得不到着实信息,唯唯一些令东说念主困惑的内容,而Cursor生成得则相等齐备。我想,真但愿能有一个“打赏”按钮,写着“5好意思元”既可以撑抓公司发展,也可以向模子发送积极反馈信号比如“Good Job”。在bug查找中,也可以引入雷同的赏金机制。你们有磋议吗?
Arvid:公司里面对此存在争议。我认为在某种进程上,这取决于你对东说念主性的信仰进程。我认为,如果你不花任何钱就找到一个bug那相等棒。如果没发现不实,你就不必费钱,而如果你费钱并找到了一个bug,况且你要点击的“采纳”,那么它会娇傲在括号中,比如1好意思元。
这会存在一种担忧,比如,咱们在策动中干预了好多,也许东说念主们会复制粘贴代码,或者付费机制会影响用户的体验。我认为,可以磋议把付费机制与居品进行分离,如果用户每月支付一定的用度,就可以免费赢得整个的功能。
Lex:可以添加一个“打赏”功能,而不是强制收费。
Arvid:即使是打赏也波及到资产,可能会影响用户体验。
Aman:用户在共享模子时,东说念主们就依然在抒发对模子的招供了。
Michael:如果能够开采出一种期间技能来考证bug是否已被成立,那么就可以不必依赖那些依赖于荣誉系统的赏金机制了。
十三、AWS基础设施相等可靠,出现问题的概率聊胜于无Lex:末端和代码之间有几许交互?在末端中运行代码可以赢得几许信息?是否可以已毕一个轮回,让模子运行代码并建议如何对代码进行更变?目下代码偏执现实运行是整个分离的吗?目下,据我所知是可以在末端中使用“Ctrl+K”来扶直进行代码编写。
Aman:可以在Check呐喊和Ctrl+K中使用末端高下文信息。但目下还莫得已毕轮回功能,不外这很特道理道理。关节问题在于,这个轮回是在前台进行如故像之前那样在后台进行。
Lex:后台运行的确很酷,因为它可以撑抓不同的方式运行代码。此外,还需要磋议数据库方面的问题,举例如何防患模子修改数据库。
Sualeh:有一个可以的科罚决议。即正在开采一个新的API,我认为PlanetScale和Turbopuffer数据库都会撑抓这种功能。当你正在开采一个功能并对数据库进行测试时,现实上你并不想针对无为的数据库进行测试,你可以向数据库添加一个分支,而不是去修改主数据库。
这种期间的已毕方式是为数据库的预写日记添加分支。数据库公司需要不绝开采新功能,而分支功能可能成为异日的一个趋势,AI agent也可以利用数据库分支进行测试。
Lex:在此可以对基础设施干系信息提议一些问题,Cursor团队目下是主要使用AWS(亚马逊云科技)吗?在使用AWS的过程中,都际遇了什么挑战?
Arvid:AWS相等出色,不管在何时使用它的居品老是能够正常责任,天然完成其设立过程可能超等沉重。真话说,AWS确乎值得信托,如果出现问题,那很可能是你我方的问题。
十四、扩展问题是公司发展难关,诡秘保护也亟待毒害Lex:Cursor行为一家初创公司,在发展中际遇了哪些挑战?
Michael:跟着央求量级的不绝普及,缓存和数据库等通用组件都会际遇瓶颈。举例,咱们目下依然际遇际遇了数据表溢出等问题。此外,咱们构建的一些定制系统,举例用于代码语义索引和问答的检索系统回答关联代码库的一些问题,我也一直认为这是比较难办的扩展问题之一。
Sualeh:我的超等高级工程师一又友们说,在扩展过程中很难预计系统会在那儿崩溃。您可以提前尝试预计,然则在添加这些额外的内容时,总会发生一些奇怪的事情。具体而言,Cursor将整个的代码进行分块,然后发送代码进行镶嵌,然后将镶嵌代码储存在数据库中,但现实上,并不储存任何代码。尔后就是咱们要确保不引入客户端bug,因为咱们对这些bug相等严格,职业器上存储了许多细节,一切都是加密的。
因此,期间挑战之一就是如何确保土产货代码库现象与职业器端现象保抓一致。期间层面上来说,咱们的作念法是将对职业器端的哈希值进行下载,并对比土产货的哈希值,策动差额,来详情短缺的文献是什么。但这会增多蚁集支拨。如果您使用了Cursor,莫得东说念主但愿有东说念主一直对WiFi施加操作。
而且,这也会对数据库酿成巨大支拨。它将读取数十TB的数据库,每秒钟接近20TB或者更早的数据库。这太跋扈。为此,咱们采取了Merkle树结构,只需要谐和单个哈希,即款式的根节点,去稽察哈希值不匹配的子项,并依此类推,可以极地面裁汰支拨。
但跟着使用东说念主数的增多,代码库也变得格外庞杂。最初,咱们对暗代码库进行了重新陈列,但如今其限度依然远不如一些领有庞杂文献的公司的限度了。建构一个东西很浅易,但扩展到更多东说念主、更多公司,这是个难题。咱们也在辛苦科罚这些问题。
Aman:的确,索引系统有好多需要琢磨的东西。现实上镶嵌代码才是瓶颈。为了幸免重迭镶嵌同样的代码块,咱们采取了一种缓存机制,行将代码块的哈希值与对应的向量缓存起来,这会使得一些公司,在使用Cursor时,代码镶嵌的速率会大大普及,用户不需要储存代码数据,只存储向量数即可。
Lex:目下,您认为代码库索引带来的最大受益是什么?短期来看,代码库有什么用呢?
Arvid:最明显的一丝是,当你向找出大型代码库中特定的一些东西时,你可以通过暧昧性的发问来进行搜索。比如“我想找到施行X功能的地方。”然则你并不知说念在文本搜索中要输出什么语言。你只需要央求聊天,按照enter呐喊来盘问代码库进行聊天。好多时候,模子平常都能够给你提供正确位置。
Lex:为什么Cursor不磋议在土产货进行代码镶嵌等操作?
Arvid:咱们也磋议过这种决议,但已毕起来很艰难。一些用户使用的是最新的MacBook Pro,但杰出80%的用户用的是Windows机器,其中许多机器功能并不曲直常强盛,现实上,土产货模子现实仅适用于最新的策动机,况且构建过程也会出现很大的支拨。因此,即使咱们向这样作念,但也如故很难作念得到。
Aman:是的,庞杂的数据库只会消耗多数的内存与CPU。此外,正如Arvid所说的那样,土产货模子建设存在着巨大阻力,其中似乎都在野着MOE架构发展,天然MOE模子对内存带宽的要求更高,况且故意于土产货运行,但全体模子的限度也会变得更大,需要更多台机器才能运行。我认为,对于编码生成而言,用户但愿能够用到最好、最理智、最有才气的模子,但在土产货已毕却很艰难。
Arvid:现实上我很心爱土产货模式的替代决议。我认为,它仍然处于接洽阶段,可以把它假想成,为语言模子推理进行同态加密。用户可以在土产货加密输入的数据,然后发送给职业器进行推理。职业器可以可以对加密数据进行处理,但无法读取数据的具体内容,尔后职业器会把谜底发还给用户并进行加密处理,用户只可通过解密稽察返还的内容。目下同态加密的资本依然很大,如果能够裁汰资本,我相信这会相等值得期待。
寰宇上有越来越多的信息和数据将流经两个中心化的参与者,但这会有些令东说念主担忧,比如传统黑客的入侵,这曲直常可怕的。用户可能会被黑客监控。东说念主们辛苦防患不良入侵者使用AI模子,继而引入一些监控机制,但这些监控机制又可能被滥用,比如用户的数据可能会被监控。是以咱们但愿,咱们可以科罚同态加密问题。
Lex:我想说,这是整个软件都靠近的挑战。就像云可以提供好多便利的功能,东说念主们就越来越依赖它,然则它也存在瑕玷,这就是为什么需要依靠强盛的安全措施来招架一些波折。然则也又一些具有影响力的公司限制着这些数据,这就是咱们存在着的现实生计。
Sualeh:是的,我相等挂牵。举例Anthropic公司有这种负职守的扩展计策,其中咱们是初级别的,当咱们进入高级别时,任何模子都会出于合理的安全原因,都会但愿对监控有所提醒。我认为这是合理的,但也存在一些瑕疵,如果整个信息都被见监控,那会相等可怕。
Aman:您认为它(AI模子监控)与云职业供应商有何不同?
Arvid:我认为好多数据一动手并不会流向云供应商,而平常你会把更多的数据提供给AI。一动手用户并不会把我方的数据都放在蚁集上,给那些公司或者模子。但目下AI模子的监控愈加集中,云职业中的用户都可以使用加密密钥,而AWS对此却窝囊为力,但在这里唯独中心化AI模子提供商才能够看到着实的文本内容。
十五、对于高下文磨真金不怕火中对于高下文和模子磨真金不怕火的探讨Lex:在使用Cursor时际遇的一个问题,当我在Python中写代码的时候,会导入一些内容,模子若何知说念我想在高下文中提到哪些内容,弄明晰这一丝有多艰难?
Michael:我认为咱们将来可以在自动策动高下文方面作念的更好。需要肃肃的是,包含自动高下文需要衡量采用。因此,你为这些模子包含的高下文愈多,其速率就越慢,这些央求的资本的就越高,这意味着,你可以调用的模子就会越来越少。此外,对于这类模子来说,如果提醒中包含了太多信息,它们会认为困惑。因此,在高下文中呈现出的信息准确性和干系性的行径要十分高,咱们也但愿能够作念得更好。
咱们在里面也尝试过一些更正措施,但目下该领域还存在一些问题。让语言模子真确达到贯通新信息语料库?高下文窗口能否无穷扩展?模子能够真确作念到关注无穷的高下文吗?能够对这些高下文进行缓存而不必重迭策动吗?还有好多想法都在尝试中,这些想法雷同于在模子权重学习过程中进行微调。共事行为一家公司,咱们很欢叫可以领有更好的检索系统,也但愿可以作念的更好。
Aman:一个意思意思阐明是VS Code(跨平台源代码剪辑器)。
咱们处于一个分叉节点。VS Code的代码是开源的,大型语言模子在预磨真金不怕火过程中依然见过这些代码,况且经过微统一RLHF(东说念主类反馈)磨真金不怕火,能够回答与代码干系的问题。因此,当用户盘问对于VS Code的问题时,模子有时能够给出正确的谜底,尽管有时也会出现舛错。如果能够磨真金不怕火一个专门的模子并成立一个贯通这些问题的代码库,这会很有接洽价值。
另外,咱们对于一个洞开性的接洽问题充满兴味,同期也存在着省略情味,即用户是但愿模子在前端施行完整个任务,如故将检索与代码生成进行分离?异日的几个月,可能会出现一些真确有才气的模子,尔后用户可以单独磨真金不怕火一个相等优秀的开源模子并将其行为检索器,在高下文中为这些更大的模子提供信息。
Lex:如何针对特定代码库进行模子磨真金不怕火?
Aman:有好多方法可以尝试,需要通过尝试详情效果。一件相等稚童的事情,是尝试复制VS Code和一些前沿模子作念过的事情。是以咱们应该陆续进行预磨真金不怕火。某种抓续的预磨真金不怕火,在陆续预磨真金不怕火阶段加入特定代码库的数据,并在指示微调阶段加入对于该代码库的问题。咱们从指示微调动手,建立一个对于代码的惯例指示微调数据集,继而抛出更多对于该存储库中的代码问题。
你可以获取更多难以赢得的真实数据,或者可以使用合成数据来施行一些操作,让模子对代码各式新组成部分提议问题。因此,获取代码片断,并让模子对此提议问题,再将其添加到指示中对数据点进行微调,从表面上讲,这一过程可能会解锁模子贯通该代码库问题的才气。
▲播客现场(起首:YouTube)
十六、与OpenAI o1竞争靠什么?Lex:想问一些对于OpenAI o1的问题,您认为测试策动系统在编程中的作用是什么?
Aman:我认为测试时辰策动相等意思意思。因此,跟着数据量和模子大小的推广,预磨真金不怕火轨制将使亏本函数和下贱任务中的阐发越来越好。然则,咱们正在靠近一些数据壁垒。这意味着,陆续扩大数据限度变得愈加艰难。
因此,扩大测试时辰策动是一种意思意思的方法,如果目下增多咱们使用推理时辰的flop策动数目,使用Infer Time时,这些模子老是会有更多的flop,但目下,咱们也许可以使用雷同大小的模子并运行更万古辰,并赢得与更大模子限度颠倒的申报。
某些查询可能需要100万亿参数限度的模子才能处理,但这类查询可能只占整个查询的0.1%。在这种情况下,也许有些挥霍元气心灵。而磨真金不怕火一个能够处理99.9%查询的模子,然后可以采取一种方法为那些真确想要更高智能查询的东说念主延长推理时辰。
Lex:如何判断哪些问题需要更高水平的智能?是否能够动态地在GPT-4与o1使用之间进行切换?
Aman:确乎这是一个问题,也莫得东说念主真确很好地科罚它。团队在Cursor Tab功能中已毕了浅易的模子路由,但在GPT-4和o1之间的切换还比较艰难。另外,需要什么级别的AI来详情对于司机模子是否太难,可能需要o1模子,但这很难说得明晰。
此外,还需要磋议如何判断某个问题对GPT-4来说是否过难,这可能需要o1级别的模子才能判断。
测试时辰策动需要一个完整的磨真金不怕火策略才能正常施行。此外,在大型实验室以外,可能唯独OpenAI,但没东说念主知说念它是如何责任的,有一些相等意思意思的论文娇傲了它们可能提供了怎么的默示。因此测试时策动可以归类为后磨真金不怕火阶段,但异日用于磨真金不怕火撑抓测试时策动的模子的算力可能会杰出预磨真金不怕火阶段。
Lex:如果要构建一个与o1竞争的模子,应该若何作念?
Aman:也许咱们可以磨真金不怕火一个经过奖励模子。其中有落幕奖励模子和过程奖励模子的区分,落幕奖励模子是东说念主们采纳语言建模磨真金不怕火的传统奖励模子,它更可贵最终落幕。过程奖励模子则需要对想维链进行层层永诀。OpenAI旧年发表了一篇对于过程奖励模子的论文,他们使用东说念主工标注的数据集磨真金不怕火了一个过程奖励模子。
目下,过程奖励模子主要用于从多个模子输出中遴聘最好谜底,但还看不出什么特别优秀的地方。宽敞的学术效率中,东说念主们要作念的是从语言模子中抽取一些输出数据,然后使用过程奖励模子对这些进行赋分,继而选出最好谜底。异日,东说念主们就是使用经过奖励模子偏执树状结构,探索想维链的多个分支,继而评估分支的质料。
Lex:当分支质料与落幕质料密切干系时,就能够匡助模子遴聘请哪个分支更好?
Aman:是的,我认为也许东说念主们接洽开源模子磨真金不怕火经过奖励模子时,采取的是更自动化的方式。但目下我并未看到任何东西能够创造性地使用经过奖励模子来进行树状结构搜索和编码。
Lex:有一个AI安全问题,它更像是玄学问题。OpenAI曾说,他们向用户荫藏了想维链,这是个繁重的决定,他们会在后台对想维链进行监控,以此确保模子不会试图对用户产生搅扰,这确乎令东说念主漂泊。但你们对于荫藏想维链这件事有何看法呢?
Michael:我推测,OpenAI可能是为了防患别东说念主从他们的模子中窃取他们的期间。如果你能够详实看到想维链的每个法子,那这个期间就更容易呗获取。
Lex:是以你也可以用这个来磨真金不怕火吗?
Michael:可能大语言模子供应商之间会存在这样的情况,其中一切API也曾提供了他们的整个记载概率的拜谒权限,但其后又取消了。其中的原因可能就在于,那些拜谒了记载概率的东说念主,可以窃取到模子的期间信息。
同期咱们也集成o1到Cursor之中,对于o1咱们也有浓厚的兴味,况且我认为好多行径员也都对此充满期待。但不管如何,o1都不是Cursor默许体验的一部分,目下咱们还莫得找到将其集成到剪辑器中的有用方式。是以我认为,如何和使用这个模子(o1),如故个未知数。
Sualeh:咱们有一些好意思好想法,但需要找在发布之前赢得一些适用的场景。
Aman:o1模子还存在好多限制,比如不撑抓流式输出,这意味着用户无法对输出过程进行监督,只可恭候文本的出现。另外,它期间发展还处于早期阶段,有好多需要更正的地方,异日会在增多预磨真金不怕火数据量,扩大模子体量的同期,让搜索责任也变得越来越好。
Lex:GitHub Copilot似乎正在以某种方式集成o1模子,有东说念主认为这意味着Cursor要罢了?
Michael:我认为这个领域与2010年代的软件领域有所不同,此处天花板确凿相等相等高,是以我认为,三到四年内最好的居品很快就会比今天最好的居品更优秀。我认为即便领有一个很好的品牌,但不去更动异日如故会失败。接下来几年我认为,关节在于建构最好的居品与系统,这需要归结于建模引擎与剪辑体验。
Aman:是的,我认为Cursor的上风在于其不单是是快速集成新模子就像o1那样,同期它亦然深度定制的模子,况且很可贵用户体验。
十七、详刨三类合成数据分类法Lex:您能解释一下,合成数据分类法是什么吗?
Aman:合成数据是可以从AI中赢得的一些数据,我认为合成数据主要有三种。第一类是蒸馏,包括语言模子、输出token或token的概率散布,可以用来磨真金不怕火才气较弱的模子。这种方法无法生成比原始模子更强盛的模子,但可以将振作的高蔓延模子的才气索取到较小或施行特定任务的模子中。
第二类是合成数据利用了某些问题中一个场所比另一个场所更容易的特色。举例,在bug检测问题中,引入bug比检测bug更容易。咱们需要作念的是,在一个未经充分磨真金不怕火的模子中引入一些bug,然后用这些合成数据磨真金不怕火一个擅长检测bug的模子。
临了一类,是使用语言模子生成可以拖拉考证的文本。比如,想对系统进行考证,检测语言是否能够达到莎士比亚的水平,你可以让山公或者打字机去打字,最终就能够赢得充分的磨真金不怕火数据来培养一个莎士比亚级别的语言模子。
对于具体的指示代码的代码,可以通过测试落幕来判断这个测试代码是否及格,咱们也可以使用模子生成、通过测试的代码来对模子进行磨真金不怕火。但我认为这种方法很难产生现实效率,在洞开式任务或者发杂任务中,很难找到齐备的考证器。
十八、东说念主类反馈联动AI反馈,共同普及模子磨真金不怕火效果Lex:东说念主类反馈的强化学习(RLHF)和AI反馈的强化学习(RLAIF)比拟而言如何?对AI模子性能普及都有什么作用?
Aman:RLHF是证据东说念主类反馈信息来进行磨真金不怕火的,我认为,如果能够为专注的任务提供充分的东说念主类反馈那么效果会相等可以。
RLAIF则比较意思意思,它证据不停条款施行责任,比如使用语言模子来考证科罚决议比生成一个科罚决议要容易,它更容易见效,因为RLAIF可以已毕一种递归轮回。
咱们可以将二者进行联结,在两者之间遴聘一个均衡点,比如在某型生成的正确代码中,加入一丝的东说念主工反馈,好像50-100个示例,就能够让模子的先验内容与咱们的构想已毕一致。
这看起来与普通的RLHF不同,普通的RLHF平常需要多数的示例对奖励模子进行磨真金不怕火。
十九、AI会在已毕AGI前获菲尔茨奖?Lex:证据你的直观,生成与考证或者生成与排序哪个更容易呢?
Aman:证据直观而言…可能是这样的…既定情况下考证更容易,而非找到阐明。
Sualeh:AI赢得菲尔兹奖的可能性有多大?
Sualeh和Arvid:AI更容易赢得菲尔茨奖。
Aman:天然AI依然科罚了许多难题,但目下还省略情定理阐明领域中AI效率如何。其次,对于咱们距离科罚这些相等相等难的洞开性问题还有多远,我的直观也不那么准确了。
Lex:你认为AI会先赢得菲尔兹奖吗?而不是物理学或其他的什么。
Sualeh:我认为百分之一百是会赢得菲尔茨奖的。我认为,一些奥数难题,比如伯奇和斯温纳顿-感恩(Birch and Swinnerton-Dyer conjecture)想到对于AI而言还曲直常难的,目下还并不知说念如何去科罚这些问题。
Aman:AI可能会在已毕AGI之前就赢得菲尔茨奖。
Sualeh:如果能赢得,我会相等欣慰的,我认为,可能在2028或者2030年就会已毕吧。
二十、谈缩放规定的异日,“模子越大越好”不雅念已失效Lex:谈到缩放规定(scaling laws)的话题,公共可以就此谈一下我方看法,对于近况以及异日的发展有何看法?
Aman:最初OpenAI对于缩放规定的论文存在一些不实。他们提到了对于优化学习效率的问题。其后,Chinchilla的论题提到了一个更准确的版块。自当时起,东说念主们动手不再专注于策动优化,而是愈加关注在有限的推理预算下赢得更优异的效果。
Aman:我认为,这些缩放规定弧线的维度远比咱们最初仅用于策动参数数目和数据的维度要丰富得多。比如,推理策动就是一个不言而喻的维度。我认为,高下文长度是另一个明显的维度。假定咱们关注推理策动和高下文窗口这两个方面,也许咱们想要磨真金不怕火的是某种现象空间模子(SSM)。
它们在处理超长高下文时,资本要低得多,速率也要快得多。即使磨真金不怕火时的扩展属性可能需要10倍的策动量,也就是说,需要破耗10倍的策动资源来磨真金不怕火模子,以达到雷同的才气水平,但这亦然值得的。因为咱们最良善的是超长高下文窗口下的推理资本预算。因此,东说念主们异日将会这些维度上进行探索。
Lex:你认为公共是否还在相信“越大越好”这一理念?
Aman:对于原始性能和原始AI来说,更大的模子服气更好。我认为,东说念主们如故会更看好蒸馏期间。如果咱们干预多数、多数的资金进行磨真金不怕火,以赢得最具性价比的模子,那么咱们可以诊治几许个参数呢?
这一丝确乎值得关注。因为只是在推理时辰上尽可能多地干预策动,这种机动的作念法,东说念主们依然在Llama模子上尝试过了。或者,只是是对7B(70亿参数)模子进行过度磨真金不怕火,使用的token数目也远远杰出了最优需求。
然则,如果你确凿珍重这件事,也许咱们可以像Gamma所作念的那样,不单是是在token上进行磨真金不怕火,而是实实在在地通过最小化与Gemma 27B散布的KL散度来进行磨真金不怕火,这就波及到了常识蒸馏。现实上是在整个这些token上,破耗策动资源来磨真金不怕火这个领有270亿参数的模子,然后将其中的内容蒸馏到一个更小的模子中。
Lex:蒸馏只给你一个更快的模子,越小意味着越快?
Aman:我认为,蒸馏在表面上是从你正在磨真金不怕火的数据中索取更多的信号。这可能是另一种方法,不是整个克服数据墙,而是部分地匡助咱们克服数据墙。可以磨真金不怕火的数据有限,让咱们用整个这些token来磨真金不怕火这个相等大的模子,然后咱们将它蒸馏成这个较小的模子。比拟于咱们我方去磨真金不怕火模子,蒸馏能够让模子赢得更多的信号。
Lex:如果给你们10万亿好意思元的预算,你们会如何作念?
Aman:我认为有好多对于磨真金不怕火这些大型模子的好意思妙和细节,唯独大型实验室才知说念。即使我辛苦去作念,也会挥霍好多钱。
Lex:假定赢得整个信息,包括磨真金不怕火参数以及方式方法,异日五年中你会如何投资才能使你们所说的原始AI已毕最大化?
Sualeh:我认为,谜底很浅易。你只需尽可能地购买弥散多的策动机,尔后每一天所要作念的就是购买GPU,接洽东说念主员就可以证据想法来遴聘去磨真金不怕火大模子如故小模子了。
Aman:这波及到一个问题,咱们是确凿受到策动和资产的限制,如故受到其他什么制约?
Sualeh:更多是受限于自身不雅念吧,但也存在其他一些限制成分。
Lex:你们会遴聘进行多数的实验如故遴聘使用这些策动资源来磨真金不怕火一个巨大的模子?
Arvid:可能会遴聘通过实验,我认为目下咱们仍受限于咱们目下所抓有的不雅念。
Aman:我认为是这样的,因为即便领有了寰宇上整个的策动才气和可网罗的数据,最终如故会受到限制,而且限制的不单是是想法,是受制于更独特的工程期间。即便领有寰宇上整个的资金,真确能在这里大有行为的东说念主并未几。
接洽责任中包含多数地说念的、极其繁重的工程期间责任。举个例子来说,如果你望望原始的Transformer论文,将文献中镶嵌的许多相等意思意思的认识交融在沿途,而且还需要编码,这些过程,都需要特出的工程师来完成,就像GNOME Azure。
进一步说,让下一代模子进行并行化责任,这需要庞杂的工程量,我认为要让整个这些事情都见效,需要干预多数的工程期间责任。比如,能够将工程干预资本裁汰10倍,让那些领有好意思好想法的东说念主真地已毕那些结构,普及40%到50%的GPU的利用率,那接洽责任的效率可能会大幅普及。
Sualeh:如果能够看到一个廓清的更正蹊径,那么落幕就会顺手可取。我认为,可能OpenAI和其他一些实验室的作念法是对的,它们收拢了这些效率。比如,GPT-4.25。现有方法是有用的,那就不需要磋议更动,唯独当目下际遇瓶颈时,才需要更动。我认为,如果领有10万亿好意思元的预算,也许现实上会先去扩大限度,然后再对自身的不雅念进行更新。
只消现有的方法有用,就莫得必要尝试新的想法。唯独当现有方法际遇瓶颈时,才需要新的想法。如果领有10万亿好意思元的预算,那么可以先尝试扩大限度,然后重新评估想法。
Aman:咱们都相信,去已毕AGI需要全新的不雅念。咱们也相信,可以在更小的限度内去测试一些新的不雅念,而且咱们有信心这会见效。对于刻下的实验室而言,将有限的接洽和开采东说念主才投注到开采其他的新想法之中是十分艰难的,毕竟现有决议在异日较万古辰都有用。
二十一、谈编程异日,仍需行径员领航Lex:你们目下处于编程寰宇的中心。你们认为编程,编程的内容在异日几个月,在异日几年,致使十年会发生什么变化?
Michael:我认为,咱们对异日充满期待,因为行径员在很长一段时辰内都坐在“历史的驾驶座”上。咱们曾谈到过这个问题,这需要行径员有着高效、代理才气与限制才气,他们可以修改任何你想修改的东西,况且对你构建的内容进行快速迭代优化。
此处,与“同策动机对话形的编程”有别离,与策动机对话,就好比你在Slack上与工程部门或工程师进行交谈一样,输入需求到一个孤苦的文本框,AI就会自动为你完成这些责任。但这也有些问题,源流会有蔓延性,其次这也意味着淹没了一些限制力。
从根蒂上说,工程现实的施行情况,是证据你构建的隐微决策来进行的,其中东说念主的关节作用是不可被AI取代的,要让东说念主类坐在“驾驶位”来掌舵。
而异日编程的情况,很可能是行径员可以限制代码库的抽象级别,可以通过不雅察伪代码的模式对代码库进行剪辑。而且行径员也可对编程软件的逻辑进行修改,保留其限制权,这样可以大幅度普及坐蓐力。
但这只是一个暧昧的想法,还需要好多细节需要科罚,最终能否已毕还有待不雅察。然则东说念主自身的限制力、效率以及以东说念主为中心不雅念曲直常遑急的。咱们认为,对于一些像Arvid之前提到一样,某些编程,可以把它交给聊天机器东说念主。但大多数编程任务东说念主需要东说念主深度参与。
Lex:编程的基本技能是否会发生根人性的变化?
Michael:现实上,我认为目下是开采软件相等令东说念主兴奋的时刻。不管什么时候,好多代码依然如故需要查阅好多难以贯通的信息。但今天的编程比往时意思意思多了,东说念主们动手享受编程。目下的编程让东说念主具备快速构建事物的才气,东说念主们的限制力也被极大普及了。
对于那些编程东说念主员来说,这亦然个充惬道理道理的时期,东说念主们的创意和真谛睬被放大,如果你是行径员,那今天应该愈加肃肃这部分的特殊性。
Arvid:我也同意,最近咱们正对代码库进行一次比较大的迁徙,将Node.js中的Async Local Storage替换为 Context对象。即使可以借助AI,这个责任也依然需要我与另一个工程师销耗好像五天的时辰。不外异日,咱们可能只需要给AI展示几个例子,然后这个迁徙任务,就可以在10分钟内完成。行径员可以借助AI更快的责任,而不需要在事前就磋议太多,而且任何事情,其实都可以先去尝试新方法,尝试的资本并不高。
Aman:我认为在编程中有两种方式,其一是辛苦想考,仔细寻找科罚问题的最好方法然后用有限时辰来考证。其二是平直施行代码,看是如何施行的并就此进行更新。我也更认同后一个决议。
Lex:那对于目下想要学习编程的东说念主而言,你们有什么建议呢?应该学习什么?比如Java亦或者PHP?
Aman:我认为,每个东说念主都有学习编程的自身原因。但我认为,现实上那些确凿深爱编程的东说念主,会是最好的行径员。在咱们团队里面,好多东说念主在责任后依然会用Cursor编写我方的编程,有的东说念主致使会熬到凌晨三点去作念这件事。当他们痛心的的时候,还会说“我需要写点代码。”来宽慰我方。
这种对编码的深爱,趋势他们成为了最好的行径员,我也认为这些东说念主将会追究干预到那些他们接洽的事物之中。我认为,异日的编程者们需要会更多地关注“你想要创造什么”。
Sualeh:行径员可以通过更丰富的方式抒发我方的意图。
结语:共建东说念主机协同体系,改善行径员生计Lex临了独揽Cursor团队的宣言为本次说话作念出总结,在《工程天才》中他们说“咱们是一个应用接洽实验室,构建不可想议的坐蓐性东说念主机协同系统。”
宣言中写说念:“源流,咱们正在培养异日的工程师,即东说念主类AI行径员这比任何一个工程师的效率都高出一个数目级。这种搀杂型工程师可以拖拉地限制代码库,况且无需进行低熵键盘操作。即使在最复杂的系统中,他们也会以判断的速率迭代。通过联结AI和东说念主类机灵,他们将比最好的纯AI系统更理智、更工程化。咱们是一群接洽东说念主员和工程师。咱们构建软件和模子,在有用性和可能性基础上进行发明。咱们的责任依然改善了层见迭出行径员的生计。”
Lex称,在这个说话中,至少让编程更意思意思了。
起首:YouTube