Full transcript
인트로 및 신정규 대표 소개
0:00[卢正石] 今天录制的日期是2026年2月15日
0:03星期天早上。
0:04今天时隔很久,我们频道永远的老师来了。
0:08Lablup的申正圭代表来了。
0:10申正圭代表最近
0:12发布了一款叫Backend.AI:GO的产品,
0:15花了40天时间打造,
0:19最终产出的代码大约有100万行。
0:22我也在本地安装试用了,非常干净利落,
0:26我需要的那些功能都做得很好。
0:28所以今天请申正圭代表来,聊聊做这个产品的过程,
0:32包括之前的vibe coding和开发过程中的vibe coding,
0:37以及完成之后Lablup和申正圭代表
0:41发生了怎样的变化,
0:42让我们来听听这位在最前线
0:45引领这个行业的人的故事。
0:47代表,欢迎欢迎。
0:49[申正圭] 大家好。
0:50我是Lablup的申正圭。
0:52感谢百忙之中邀请我。
Backend.AI:GO 제품 소개
0:55[卢正石] 那么请先简单介绍一下
0:57Backend.AI:GO,
0:59然后聊聊开发过程,
1:02现在的agent coding到底应该怎么做,
1:05让我们来听听这位身处最前线的人的
1:08经验分享。
1:10[申正圭] Backend.AI:GO是什么呢,有些朋友可能知道,
1:13我们做了一个叫Backend.AI的
1:15AI infrastructure操作系统、运营体系,
1:18已经做了十多年并一直在提供服务,
1:21但实际上大家要使用的话,
1:23大概需要从100个GPU起步才能发挥效果。
1:26从100个GPU
1:27到上千个,这样规模的平台,
1:29所以普通人其实很难接触到。
1:32从2024年下半年开始,考虑到灾难发生时
1:36如何使用这些AI,
1:38比如医院或金融机构用云端AI,
1:42一旦云服务宕机就麻烦大了。
1:44这种情况下,就像备用发电机一样,
1:47就像医院或金融机构地下室里放的发电机那样,
1:50在那里放上GPU机器,当外部AI服务
1:54宕机时能够自主运行,我们就想做这样的东西。
1:57所以我们做了一个路由器。
1:59我们把它叫做Continuum路由器,
2:012025年3月我们公开发布了。
2:04有个叫GTC的NVIDIA活动。
2:07今年也会去。
2:07大家多多关注。
2:09在GTC上公开了,当时反响很好。
2:13做了演讲,但在开发过程中
2:15体量变得越来越大。
2:17我们的主要客户是enterprise,
2:20组件有19个左右,安装起来
2:23因为太大了,全部装完的话
2:26大家可能也用过的OpenRouter那样的服务,
2:29已经大到可以搭建一个那样的平台了。
2:32所以这已经是服务级别的技术栈了,
2:34而不是企业解决方案级别的技术栈。
2:36所以我们暂时把所有东西都搁置了,
2:39如果只能保留一个的话会保留什么,
2:43最重要的毕竟是路由器,
2:46所以把智能路由部分拆出来,其他功能先放着,
2:50把速度做到全球最快。
2:52于是从头开始重新做,
2:56去年8月从Continuum整个项目中
2:59拆出了Continuum路由器部分。
3:00到12月全部做完了。
3:02该发布1.0了。
3:04然后开始了准备工作。
3:06功能是什么呢,它是个路由器,
3:08这个路由器具有converter功能,
3:11还有应对灾难的各种circuit breaking机制,
3:14如果某个节点出了问题,
3:16就暂时把它当作不存在。
3:18然后在那个被排除的节点上
3:21运行的模型
3:22自然地切换到其他模型,
3:25有这样各种各样的功能。但要公开发布的话
3:28没有好办法。
3:29东西很好但没法展示。
3:31所以决定要做Web UI,
3:33需要有看得见的界面
3:35才行。
3:36因为以前我们
3:37刚创业的时候也是一样的情况,
3:39已经快11年了。
3:42当时我们说要做机器学习运行平台,
3:47人家问怎么做,我们就打开终端
3:48开始演示。
3:50输入这个命令的话,
3:51当时TensorFlow都还没出来,
3:54Caffe2的配置这样列出来,还有当时流行的
3:58Theano这个工具也会显示出来。
4:00做过这些演示,但光这样不行,
4:02需要看得见的东西。正石当时也说过这个。
4:07所以我们还做了教育平台作为demo来卖。
Backend.AI:GO 탄생 배경 - 크리스마스 이브의 시작
4:10那天正好是平安夜。
4:11[卢正石] 决定要做Backend.AI:GO
4:14是在平安夜那天。
4:16[申正圭] 那时候还不叫GO。
4:17[卢正石] 大家都很好奇,这个Backend.AI:GO,
4:21Continuum路由器的产品化版本,长什么样,
4:24要不要放到屏幕上
4:26一边展示一边给大家介绍?
Backend.AI:GO 데모 시연
4:28[申正圭] 这是一个充满私心的项目。
4:31本来也不打算做成这个样子的。
4:34[卢正石] 不过我之前一直在本地装了Ollama和LM Studio
4:37这类工具在用,
4:39比那些干净得多,从工程师的角度来说
4:43需要的功能都做得很到位。
4:46[申正圭] 是大家在很多地方见过的那种工具。
4:49看到这个界面
4:51觉得眼熟的朋友,大概跟我年纪差不多。
4:54[卢正石] 有种Windows XP的感觉。
4:56[申正圭] 模型方面,虽然它有路由功能,
4:59但基本上可以从Hugging Face搜索模型,
5:02选一个模型,这个是高质量推荐。
5:06但我的电脑比较慢,所以下载一个精简模型。
5:09大家下载后会在列表里这样显示。
5:12就会出来模型列表,
5:13这些模型真的太令人惊叹了。
5:16但是如果你想了解一下某个模型,
5:18那你可以看这里,有这样一个图标。
5:21点击它就会给你介绍这个模型。
5:23它使用的是Gens3架构,
5:26量化方面原本是16位训练的
5:28压缩了4倍变成4位,
5:30在这种情况下质量还能保持95%
5:33大小缩小了一半。
5:35然后参数方面是这样的
5:36feed forward大约占60%,维度是
5:38词汇表现在用了大约26万个token。
5:42然后输入之后经过embedding和transformer
5:46通过26个transformer块生成输出。
5:49就是这样的结构。层的话,输入进来
5:51输出出去,然后输入在下面的原因是
5:54你看那些早期的attention相关论文
5:57全部都是输入在下面的。
5:58所以读论文的时候是从下往上看的,
6:01KV cache是在运行过程中
6:02持续保存中间结果的缓存,
6:05这个缓存会占用多少内存
6:07每种模型都不一样。
6:08有些模型的KV cache需求非常大
6:11的情况,
6:12也有根据架构需求比较小的情况。
6:14这些东西在这个模型里是怎么应用的
6:18它会计算后告诉你。
6:18接下来是实际transformer块的结构。
6:21它用了multi-query attention,不懂也没关系。
6:24大家以后可以用这个
6:25作为开始学习的起点嘛。
6:28所以它长这样,
6:29位置信息是通过这种方式编码来处理长文本的。
6:32这些内容都有。
6:34然后如果要运行的话,点击运行按钮
6:36就会开始加载。
6:37然后就这样跑起来了。
6:38[卢正石] 加载好的模型去旁边的聊天界面就能用了吧。
6:42[申正圭] 对,而且是在本地电脑上运行的。
6:43如果你们电脑配置好的话,比如有NVIDIA GPU或者
6:47AMD GPU的话,可以在这里的引擎部分
6:51额外安装引擎来使用。
6:53这台是Mac所以没有那些。
6:56来测试一下。
6:57现在是1B的模型,所以别期望太高。
7:01[卢正石] 很流畅啊。
클라우드 모델 연결과 분산 라우팅 기능
7:02[申正圭] 然后这里你可以看到还有很多其他类型的模型,
7:05也可以连接云端模型。
7:07看右上角的话
7:08有1个本地模型和15个API这样。
7:10刚才在模型里,从远程模型中
7:13也可以选择你想要的,
7:14全部模型集有175个
7:17勾选想要的就会出现在那个列表里。
7:19这些可以通过在API端添加provider的方式
7:23来实现。
7:24如果你们在用OpenAI
7:26或者Gemini或者Anthropic
7:28或者本地在用Ollama或LM Studio的话
7:31都可以这样连接起来使用。
7:33连接好之后可以看到是怎么连接的。
7:36毕竟本来就是路由器UI嘛。
7:38就可以这样查看,
7:40延迟时间之类的都可以查看。
7:43如果装了多个,有的在别人电脑上
7:46那就可以在这里添加,比如说
7:49像我们的情况,如果办公室里8个人都装了
7:51就可以把这8个整合起来,
7:53比如我在自己电脑上做图像生成或者
7:56同时跑多个文本模型的话
7:58电脑性能是不够的嘛。
7:59那就分配到旁边同事的电脑上去跑,
8:02结果大家也可以互相共享使用。
8:05某人的电脑上跑图像生成,
8:07某人的电脑上跑文本模型,
8:10某人的电脑上跑PDF处理之类的
8:13各自在跑但我的电脑上都能用,
8:15同样我正在跑的模型
8:17办公室里其他人也可以用,就是这样的。
8:20或者买一台好的电脑或工作站
8:22在那上面跑然后从这里连接也行。
8:24这类功能有很多,
8:26[卢正石] 您觉得自己需要的功能都做好了吗?
8:28[申正圭] 是的。翻译器之类的也做了放进去了。
8:32Lablup,它会把Lablup翻译成"rabble up"。
8:37所以可以添加这些修正,或者以此为基础
8:39也可以整个文件翻译。
8:41放入PDF、TXT或docs的话
8:43它会保持原格式进行翻译,
8:47放图片也行。就是有各种各样的功能。
8:49[卢正石] GenSpark那些功能您全部在本地实现了啊。
8:52[申正圭] 然后因为现在有好几个主题,
8:54默认安装的话你会看到这个
8:56或者Mac的话有毛玻璃主题之类的,
9:00或者这个是我兴趣做的。
9:01这是最近token有剩余所以额外加的主题。
9:04就是这样一个奇怪的工具。
개발 과정 - 40일, 130억 토큰, 100만 줄의 코드
9:06是一个非常带有个人偏好的工具。
9:07一开始并不是说要做成公司产品好好搞
9:10而是想做路由器Web UI的时候
9:14需要有路由的对象嘛。
9:16我更喜欢llama.cpp,在跑llama.cpp的过程中
9:19手动操作实在太麻烦了。
9:21所以就把llama.cpp自动化了
9:23放进Web UI之后越做越大,然后
9:27突然觉得DeepL的订阅费有点可惜。
9:29于是就有了翻译器,
9:31然后因为画图的需求很多
9:33就把画图功能也加进去了。
9:35画图模型里有很多很好的模型。
9:38云端的这类模型也一直在增加。
9:40因为是路由器所以有统计功能,还有基准测试,
9:44不知道哪个模型多快所以需要基准测试。
9:46这些功能就这样一个个加上去了。
9:48可以对比2个模型然后导出结果。
9:51[崔胜准] 什么都塞进去了啊。
9:53这些大概花了40天做出来的吧。
9:55[卢正石] 总共制作过程中消耗的token数量是
9:58方便公开吗?
9:59[申正圭] 我做这个的时候,Claude Code Max
10:02基本开了2个在跑,
10:04不够的时候就按需追加付费,
10:07在8台PC上跑的。
10:10用VM或者PC跑的,所以
10:13刚才说了是从24号开始的嘛。
10:15总共用了大概130亿个token。
10:18到这个项目走到这一步为止。
10:19然后从12月24号开始做,
10:22在CES上做了首次公开。
10:24之所以变成Backend.AI:GO,是因为做出第一版后
10:28在内部分享了一下,反响特别好。
10:31说这哪是什么Web UI啊,
10:32这东西可以替我们做宣传。
10:35于是就给它起了名字,变成了Backend.AI:GO。
10:38觉得这可能会成为面向普通用户的第一款产品。
10:42之后成员们只要在issue tracker上登记,
10:46就能自动开发。
10:47就这样既报bug也提新功能需求,
10:51跑一个自动开发的harness,
10:53中间不断有人介入修改UX,
10:56来回给反馈,就这样花了十天。
11:00从2025年12月24号开始做,到1月6号
11:04在美国CES上做了首次demo。
11:06然后那个说白了就是MVP。
11:09虽然确实能跑,
11:11但只是个产品雏形,之后的开发比那个
11:13又推进了大概4倍左右。
11:14[卢正石] 当时去CES的时候大概是0.9版本,
11:17那时候您给我们看过,
11:19从那之后到现在已经到1.1了,
11:23完成度提高了好多啊。
11:25所以今天的主要话题
11:28其实从现在才正式开始。
에이전트 코딩의 교훈 - 토큰 경쟁력과 고속 inference
11:30您做出100万行代码的那个过程,
11:34以及在那之前接触Agent编程的经历,
11:37还有做这个过程中的感悟,因为那些
11:40现在改变了的流程和方法论,
11:45您之前提到过嘛。
11:47要不从那个话题开始聊聊?
11:49[申正圭] 我觉得这也只是一个阶段性的分享。
11:53先说一点,
11:55开始开发这个产品的契机是
11:58他们说是holiday season,
12:00Anthropic搞了个token翻倍活动,那是起点。
12:03就想着还能再做点什么,然后就开始了。
12:06但反过来说,能使用的token量
12:09跟一家公司的,尤其是IT公司的竞争力
12:13直接挂钩,这是我得到的第一个教训。
12:15第一个教训是这个,第二个教训是
12:19投入这么多token,人们给了反馈,
12:22当开发本身不由人来做的产品出现时,
12:25会产生几个bottleneck。
12:27比如说大概半年前,merge queue是bottleneck。
12:31因为开发速度太快,
12:32它们自己写的代码之间会冲突。
12:34但到了现在这个阶段,merge queue已经不是瓶颈了。
12:37解决merge queue也不用人了,它们自己处理,
12:40甚至我无意中测试过的一种情况是
12:43两个AI在同一份源码上竞争,
12:47各自开发不同的功能,
12:49最终那些功能都能完好地开发出来。
12:51进步到了这种程度。
12:53所以到了下一个阶段,
12:55核心问题就变成了如何少用token。
12:59做同样的事情时,为了提升性能,
13:02模型通常选择的方法是用于in-context learning的
13:07不可见的thinking token,也叫thinking budget。
13:10在朝着增加这个量的方向不断进化,
13:13这个量增加当然最终结果会更好,
13:16但同时也意味着开发速度会变慢。
13:19所以怎样让它少thinking还能做好开发,
13:22而且少thinking本身
13:24就意味着开发速度会变快,
13:26在最终所有人都用AI编程的世界里,
13:30速度会变得非常重要,
13:32而加快速度的方法
13:33有两个。
13:33一个是让它生成更少的token
13:37却达到同样的结果,这是第一个挑战,
13:39第二个是真正把token生成速度做得非常快,
13:43这是第二种方法。
13:43最近就需要high-speed inference了。
13:47不是我们熟悉的ChatGPT做code generation的
13:50那个速度,
13:51而是能跑5到10倍iteration的
13:54超高速inference会变得非常重要。
13:57这两点是我最大的收获。
13:59做了这个之后。
14:00[崔胜准] 前几天出的Codex Spark,就是那种东西吧。
14:02[申正圭] 然后很巧的是Spark也开始提供服务了,
14:06看来大家看的方向是一样的。
14:07最终这场竞争会走向高速inference市场,产生需求,
14:12有充足资金的人
14:13会通过高速inference来提升竞争力,
14:16没有那么多钱的就得想办法让它少思考。
14:19需要高性能的地方让它多thinking,
14:21不需要高性能、只是简单作业或编码的地方
14:24让它少thinking,
14:26怎样应用adaptive thinking budget,或者
14:30怎样做一个能动态调控thinking budget的
14:32harness。
14:33今年冬天大概就会围绕这个方向发展吧。
14:36[卢正石] 毕竟都是trade-off嘛。
바이오 토큰 - AI 시대 인간의 인지 부하와 도파민
14:38确实会开始思考这些问题。
14:39什么都让AI来做,
14:42等待的时间就开始让人有点烦躁了。
14:45[申正圭] 确实等待时间是个大问题,
14:49但也正因为有了等待的时间,
14:52个人来说反而有了思考的契机。
14:55不是思考AI的事。
14:57而是开始思考关于自己的事,
14:59[卢正石] 最近大家把这叫"生物token"。
15:02有人说,能花在生物token上的时间变多了,挺好的。
15:06我们有位朋友这么说的。
15:07[申正圭] 我个人的感受是这样的。
15:09大概在前年的时候,
15:12我开始把一部分编码工作委托给ChatGPT,
15:15跟它一起写代码,
15:17从去年4月开始发生了巨大的变化
15:19就这样过了大概9个月,白头发增多了。
15:23白头发增加了很多,而且开始睡不好觉了。
15:26最忙的时候
15:286月7月那会儿,5小时refill出来之后
15:33觉得5个小时太宝贵了,就跑3个半小时,睡1个半小时
15:36就那样过了一段时间
15:38后来这些也逐渐实现了自动化
15:40代码本身大概有70万行
15:42总共写过的代码大约是120万行。
15:45而这120万这个数字对我来说
15:47个人而言非常有象征意义
15:49以前做TextCube项目的时候
15:51我花了3年写的代码
15:53全部加起来大概100万行。
15:54而同样规模的代码量,这次40天就写完了。
15:58某种意义上人生被极度压缩了
16:00用一个月时间写完了Backend.AI:GO
16:03写的过程中我在想,我真的只付出了40天的努力吗。
16:08回头看感觉老了3年。
16:11作为一个人来说。认知负荷并不会减少。
16:14无论你把多少事情交给AI
16:17认知负荷不会减少
16:19反而因为反馈不断涌入
16:21人的生活会变得很憔悴。
16:24但做的时候确实很开心。
16:25因为就像玩游戏一样,做了什么之后
16:28多巴胺就会注入,这跟最近流行的
16:32手游抽卡很像。
16:34花钱抽角色做各种事情
16:37赢了就会有即时反馈嘛。
16:39人们就是喜欢这个。
16:40用agent来写代码的过程
16:43会基于那种速度给人带来
16:46某种快感。
16:48因为以前对我来说是大工程的事情
16:50或者觉得自己达不到的目标
16:53现在能实现了。
16:55虽然是我达成还是它达成有区别
16:58但总之它就这样提供某种多巴胺。
17:01不过说"提供多巴胺"其实不太准确。
17:04但在被动接受多巴胺的同时,也在被不断地索取。
17:10因为做得顺利就会想做更多,
17:13做更多又很顺利,于是
17:15人就没法从中脱身
17:16陷进去之后确实能做出东西。
17:19确实能做出来,但会产生两个问题
17:21一个是像刚才说的,生活变得过度依赖
17:24变得憔悴。第二个是一旦某个时刻断掉了
17:28那个产品也会死掉,正在做的产品也会死
17:32人也会离开,虽然可以去找下一个产品
17:35去寻找下一个产品。
17:38因此我开始预感会有大量被抛弃的产品出现。
17:41这个角度有点不同
소프트웨어 과잉 시대와 인스턴트 앱의 등장
17:42这是另一个层面的问题
17:44以前软件行业或者说开发软件
17:47是有进入门槛的
17:49所以一旦做出某个软件
17:50只要能找到用户
17:53就能持续维护下去。
17:55但是快速开发出来的软件
17:58维护的意愿相对来说会弱很多。
18:01因为没有付出那么多心血的话
18:03如何管理维护这个问题
18:05其实一直都是交给AI的
18:08就会变成"交给AI做就行了"
18:10同时做类似事情的产品
18:12会在世界上大量涌现。
18:15比如说实现某个特定功能的
18:16某个开源项目只有一个。
18:18那用户就会聚集过去
18:19让它越做越大
18:21但这种现象以后会少很多。
18:24简单的项目自己做就行了。
18:26稍微复杂一点的产品
18:28世界上已经有几十个了。
18:30为了维护一个产品
18:32人类所需要获得的多巴胺的
18:35绝对量会下降。
18:36以前博客时代也有类似的情况
18:39博客的评论区
18:41全部转移到Twitter讨论之后
18:44很多认真写博客的人都放弃了。
18:46因为他们的主要动力之一
18:49就是评论区里来往的社交反馈。
18:52但那些反馈转到其他平台后就彻底消失了,同样地
18:56大量无人维护的开源产品将会涌现。
19:00所以我们将生活在一个软件极其丰富的
19:03世界里
19:04但其中大部分软件
19:06寿命不会太长。
19:08其中只有极少数能存活下来,
19:11剩下的要么用完就扔,要么留下两种结局。
19:14一种是从一开始就按用完即弃的概念来做的
19:17即时应用的概念,需要的时候就创建
19:21如果经常用就保存下来
19:23至于要不要保存
19:24比如说Google会帮你决定。
19:26Google开发的那种复用性较低,但
19:30能快速创建快速使用的即时应用
19:33将会大量出现
19:34其余的软件最终会先大量增长
19:38然后再收缩回去,我是这么认为的。
19:40人类生活所需的
19:41软件种类其实没那么多嘛。
19:43我用智能手机的时候有个感受
19:45智能手机早期,你们可能不信
19:49智能手机早期是没有文件夹功能的。
19:51应用文件夹。所以比如iPhone的话
19:55所有应用都直接显示在桌面上。
19:57然后就要翻9页什么的。
20:00后来有了自动整理功能,
20:03也有了应用文件夹功能
20:04然后某一天人们发现了一个事实。
20:06一个人使用的应用不会超过30个。
20:09而按使用频率来算,前10名的应用
20:12占据了总使用量的90%以上。
20:14这样就理清了一次。
20:16这些存活下来的应用有个共同点
20:18一是基于sociality。
20:21这个app并不是提供自身的使用价值
20:25而是提供只有通过这个app才能创造的使用价值
20:29第二种是与我们的life、日常生活密切相关的app
20:32比如办公类app 或者说是生产力
20:36也就是所谓的productivity app
20:38帮你整理文档之类的 像Obsidian这样的工具
20:41还有DEVONthink之类的 各种工具都有
20:44但这些工具有一个共同点
20:46就是它们都是长期存在的app
20:48就像刚才说的
20:51某个product 我们说产品吧
20:54有人持续维护和发展这个软件 这种
20:58有保障的产品最终才能存活下来
20:59开源也是一样的道理
21:01那些被广泛使用的开源之所以被广泛使用
21:04是因为它让人确信不会很快消亡
21:08[卢正石] 就是品牌建立起来了
21:09某种承诺已经在市场上传播开了
21:13[申正圭] 软件的数量虽然会猛增
21:16增长还会持续 但被广泛使用的
21:20软件数量
21:22我觉得会维持在一定水平 这是我的想法
21:25到今年下半年左右
21:26即便说SaaS要崩溃什么的
21:29最终那些SaaS都是可以自己做出来的
21:31Lablup的revenue officer亲自说Salesforce不怎么样
21:35自己就做了一个
21:36两天时间就做得像模像样的
21:39尽管如此 最终现在还是买了其他方案
21:41买了更便宜的其他方案在用
21:44买来用的原因就是
21:45反正其他事情也能以同样的速度完成的话
21:48不需要我做的事情 确实不该自己做
21:51所以SaaS市场不会消亡
21:54但现在在SaaS市场上成功的那些
21:57一年后是否还能成功 就不好说了
22:00[卢正石] 范式正在剧烈变化 所以很难说会怎样
22:03看到SaaS公司的股价下跌
22:06确实挺神奇的 但其中有些会存活下来
22:09与AI结合后打造出非常坚实的模式
22:12也有可能会重获新生
22:14因为有品牌在 那件事它做得最好
22:17在AI时代我们也做得更好
22:18也有可能会变成这样
22:20正圭刚才说的 正处于所谓的大变革期
22:24移动时代的大变革期也有过无数竞争
22:27AI时代 我们已经习以为常的
22:30环境正在发生变化
22:32在这当中是否还有我的机会
22:34所有人都在蜂拥而上
22:35我觉得现在就是这样一个时期
소프트웨어 역사로 본 세 번째 대변혁
22:38[申正圭] 软件正在经历一次大变革 这是确定的
22:42正因如此 大家都在说要做软件
22:44这种话也听了很多 我们公司内部也
22:47举办了大量研讨会 互相讨论
22:50在思考未来我们该走哪条路
22:53开始之前简单说一下
22:55这样的变化以前也发生过几次
22:58我们没有亲身经历过的那一代变化的话
23:01就是从打孔卡打孔、在OMR卡上涂卡
23:05突然变成用键盘写代码
23:06在方法论上发生了巨大变化
23:08然后一些小的变化就是
23:10在编辑器里可以用方向键移动光标
23:12来写代码 现在可能难以理解
23:16但以前是做不到的
23:17把多个源代码合在一起做成程序之类的
23:20再往后一个大变化就是智能手机的出现
23:24我们在搭建技术栈时 以前是以独立打包的
23:30所谓的package软件为核心
23:33然后考虑怎么deliver 比如从介质来说
23:36是用CD还是磁盘 或者我们叫ESD
23:39通过电子传输的方式来分发
23:42也有这样的讨论 还有freeware这种方式
23:45还有shareware 就是先用再付费
23:48然后还有商业软件
23:50去商场花钱买的那种 从这种分发模式
23:53智能手机和web大约相隔十年
23:56同时进入了社会
23:58通过网络来deliver
24:00甚至连deliver本身都不需要了
24:03通过web浏览器
24:05在远程运行的软件 我们说远程安装的软件
24:07现在我们通常叫web服务
24:10在远程运行的某种服务
24:13以服务形态存在的软件
24:14随之而来 开发相关的东西发生了很大变化
24:17web服务器变得重要起来
24:19支付系统之类的安全相关的东西
24:21也经历了一次大变革 然后在UX层面
24:25从以键盘和屏幕为中心
24:27突然出现了非常小的设备 或者屏幕大小
24:30可以变来变去的设备 输入方式也
24:32从物理键盘变成了触摸键盘
24:35这些都是巨大的变化 现在大概算是
24:38第三次这样的变革吧
24:40这次变化的是 刚才说软件本身也一直在变
24:43但现在正在变化的软件
24:46我们通常说软件就是写代码
24:48把那些代码叫做软件
24:51运营这些软件大部分是developer来做的
24:55Developer们在做 然后转向web之后
24:59需要operation 于是产生了ops这个职种
25:02而这两者在web服务中
25:04需要非常紧密地融合
25:07所以就诞生了DevOps这个领域
25:09既做开发也做运维
25:10然后在这个过程中 技术栈也是以前
25:13所有人都写所有代码
25:15变成了web服务的形态之后
25:17就有了所谓的backend 负责逻辑和
25:19服务器端的人
25:21然后做用户实际使用的界面
25:24或者设计用户体验和实际交互的
25:28frontend这个职种也单独出现了
25:30然后统管这些
25:31做规划的 或者说我都能做
25:34这种fullstack的概念也出现了 变得很多元
25:37所以核心是这个
25:39以前写代码这件事
25:41大约70~80%,而实现运营服务栈的部分
25:45占20~30%。大致分成这两块
25:47我们开发智能手机应用或者
25:50Web服务的时候,
25:52至少我们的下一代,如果不去学习这些概念的话
25:56以后就完全不会懂了,我是这么想的。
25:57因为现在我们做了Backend.AI:GO这个项目
코드의 가치는 0으로 수렴하는가
26:01上周五去参加了一个座谈会,在那里分享了一下
26:03在座谈会进行的过程中
26:05座谈会是从10点开到12点的。
26:0710点进去之前,我在咖啡店把代码review完提交了
26:11座谈会结束后一看
26:12大概有22个、21个PR提交了
26:15测试跑完,merge也都完成了。
26:17如果能达到这样的节奏
26:20实际上代码的价值就趋近于零了
26:23刚才提到的DevOps中developer做的事情
26:27如果工作种类不彻底改变的话,这些人要么会失业
26:31要么就会陷入比较困难的境地。
26:33但实际上这些人也会变得非常重要。
26:37软件本身不会凭空消失的。
26:39在我看来,现在说软件危险了
26:42其实并不是软件本身有危险。
26:44就像软件的定义从OMR卡片打孔
26:48演变到键盘编程一样,从键盘编程
26:52转向传达语义
26:53编程在不断演变,这会是一个持续的过程
26:56如果是这样的话,我认为产品的核心价值
26:58来自于引擎,所谓的引擎
27:00就是我们现在称为代码的部分所处理的东西
27:02本质上就是逻辑嘛。
27:03代码本身不是目的。
27:05我们为了创建某个服务
27:07为了让计算机处理这个服务
27:09把逻辑实现出来的东西我们称之为代码
27:12它的优点是确定性的。
27:14源自冯·诺依曼架构的
27:17顺序处理逻辑
27:20以及将结果deliver给用户的过程
27:23全部都是标准化的
27:25当然中间的medium是非常不稳定的
27:27比如网络啊、存储啊都是不稳定的
27:30但不管怎样,在其上运行的逻辑体系本身
27:33原本是固定的。
27:34到目前为止是这样。但是代码的目的
27:37是处理某种逻辑
27:39让事情运转起来,从这个角度来看
27:41这部分以后大多数都会由深度学习模型
27:45或者派生模型来承担,具体是什么还不知道。
27:48不一定非得是Transformer嘛。
27:50另一种处理逻辑的引擎部分
27:53会接管目前代码所负责的大部分工作
27:56这是我现在的想法。
27:58[卢正石] 其实世界已经对此做出了判断。
28:01事实上做模型的公司现在几乎占据了大部分的价值
28:05不是吗。
28:07做硬件的公司和做模型的公司
28:09而在它们之上的那些层现在都在被挤压
28:13不就是这么回事吗?
28:15[申正圭] 正如您所说
28:17价值往那边转移也是非常自然的
28:19所以未来所谓的软件
28:21内部会有一个AI核心引擎
28:24外面包一层控制层,使其像以前一样确定性地运行
28:29再加一个这样的layer
28:30这部分会具有重要的价值。
28:33我自己做了很多尝试
28:35现在用了Claude Code
28:37Codex当然也试过了
28:39Copilot不知道还有没有必要提,但也用过了
28:42Gemini CLI也在用。
28:44比如说Gemini CLI
28:46或者Codex这些,用Backend.AI:GO的话
28:50可以接上去在Claude Code里面
28:51直接使用。
28:52只要切换backend模型就行。
Claude Code의 진짜 경쟁력은 harness다
28:54但这样跑下来我发现
28:56Claude Code的核心竞争力不是Opus或Sonnet引擎。
29:00而是Claude Code本身。
29:02传统意义上的软件领域存在
29:04这个软件在刚才说的模型外面
29:07包裹着它,让它确定性地运作的
29:11这个软件逻辑
29:12这个东西非常强大,我越来越这么觉得。
29:15同样的模型,接到Claude Code上就能运行得非常好。
29:18[卢正石] 用Claude Code harness连接不同endpoint的时候
29:22您觉得哪个感觉最好?
29:24比如说Claude Code harness接上Codex 5.2
29:28这样用的时候感觉不错,有这种案例吗?
29:31[申正圭] Gemini 3 Pro。
29:32[卢正石] 那我今天就得试试了。
29:33[申正圭] 令人惊讶的是,Gemini接上Claude Code也能跑得很好。
29:37而且context窗口很大。
29:38这种模型占80%,外面
29:41让它变得确定性的逻辑代码。
29:43这就是传统的代码。
29:44大概占10%,加上让人和系统交互的
29:47UI/UX,或者AI之间的UI/UX
29:51像A2A啊MCP之类的
29:53我觉得都是过渡性的,这些加起来
29:56大概占10%,这可能就是未来软件的定义了。
29:59未来的软件
30:00不知道会不会到我们下一代
30:03到那时候学软件的意思就是
30:06其实是学模型是什么、模型是怎么运作的
30:09当然这些会出现在历史书里。
30:12我们也知道以前用穿孔卡编程,虽然没有切身体会
30:15但作为知识是知道的嘛。
30:16以前软件是那样做的啊
30:18穿孔卡之前是用真空管
30:22进去抓虫子所以叫bug啊
30:24这些我们作为知识是知道的。
30:25就像那样,以前软件是人手工写的啊
30:28哇那怎么全靠手写啊
30:31看到有人在写代码
30:32显示器旁边放着键盘
30:35旁边有人比着V字拍照,就像在历史书里看到的那样
30:37会以那种感觉来看待软件
30:40大概下一代的核心
30:41是直接负责那种逻辑的模型是什么
30:45如何构建模型,
30:47从模型的历史一路学起。
30:49这些内容大概会成为计算机科学
30:51的一个重要组成部分吧。
컴퓨터 공학의 미래 - 역사의 뒤안길인가, 재정의인가
30:53[卢正石] 我们传统上
30:55在计算机科学里学的数据结构啊、
30:58算法啊、OS、网络这些内容
31:02很多都要被淘汰了吧。
31:05[申正圭] 我认为这个速度会非常快。
31:08会比想象中快得多,
31:10正因如此,在这次变革中
31:13大家现在都能感受到的是,
31:15它现在不是处于某个固定速度的区间,
31:18而是处于加速区间,
31:20所以我们能看到加速度本身也在增大的趋势。
31:24[卢正石] 也就是说加速度的数值也在增长。
31:27[申正圭] 没错,加速度也不是恒定的。
31:28也有一些加速度保持不变的领域。
31:31比如说我们训练模型时使用的算力,
31:36每年都在以十倍的速度增长。
31:38但那个不可能一直这样增长下去。
31:40地球提供的物理极限,在地球上
31:44人类能达到的极限正在逼近。但是
31:47其他方面还在持续加速。
31:49比如说如果training的
31:51加速曲线无法维持的话,
31:53就在inference上投入更多资源,
31:56然后单次inference的in-context learning中
31:59通过增加token数也无法达成的话,
32:01就增加agent swarm的规模,
32:03也就是所谓的agentic AI,
32:04把多个agent组合起来使用。
32:06像这样,需要扩展的加速区间的领域
32:10一直在变化。
32:11inference承担了加速区间的角色,
32:14然后是agentic AI,
32:15数量从一个到十个、十个到二十个
32:19这样parallel地扩展,
32:20加速区间已经转移到了这个方向。
32:22就这样不断地转移,
32:24维持着这条曲线,所以
32:26这种变化我们虽然感受不太到,
32:29但据我所知以前曾经发生过一次。
32:30那就是阿波罗计划的时候,最终达成了目标。
32:34登上了月球,之后就像大家都知道的那样,
32:38人造卫星覆盖了整个地球。
32:40现在已经无法再想象那之前的状态了。
32:43之前的那个阶段,我们觉得不是理所当然的吗,
32:46和美国的人通话也觉得完全是理所当然的。
32:50总之在那之前有无法想象的人们存在,
32:52我觉得现在正好就处于那样的曲线上。
32:54应该说大概是Gemini计划刚刚制定的阶段吧。
32:59跟太空开发比的话还没到阿波罗阶段,
33:02大概就是刚刚成功把人送上太空的那个阶段。
33:05[卢正石] 在我们回到agentic编程话题之前,
33:09想最后问正圭一个大问题,
33:12然后再往下聊。
33:14其实最近大家都挺累的。
33:18因为大家都感受到这个加速度在不断增加,
33:20所以都在努力,但是
33:23我这么努力到底有没有意义。
33:25因为别人也在做跟我一样的东西,
33:28在价值观的范式转变
33:32还没有发生的情况下,用过去的框架
33:36来面对未来的感觉。
33:39所以感觉视角需要以某种不同的形式去转变,
33:44现在就算说错了也没关系,
33:47脑海中浮现的那些想法——
33:49"我觉得现在应该做这样的事情"
33:51就随便畅所欲言吧,您觉得有哪些?
Stanford CS 커리큘럼 변화와 영문과 비유
33:54未来会变成这样的,所以不要太担心这个,
33:58现在最重要的是做这件事——
34:01如果硬要总结的话,能想到什么
34:05就请说说看?
34:05[申正圭] 我们公司Lablup上周发生了一件事,
34:09CFO有点崩溃了。
34:13因为CFO需要写一些东西,
34:16但怎么想都是交给我来做快得多。
34:19我又不是自己亲手处理那些,
34:22在旁边看了几次之后发现,交给正圭的话
34:25三分钟就能出来的东西,自己却要花两小时。
34:27于是开始交给我处理,
34:28最后开始用上了Claude Code。
34:31花了三十分钟学习之后,
34:35最终自己也能在三分钟内搞定了。
34:37同样,我们做内容的同事
34:41也需要制作大量的资料。
34:45从官方文档到营销材料、
34:48技术文档等等各种东西。
34:50跟这些人反复沟通、交换数据、
34:53自己再整理,这个过程
34:55实在太累了,来找我倾诉之后
34:58那位也变成了Claude Code的忠实用户,出去之后
35:02不到一周就搭建了一套庞大的harness。
35:05在GitHub上,而且两位都是,
35:09两位其实都不会直接用GitHub。
35:11他们是做了能帮自己操作GitHub的命令。
35:14两个人的工作状态变得非常平和了。
35:16就是那些比较复杂的事情嘛。
35:19比如说最近很火的Claude Code插件里面,
35:22有一个特别火爆的,
35:24说什么把法律界都搞乱了之类的,也不是那种,
35:26根本不需要走到那一步,
35:28从非常简单的东西开始的。
35:31从什么都没有的状态开始,
35:33先从创建CLAUDE.md开始,
35:36通过self-feeding,
35:38自己构建自己的东西,这个过程大概花了三十分钟,
35:41之后两位都——虽然都不是程序员——
35:45进入了加速曲线。
35:46那个经历对我个人来说印象很深刻,
35:49刚才说到软件的重要性
35:52是不是会逐渐消失,
35:53在我看来应该是完全相反的。
35:55所有人都会进入这个AI的加速曲线,
36:00而且很快就会,
36:01就在这次Claude Cowork——CFO学会使用的那天,
36:05晚上Claude Cowork的Windows版就发布了。
36:08反正用那些工具也能做到同样的事情。
36:11虽然权限会受到一些限制,
36:12当所有人都开始使用这个东西的时候
36:16可以说现在的关注点还在技术层面,
36:20或者说是程序员、研究人员,这些和计算机
36:23打了一辈子交道的人为中心
36:27先是兴奋,然后是焦虑,然后是FOMO,
36:29走的是这条曲线嘛。
36:31同样的事情会传递到比我们想象中更广泛的人群
36:35当中去。
36:36大概在不太久的将来,
36:39当然也会有被边缘化的人。
36:41比如说那些和计算机完全没有关系的人
36:44会接受得更晚,
36:45他们是在和自己一起工作的机器人到来的时候,
36:49机器人开始和自己一起工作的时候
36:52才会第一次真正感受到,
36:53这个变化现在看起来已经很大了
36:56但其实还只是茶杯里的风暴。
36:58即使是像我们这样纯IT公司
37:01也有之前一直处于边缘、最近才加入进来
37:05开始感受到加速的人,而且这个方法
37:08其实并不难。
37:09和AI一起工作,比如说要下载skill,
37:13有几十个skill,下载这些之后
37:16我也突然变强了,
37:17在我看来这是空想。
37:20那样做的话你的工作量是不会减少的。
37:23基本上要想进入这个加速区间
37:27不是从复制别人做好的、
37:28属于那个人加速区间的skill
37:31之类的东西开始
37:33而是当你开始做自己的东西
37:36那个加速才会真正开始。
37:37因为核心必须是自己的工作量减少。
37:40不是去学新东西
37:42学别人做好的什么东西
37:44而是把自己现在在处理的事情
37:46不断地委托出去,这样做要快得多
37:49大家很快都会感受到的,
37:51到那时候会带来和现在不可同日而语的冲击
37:55我个人是这么认为的。
37:57真正的浪潮从现在才开始。
37:59而且那些新进入的、IT之外的,
38:04虽然在IT行业工作但不是做编程的人
38:07开始适应之后
38:09我们刚才之前
38:10说到的training、inference加速曲线
38:13加速曲线保持的区间一直在转移,
38:17下一个转移的方向大概就是扩散性。
38:21和现有的使用场景相比完全不可同日而语
38:23在更多样的领域被使用
38:25从而维持住这个加速区间吧。
38:27[崔胜准] 虽然很讽刺,但现在正是以匠人精神
38:32打好计算机科学之类的
38:33工程基础的好机会嘛。
38:37因为以后这个学科本身可能就不存在了。
38:40[申正圭] 学科本身不会消失。
38:41只是学科的性质会改变。
38:43我觉得计算机工程本身不可避免地
38:46重要性只会越来越高。
38:48它会变成一门理解
38:49社会如何运作的学问嘛。
38:52从这个角度来说重要性确实会增加
38:55但和我们现在看到的计算机工程
38:58形态会有所不同吧。
38:58[卢正石] Stanford大学,
39:00Stanford CS的课程体系怎么变化
39:03我觉得很好地反映了最前沿的动态
39:06大约三四年前
39:09博士课程或者研究生才学的东西
39:11现在都是本科二年级的课程了。
39:13现在本科二年级和三年级初的课程
39:17都已经在YouTube上公开了
39:19大四在学什么我都不知道了。
39:21我也好久没关注了,得去看看。
39:22大一基本上是通识课之类的
39:25以前有用PyTorch
39:28编程之类的课程
39:30那个好像也没有了。
39:31这真的很反映时代,在计算机科学和工科
39:35这些流行之前,很久以前的时代
39:38英语系是最好就业、最优秀的专业。
39:41因为学英语
39:43带来的收益是压倒性的。
39:45但现在看计算机科学,感觉正在变成英语系。
39:49学会了这个之后,拿着它去更广阔的世界闯吧,
39:53大概是这种感觉。
39:54我觉得正在变成那样。
39:56我们进入原本预定的主题吧?
에이전트 코딩 실전 데모 - 컨텍스트 빌딩부터 시작
40:00[申正圭] 那我先分享一下这个。
40:02重点是,在看的各位会发现其实并不难。
40:06只要装了Claude Code
40:08或者Gemini CLI就可以试试看。
40:12这就是我的VM。
40:13那我就随便试试看。
40:15试什么好呢?
40:16那试什么好呢?
40:17先来试一个和编程距离最远的事情。
40:21写一段春节祝福消息试试?
40:24春节,和卢正石崔胜准AI Frontier相关的来试试。
40:29我就直接运行Claude了。
40:31顺便说一下,我不是跳过permission,
40:34而是在VM里面运行,省得中间要一直点确认。
40:38[卢正石] 这也是个好技巧。
40:39[申正圭] 在自己电脑上跑那个我没那个勇气。
40:41那我们开始试试看。
40:43不过有几个技巧,我们通常是把自己想要的
40:46直接指示给AI嘛。
40:48给Claude AI模型。
40:50但基本上模型有它自己知道的知识
40:55不管有没有RAG,通过in-context learning
40:59它能探索的空间就确定了。
41:02如果我们有想要的东西
41:05不要一步到位地直接说出来
41:07我个人觉得这样效果会好得多。
41:09比如说现在要做的这个,
41:12先探索一下卢正石崔胜准的YouTube频道
41:18然后告诉我都讲了什么内容。
41:21我去年年中之前一直都用英文写的。
41:26因为有token数量的问题,而且觉得用英文
41:29效果会更好这样一种想法。
41:33但从秋天开始我就直接用韩语输入了。
41:35原因有很多。
41:36一个是质量上并没有太大的差别。
41:40第二个原因是,我发现我自己才是瓶颈。
41:44因为我打英文本身就是瓶颈。
41:46我创建的skill和command,
41:48这些都是用英语写的,
41:50因为我让它用英语来写。
41:51但我自己输入的消息用韩语打,
41:53甚至连键盘都不用,
41:55直接按Mac上的麦克风按钮,
41:57用语音输入要快得多,
41:59所以从某个时候开始我就全部用韩语输入了。
42:02供大家参考。
42:03不过如果大家要创建skill或command的话,
42:07如果是用韩语写的,让它帮你转成英语,
42:10在token方面可能更划算。
AI에게 존댓말을 쓰는 이유
42:11[崔胜准] 您用敬语吗?
42:12[申正圭] 我一直用敬语。
42:14[卢正石] 我觉得这是对AI的一种respect吧。
42:17[申正圭] 倒不是因为这个,还有另一个原因。
42:20从一开始我就用敬语了。
42:22因为我们打交道的对象大部分是人,
42:25偶尔用用AI倒无所谓,但如果大量使用AI,
42:28再去和人交流的时候就没办法了。
42:30毕竟是人嘛,不知不觉中我的说话方式
42:32会在两边相互影响。
42:34一旦开始对AI说随意的话,
42:36我可能也会对人说随意的话。
42:38所以为了警惕自己的习惯,我坚持用敬语。
42:41不管对AI还是对人,我都用敬语,
42:45以防自己不小心说出不礼貌的话。这是我个人的做法。
42:49[卢正石] 我一天中也有一半以上的时间在跟AI对话。
42:52[申正圭] 所以我会说很多看似没必要的话。
42:55比如对AI说"好的",
42:57其实完全没必要说这种话。
42:59就是结果出来的时候。但我还是会说,不是因为
43:01这样做结果会更好之类的原因,
43:04得让公司买台电脑了。
43:05[卢正石] 您可能需要加内存了。
43:07内存成了瓶颈的时代来了。
43:10三星电子和海力士的股价持续飙升
43:14也说得通了。
43:15[申正圭] 那么我们在卢正石和崔胜准的YouTube频道上,
43:24从给订阅者发送2026年春节newsletter问候开始,
43:32之后每当有各种活动的时候,
43:37尝试撰写并发送通知邮件。
43:44在这个过程中做了很多调研。
43:49需要考虑的事项有哪些呢?
43:54现在正在持续询问所需的内容。
43:56[崔胜准] 是在积累context吧。
43:58把这些内容放进context里。
43:59[申正圭] 这样一路做下来之后,我想做的事情是有的。
자동화의 핵심 - 결과물이 아닌 생성 장치를 만든다
44:03我们现在要做的是这个。
44:05要做这个,但不是通过现在这段对话
44:08来直接完成它。
44:09而是要把整个过程全部自动化。
44:12所以在运行的时候我们继续闲聊吧。
44:14所以通常我会同时开五六个窗口来工作。
44:16如果token生成速度变快的话,
44:18越快的话这个步骤就越不需要了,迟早会消失的。
44:21[卢正石] 您同时跑大概8个吗?
44:23我大概同时跑3到4个,
44:26七八个的话我实在跑不了。
44:28[申正圭] 我最近不会跑那么多了。
44:30毕竟token很快就会到limit。
44:32它说那我们具体推进吧,但我们要做的
44:35不是推进这件事本身。
44:36而是要搭建一个项目,
44:43让这些工作都能实现自动化。
44:46平台搭建现在先不做。
44:49先不做那个,就做到邮件撰写吧。
44:53请把需要的内容写在MD里。
44:57这样的话基于上面的内容,
44:59这个项目里会生成一个叫CLAUDE.md的
45:02类似soul document的文件。
45:04不管我们用Claude Code还是Claude Co-work,
45:08只要在这个文件夹里启动,
45:10它都会最先读取这个文件。
45:11大家应该都很熟悉了。
45:13但就是先把它创建出来,
45:15然后不断反复打磨,
45:18把需要的东西逐步添加进去。
45:19[崔胜准] 但您刚才不知不觉没说AGENTS.md,
45:22而是说了SOUL.md。
45:24[申正圭] 我通常称之为soul document。
45:26像这样,这里面会包含基本内容,
45:29也会有文件夹结构,但我们还需要把它
45:33应该始终执行的行为也写进去。
45:35里面有目录结构的内容吗?
45:41第二件我通常会做的事情是
45:43记录工作进行到哪里了。
45:45当多个agent分工协作的时候,
45:51关于进展到哪里、需要做什么的内容,
45:57分别记录,这只是个人偏好。
46:01用PROGRESS.md和PLAN.md来管理吧。
46:07然后每次重新开始的时候读取这两个文件,
46:11让agent知道
46:15自己需要做什么。
46:18这样来更新CLAUDE.md吧。
46:21当我刻意要给其他agent
46:24分配任务时,我经常用这样的措辞。
46:27比如"当你之后要接着做某件事的时候",
46:29或者"重新启动时你可能会忘记所有内容",
46:32这类表述我会尽量避免。
46:34不是因为别的原因,而是Claude模型本身
46:37被设计得非常defensive,
46:39而且根据最近的研究结果,
46:41它能察觉自己处于被测试的环境,
46:44正是因为这种context感知能力,导致很多测试
46:47失败了,有这样的研究结果。
46:49所以为了不让它变得防备,现在交代的这些任务
46:52不是要修正你,
46:54而是要准备给跟你协作的其他agent用的数据,
46:57我会在不知不觉中暗示这样的意思来写。
47:00我是这样构建的,
47:02这样它就不会觉得自己的存在受到威胁。
47:07说着说着总是会拟人化,但这不是拟人化。
47:09这个模型生成token的方式
47:12就是这样设计的,所以我们要去适应它。
47:15不能理解为它真的在那样思考
47:17不能那样去理解。
47:18只是结构上就是那样的。
47:19token生成结构就长这样。
47:21刚才记录了两条对吧。
47:23那么在做这些事情的时候
47:27需要什么样的agent、command、skill,思考一下
47:35然后把想法告诉我。
47:37我不是让你去做。
47:39如果直接让它去做的话
47:40因为缺少Claude Code这个上下文
47:43它会在当前工作项目的
47:45根目录下的子目录
47:47直接创建出来。
47:48但如果我们要和Claude Code harness集成的话
47:51都得在.claude目录下按照准确的规范来创建。
47:55所以会有那个步骤。
47:57归根结底搭积木就是这样的。
47:58我想做什么是很清楚的
48:01但那只是在我脑子里清楚
48:03为了把它放进Claude Code的上下文记忆里。
48:06有些我不知道的东西它也能知道。
48:08它会不断让AI去做预先调研。
48:11[崔胜准] 可以理解为一种offloading。
48:13[申正圭] 现在它说这些需要command
48:16那就调查agent command key的结构之后
48:23按照那个结构在下面
48:27把上面提出的那些创建出来。
48:31我会加上"按照准确的格式"。
48:33因为Claude Code用的不是纯markdown
48:36前面是YAML后面是markdown。
48:38[崔胜准] 那个slash command是
48:40创建让Claude调用的slash command吗?
48:45[申正圭] 大量使用command的原因是
sub agent와 병렬 작업 운영법
48:49子agent没法调用其他子agent。
48:52去年初到年中还可以
48:53但因为经常出现无限循环就取消了。
48:56command可以把多个子agent
48:58并行执行或者做chaining。
49:01所以它是为了从外部使用的
49:03而且agent也可以调用command。
49:06所以正在开发中。
49:08你看如果直接让它做的话,它不会加这些东西。
49:11[崔胜准] 但去年夏天之后正圭说的时候
49:16写规范大概要花二三十分钟
49:18现在风格又变了呢。
49:20[申正圭] 现在不用写规范了。
49:21[卢正石] 就是通过这样的禅问答
49:23一起构建上下文。
49:25[申正圭] 而且时间差不多也是30分钟左右
49:27后面20分钟打个比方就是用来"折磨"它的。
49:32我来演示一下怎么折磨。
49:35[卢正石] 我在实际工作中也感觉到,就算前面不一定需要
49:39每次新开会话都要先让它读取所有内容之后
49:43得先铺垫几轮对话
49:45它才不会脱离上下文跑偏。
49:48所以做alignment的时间
49:50开始的时候总是得花的。
49:52[申正圭] 为了后续可以参考,添加保存和读取的功能
50:01让agent和skill都能使用它。
50:07这样做的原因是每次从网上调研都很费时间。
50:11这个存在哪里呢?
50:13[崔胜准] 就是预先做一个cache。
50:15[申正圭] 就叫reference吧。
50:16这样的话调研的内容都放进去
50:18之后创建的时候、写文档的时候
50:21都可以基于那些内容。
50:23可以自动更新它
50:25或者搜索有没有新内容并添加进去
50:27做成command或者agent都行。
50:30现在来折磨一下试试。
50:32一直输入的话它会做queuing。
50:33所以我通常会一直打字。
50:36要基于这个来构建的话需要退出再进来。
50:38因为刚才创建的skill set这些
50:41默认是没有被识别的。
50:43做完之后就这样退出再进来。
50:45[卢正石] 做完之后。正圭用Claude Code
50:48或者用这类工具的时候
50:50外部做的那些额外harness
50:53比如用TDD来折磨它
50:56或者让它做超多工作
50:59或者拆分任务分发出去
51:01那些一般不用吗?
51:03[申正圭] 一个都不用。
51:04我的目的是让自己的工作量减少。
51:07反正我跟团队强调的也是这个
51:10之前打这个出来的
51:12有个叫dev-workflow的东西。
51:14在Lablup多人协作的情况下
51:18有一些统一规范的harness是有的
51:21但除此之外尽量从减轻自己工作
51:25处理自己想做的事情开始,我建议这样做。
51:29[卢正石] 先铺好skill
51:30刚才也是针对某个工作
51:33一开始做的是铺设背景的工作
51:36那些也是跟脑子里的目标
51:39做最基本的alignment程度的seeding
51:42可以这样理解吧。
51:44不会多加没必要的东西。
51:46[申正圭] 看这个的人里面写代码的应该能感觉到
51:49跟写代码非常像。
51:51写代码的对象变了,用语言来
51:54就是用自然语言代替编程语言来编程
51:58而自然语言编程的对象不是你最终要实现的东西
52:01而是创建一个帮你编程的AI。
52:05从这个角度来看就会非常容易理解。
52:08[崔胜准] 但像现在这样一条线走下来的时候
52:10认知负担不大,问题是一旦有了欲望
52:13人同时并行做好几个才是问题。
52:15[申正圭] 我的核心是让它从多个角度自我批判。
52:20而且让它自我批判之后
52:23并不是要改变那个结果。
52:24最终现在每天运行一到两次的
52:28可以说是harness的自我更新。
52:31[卢正石] 如果用好这个,叠加几个harness的话
52:35那就是一家公司了。
52:36我们公司最近的业务方向就是这样的
52:38单元业务harness,以及控制这些harness的
52:42上层harness。这个项目我们是从很简单开始的
52:46做着做着就变复杂了嘛。
52:48那正圭你觉得需要拆分成agent单位
52:51各自分工的时候
52:52那个拆分的粒度大概是多大?
52:55[申正圭] 我个人定了一些规则,编程的话
52:59是按文件为单位来划分的。
53:01好,我来读一下初稿。
53:04一起看看吧。
53:05这么平淡的话其实没什么好说的。
53:08[崔胜准] 总之重要的是不要直接上手改
53:11而是先去修正生成内容的那个机制。
53:14[申正圭] 就是我自己不直接碰最终产出物
53:17不亲手去动它。
53:18就算想改也尽量不碰,一定是去改那个生成它的东西
53:22不断地iteration,而且iteration也不是我来做
53:25而是给它下指令让它去做iteration
53:27让它不断地更新。
53:29所以像这样直接给出产出物是一种情况。
53:32第二种是如果我之前有发过的邮件
53:35就直接把那封邮件给它。
53:36让它提取这封邮件写作时用的语气
53:39或者写作方式
53:41以及内容的方向性
53:44然后让它按照这些去修改agent来写。
53:47所以修改的部分就变成了这样。
53:50看来它打算只用skill来做。
53:53啊,要不要明确写成sub agent?
53:55专门做sub agent的原因是为了并行作业。
53:58[卢正石] 你打算同时跑多少个sub agent?
54:01[申正圭] 看情况,我处理大量工作的时候
54:03同时跑50个都有。
54:05[卢正石] 是从一个harness里fork出50个sub agent吗?
54:09[申正圭] 特别是那种相同的任务但每个单位要很小的
54:13比如翻译100个文档
54:14遇到这种情况
54:16就让每个agent负责4个文档并行处理
54:19得这样安排,为什么要限定数量呢
54:21因为不这样的话context会爆炸,直接崩溃。
54:25翻译任务的话这是经验之谈
54:27所以尽量让每个agent只负责4个。
54:31那就同时起25个了嘛。
54:33[卢正石] 现在因为我们设定了一个简单的项目
54:37你才这样演示,大型项目比如说
54:39Backend.AI:GO也是完全按这个流程来做的吧。
54:43[申正圭] 没错。这套东西已经高度成熟了。
Backend.AI:GO의 자동화된 개발 파이프라인
54:46所以在那边是周期性地运行
54:49如果GitHub issue tracker上有新注册的issue
54:52就去验证那个issue,或者基于当前代码
54:56规划应该怎么实现,制定ground plan
54:58放进队列,放进去之后别的agent再来取
55:02取走之后去执行,就是这样的架构。
55:04但这并没有用什么复杂的工具
55:06全都只是cron。
55:08Claude有个-p选项。
55:10就是直接跑prompt的,然后还有指定使用哪个agent的选项。
55:14也可以指定这个。
55:15就用这个每15分钟跑一次。
55:17做了一个命令来找这些issue然后去处理
55:21找到新进来的issue,用某个skill
55:25去验证issue之类的,都做成了命令
55:28然后用Claude -p来执行那些命令
55:31每15分钟周期性地跑,就是这样。
55:33[崔胜准] issue是谁提的?
55:34[申正圭] issue是很多人提的。
55:36所以过一段时间这个自动化之后
55:39发邮件这些都会自动化
55:41pull request的话已经处理了764个了。
55:45[卢正石] 干得不错嘛。
55:46[申正圭] 所以就这样,一旦issue被发布
55:49比如这些issue里有一些是我发布的
55:53还有我们振源提交的issue
55:56就是这样注册上去的
55:57原始issue是这样注册的。
56:01这些都是注册上来的issue
56:04然后Claude Code读取之后分析应该怎么处理
56:09进行了分析。
56:10注册了issue之后,一旦这个issue被注册
56:14[卢正石] 谁来领取?
56:16[申正圭] cron里设好的那个agent会领走。
56:19它领走之后就去开发了。
56:21[卢正石] 它自己验证完没问题的话
56:24就直接自己merge完提PR了吧。
56:26[申正圭] 有时候需要跑很多测试
56:29那就自己跑测试,把结果作为反馈
56:34再由另一个开发agent去解决。
56:37[卢正石] 看起来很多人
56:39其实都是agent之间在互相协作。
56:42但issue的起点还是人对吧。
56:46[申正圭] 有时候是人提的,有时候也直接让AI去提。
56:49[卢正石] 我们现在剩余的、还没处理的issue
56:54比如说基本上大部分
56:56都是正圭的账号
56:59那些是人写的吗?
57:01[申正圭] 因为是我在跑这些。
57:03不是GitHub自带的功能
57:06而是跑这些东西的账号是我的GitHub账号
57:11所以都挂在我名下。
57:12比如你看这里
57:13这个就是AI自己写的。
57:16这个epic是在前一个epic之前做的
57:19就是加了一个截取所有页面截图的功能。
57:23让它能看到自己,然后基于这些找出可以改进的地方
57:26全部筛选出来,让它把issue都单独发布出去。
57:30所以你看这里就有这些sub issue。
57:33然后这个已经finalize了一次
57:36觉得需要跑一下测试,就在跑测试。
57:39可能有安全问题的部分
57:41或者有可以优化的部分
57:45就把这些跑一遍然后逐步添加进去。
57:49就这样实现了自动化。
57:51[崔胜准] 这里面你实际会读的有多少?
57:55[申正圭] issue我都会读。
57:57issue解决之后
57:59会生成一份我能读的
58:00report。
58:02比如说我需要读这个
58:04就会像这样在1月16号生成
58:08写着有什么问题。
58:09问题是这样的,本来每个issue都会留记录
58:12不过读完就删的情况也挺多的。
58:14不需要的话就不写。安全评估做了,性能怎么样,
58:18质量怎么样,技术上做了什么决策,
58:21实现方面改了Bash,做了本地化,Python也改了。
58:25作为一个人,为了跟上它的节奏
58:28我会标注出这些需要学习的内容,然后去做。
58:30去学习这些东西。这份tech report
58:34不仅是向我汇报的用途,它做的技术选择
58:38我也可能不了解嘛。
58:39细节一点都不懂。这种情况下,它还有个功能是告诉你需要学什么
58:42在后面提示你。
tech report - AI가 사람에게 공부 과제를 내주다
58:44实际上写代码就只写了这么点
58:46但报告有这么多。
58:48[卢正石] 现在您展示的
58:49这个workflow,正圭您设计的工作流程
58:53如果不只是接上Backend.AI:GO
58:56而是接上财务、营销、内容的话
59:00公司就能这样运转起来了嘛。
59:02[申正圭] 是的。我们公司的话
59:04比如说技术事业报告书、技术事业
59:07今年的事业计划书要写嘛。
59:09事业计划书到去年为止都是人来写
59:11但从今年开始,人只负责持续discussion
59:14写的这件事本身不再由人来做了。
59:16因为我们把reference,比如说
59:18超过250份文档
59:19全部丢给它了,还做了转换成Markdown的工具
59:24基于那些持续做一致性审查,
59:27然后2026年今年这个月的话
59:292026年2月的新闻也让它持续爬取
59:32判断这个方向是否正确,之前预测的哪些对了
59:35哪些错了,也让它判断,
59:36我们今年的技术事业计划书应该怎么修改
59:40全部给出建议,像这样持续做self review
59:43然后留下需要和我们discussion的要点,是这样做的。
59:46这个是我和比如说CFO在用的。
59:49CFO不会写代码。
59:51但现在会做commit了。因为我做了一个叫sync的命令。
59:55[卢正石] 他是在supervise,活都是AI干的嘛。
59:58Claude Code一起分担着做嘛。
비개발 직군의 AI 적응 - CFO와 콘텐츠 담당자의 사례
1:00:00[申正圭] 就是这样的结构,还有要学什么。所以学了很多。
1:00:04[卢正石] 但这个workflow也不是
1:00:07突然一句"嘿,我想做这个"
1:00:10一句话就开始的,而是像刚才展示的那样
1:00:13这样把细节一步一步地
1:00:16把自己想要的目标
1:00:18和agent需要做的事情的context
1:00:21扎扎实实地对齐,这些过程都做了的嘛。
1:00:24其实这才是关键的点。
1:00:26[申正圭] 开始重新做其实已经很久了。
1:00:27总之做成适合自己用的
1:00:30对我来说是最优先的,
1:00:32最近Claude出了一个叫Marketplace的功能。
1:00:35叫插件Marketplace,可以把这种harness打包
1:00:38然后公开的功能出来了。
1:00:40基于那个,想用的人可以用
1:00:42目前只在公司内部以internal的形式公开了。
1:00:44因为和公司内部系统
1:00:45有不少coupled比较多的部分。
1:00:48[卢正石] 我这里有个商业方面的问题,
1:00:50现在CEO对于这种理念也好
1:00:55实现也好,世界的方向性也好
1:00:59以及现在这东西能做到什么程度
1:01:00都很清楚,所以才能一下子做出来。
1:01:03但组织跟上的速度怎么样?
1:01:06我知道公司里都是很厉害的人
1:01:09但即便如此,有些人能直观感受到
1:01:13有些人则还没适应过来
1:01:15内部应该也存在这种差异吧,
1:01:18人与人之间发生的变化是怎样的?
1:01:21这个我挺好奇的。
1:01:22[申正圭] 就像您说的,每个人差异很大。
1:01:24而且幸运的是我们招到了很多优秀的人
1:01:28一起在做
1:01:29反而有些人经历了更艰难的时期。
1:01:33因为自己觉得擅长的事情
1:01:37和自己需要擅长的事情,以前是一样的
1:01:40但某个瞬间就分开了嘛。
1:01:41不过好的一面是
1:01:43因为内部经常聊这些话题,
1:01:46不管是研讨会形式还是路过吃饭的时候
1:01:50就这样围绕这些主题聊了将近一年
1:01:53比起止步于危机感
1:01:56现在都在尽量去适应了。
1:01:58没办法。
1:02:00以前很厉害的人
1:02:01在这之后还能厉害,当然没有保证。
1:02:04大家都是,有些从头开始的人
1:02:07反而做得更好的情况也有,
1:02:09这个我们也感受到了。
1:02:11同时也感觉到,那也只是现在的情况嘛。
1:02:14但三个月后还会这样吗,那就不好说了。
1:02:17因为AI,我们内部
1:02:19就说两个月。
1:02:21现在不行就现在不行,
1:02:25不是马上要做的事就无条件推迟。
1:02:27这个其实在公司内部推广
1:02:28是花时间最长的一个概念。
1:02:30最近接受这个概念的是我们CTO。
1:02:33因为我一直让他推迟,现在又不行。
1:02:36之前也那样推迟过一次。
1:02:39然后不久前终于爆发了,说到底要推到什么时候。
1:02:41所以我说4.6出来了
1:02:43现在试试吧,他试了之后说"现在可以了"
1:02:48彻底顿悟了。
1:02:50[崔胜准] 这就是觉醒时刻。
1:02:50[申正圭] 那次觉醒之后
1:02:52他把整个HWP给disassemble了。
1:02:55所以公司内部现在没人用HWP文档了。
1:02:58[卢正石] 赶紧做成服务
1:03:01对我们韩国的公务员系统不也很好吗?
1:03:04[申正圭] 不好说。
1:03:04真的能带来好的结果吗?
1:03:07大家应该都有一两个这样的东西吧。
1:03:09[卢正石] 对。那些都是公司里各自藏着的小窍门。
1:03:14小技巧。因为积累那些小技巧
1:03:18是需要时间的嘛。
1:03:19那些时间上的优势现在成了公司的优势
1:03:23这种情况还挺多的,从skill Marketplace下载下来
1:03:26整个生意就完蛋了,而不是
1:03:29总得留点藏起来的底牌才能活下去吧。
1:03:33[申正圭] 我觉得这其实是人们
1:03:35对Claude有多信任的问题,
1:03:36工具本身并不是关键。
1:03:38如果有人问"你能分析HWP文件
1:03:42然后做编辑之类的操作吗?"带着这样的疑问
1:03:45去提问的话,得到答案
1:03:48并不需要花很长时间。
Lablup의 핵심 가치는 어디로 이동했는가
1:03:49[卢正石] 这里我想问正圭一个问题,
1:03:53可能有点自相矛盾的意味,
1:03:57Lablup这家公司本身就是凭借高深的专业知识、
1:04:02对时代趋势的洞察力、
1:04:05以及优秀的工程师团队构建起来的竞争优势。
1:04:09但从您刚才说的这些来看,
1:04:11Lablup公司自身
1:04:14也有很多——就是我们过去一直
1:04:16认为是公司独有优势的那些部分,
1:04:19一键就消失了,您应该经历过很多这样的情况。
1:04:22那么从公司的角度来说,"什么消失了,
1:04:26而我们公司的价值
1:04:29在这里"——我想您应该有过这样的定义。
1:04:32我们必须朝这个方向走才能活下去。
1:04:34[申正圭] 有的。最大的变化是,比如我们正在做的
1:04:39项目、产品,已经打磨了将近10年。
1:04:41从asyncio还不存在的时代就开始做的工具,
1:04:45比如说用现在的技术和现在的AI
1:04:48从头重新做我们的工具需要多久。
1:04:50在已经知道现在所有这些知识的前提下,
1:04:52那大概3个月就能做出来。
1:04:54因为那些无数的边界情况和问题我们都知道了。
1:04:58在不知道的情况下要多久,那就比较难说了。
1:05:01因为那些无数的边界情况
1:05:03其实大多数来自部署环境的多样性。
1:05:06有些是完全想象不到的情况。公司今年的目标,
AI를 위한 인터페이스로의 전환
1:05:11特别是我们称之为fast track的
1:05:12MLOps和内部Backend.AI核心的目标是
1:05:15不是为人类设计的接口,而是专注于为AI设计的接口。
1:05:19这个方向。
1:05:20我们有CLI、有GUI,什么都有,
1:05:23但一个根本性的疑问——去年下半年、去年冬天我们共同讨论的是
1:05:29这东西将来真的是给人用的吗?
1:05:30未来也是。所以,尽可能在今年上半年内
1:05:34让它成为AI最好用的工具,这就是我们的目标。
1:05:37[卢正石] 客户的定义,不是人,
1:05:40而是比人更聪明的,或者是
1:05:44从人那里接受任务委托的agent
1:05:46会把我们当作tool来调用——您是这么想的吧。
1:05:49[申正圭] 比如说一起发布skill,
1:05:52让那个agent能够读取并使用,
1:05:54还有内部使用的各种东西
1:05:57以AI更容易理解的形式来输出,
1:06:01或者在CLI中对于任意命令
1:06:05即使不太了解也能推断出来
1:06:07的格式来调整,
1:06:08这些是第一个变化。
1:06:10我们的目标是训练模型,
1:06:13比如说用Backend.AI来训练模型的话,
1:06:15目标是做出模型,至于怎么分配资源
1:06:19这些一键就能搞定之后就不那么重要了。
1:06:22"帮我做一个超越某某的模型"这样说了之后
1:06:26它自己搞定就好了。
1:06:28大概需要多少时间、大概要花多少钱
1:06:31告诉你就行了。
1:06:32把焦点放在这上面是第一个变化,第二个变化是
1:06:36就像刚才说的
1:06:37软件的定义在我们看来正在改变——
1:06:40我已经解释过了。
1:06:41不是代码在中心,而是模型在中心。
1:06:43所以Backend.AI的
1:06:45核心是什么——Backend.AI的核心
1:06:49也将会是模型。
1:06:50虽然不是foundation model,
1:06:52但是一个能够出色管理AI资源
1:06:55并处理特定任务的模型。
1:06:57而且这个模型的规模要能在不同环境中
1:07:00灵活运行,
1:07:02所以研究团队正在开发这个模型。
1:07:04而且这个模型本身
1:07:05就是Backend.AI现在的——比如说运行环境,
1:07:08RAM多少、CPU多少这些规格。
1:07:11就像软件运行所需的规格一样,
1:07:13需要多少CUDA显存,
1:07:16运行这个系统本身
1:07:18在启动流水线中
1:07:20包含模型运行时的形态
1:07:23将在下一个大版本中进行测试,
1:07:27正式版是再下一个大版本,大概会是那样。
1:07:29直接将AI模型
1:07:31作为Backend.AI企业版的一部分来定位。
1:07:35它做的事情基本上就是Backend.AI原来做的
1:07:38那些事情。
1:07:40我们正在努力进化。
1:07:42[崔胜准] 说到进化我想起来,
사이버 포뮬러 비유 - Claude Code vs Codex의 철학 차이
1:07:45您在社交媒体上偶尔发的
1:07:47那个Cyber Formula的比喻。
1:07:49能讲讲那个吗?
1:07:51关于人类增强的部分。
1:07:52[申正圭] 最近经常发的就是那个。我同时用Codex和Claude Code
1:07:56的时候感受到的差异就是这个。
1:07:59Claude Code的设计理念是尽量多问我,
1:08:01而Codex则不太信任我。
1:08:05用久了就会感觉到,它的态度是"我知道正确答案,
1:08:08你照着做就行"——我觉得这体现了两家公司的哲学
1:08:11差异。
1:08:14Claude Code你看它的进化方向,
1:08:16比如当需要做选择的时候
1:08:19会生成四选一、三选一的选项,做成选择题
1:08:23这样的功能都做出来提供了,
1:08:25最近甚至会把我接下来要问的问题
1:08:30以完整的形式预先建议
1:08:32给你。
1:08:33按一下Tab就能跳到下一个问题。
1:08:35就是这样不断询问我的意见,
1:08:39进行align,
1:08:41把人模糊持有的
1:08:43上下文更加明确地把握后
1:08:46朝那个方向运作——它在朝这个方向进化。
1:08:49而Codex,简单来说
1:08:51是朝着"我全都帮你搞定"的方向进化。
1:08:53而且实际上确实做得很好。
1:08:55要说最高水平哪个更高,我百分之百认为是Codex
1:08:59最高值更高。
1:09:00但让人用起来更舒服的是Claude Code。
1:09:03因为Claude Code是跟我一起走过整个过程的。
1:09:07我小时候有一部很火的动画片,
1:09:10叫《高智能方程式》。
1:09:12是赛车题材,有一个跟AI一起赛车的主角。
1:09:18那个AI一开始很笨,
1:09:21驾驶技术也不行,但主角依赖它
1:09:25学会了驾驶,而AI也在这个过程中
1:09:27从人类犯的错误中获得灵感,
1:09:31创造出新的方法,实现了共同进化。
1:09:34每一季要解决的问题都不一样。
1:09:38在人类和AI共同进化这个概念下,
1:09:41比如说,面对远比自己厉害的人类驾驶员
1:09:44要怎么赢,这是一个主题。
1:09:46然后是当人类进入未曾经历过的领域时,
1:09:49AI如何辅助解决问题,这是另一个主题。
1:09:52再然后是完全被AI替代,
1:09:55面对由AI驾驶的对手要怎么赢,
1:09:59主题就这样逐步推进。
1:10:00最后一季换了主角。
1:10:03有人借了一辆车给他,
1:10:05是前一季中给人下药、
1:10:09让AI完全接管驾驶的那辆车的制造者,
1:10:13说这是他哥哥造的车,给你用吧。
1:10:16就用这辆,按AI说的做就行。
1:10:19这辆车原本的设计就是完全不信任人类。
1:10:22认为人类当然不会开车,所以
1:10:25AI驾驶当然更好,于是
1:10:27AI会判断"到这个时候人应该这样操作"
1:10:30然后自行操控,但人跟不上那个动作,
1:10:33所以不断出事故。
1:10:34但主角已经换人了嘛。
1:10:37他开着那辆车吃了很多苦,最后赢了。
1:10:40那个主角能够
1:10:42跟上AI的节奏,具备了这样的能力。
1:10:45而AI因为想赢,不管未来怎样,
1:10:48反正我先赢了再说,
1:10:50可以说是产生了好胜心的AI。
1:10:54在那之前我们讨论的都是有目标的AI,
1:10:57我当年看那个系列时产生的想法,
1:11:02最近经常浮现。
1:11:03拥有好胜心的AI到底是什么。
1:11:06通常AI缺少的就是意志。
1:11:09我们在做agentic coding的时候,
1:11:12人的角色是指定方向、
1:11:14告诉它该做什么。
1:11:15然后它就忠实地、埋头苦干地完成。
1:11:18但为什么它有时候忠实却不够聪明,
1:11:20在不理解上下文的情况下
1:11:22偶尔做出奇怪的事情呢?
1:11:24那是因为那个agent
1:11:26没有明确的目的意识。
1:11:28但在那部动画里,拥有了目的意识的AI
1:11:33如果遇到了对的人,
1:11:34就能击败与AI共同进化的人——这是它的结论。
1:11:38最近我经常想到这个。
1:11:40尤其是看到Codex的时候。
1:11:41[卢正石] 那最后赢的那辆车就是Codex了。
1:11:45原来那辆就是Claude Code,您是这么类比的吧。
1:11:48[申正圭] 两边确实都在往不同的方向进化,
1:11:53原来老主角开的那辆"阿斯拉达"
1:11:55一直在共同进化,而从天上掉下来
1:11:58自认为能做到最优驾驶、
1:12:01却不理解人类的AI是"凰呀"那辆车,
1:12:04它的运作方式给人的感觉跟Codex很像。
1:12:07某种程度上,制造AI或者
1:12:11制造这些设备的人们的哲学,
1:12:14设计理念多少融入其中。
1:12:16而且这些东西
1:12:18在我们近百年来积累的科幻作品里,
1:12:22各种媒介——文学、动画、电影,
1:12:25已经被反复探讨过了,这一点很有趣。
1:12:28这是我的感想。
1:12:29[卢正石] 从逻辑上想,那种模拟看起来像是概率较高的
1:12:34未来场景吧。
1:12:35从编剧的角度,经过无数讨论和思想实验之后
1:12:38才确定了那样的剧情。
1:12:40很多电影、漫画之类的作品
1:12:44跟我们设想的未来方向
1:12:45相似,这也很有意思。
AI 시대 스타트업의 기회와 물레방아론
1:12:47再问一两个问题就该收尾了。
1:12:50虽然刚才您说得很淡定,
1:12:53但Lablup十年积累的时间和
1:12:57那些资产,只有少数隐性知识变得有意义,
1:13:01其余的已经变成一键就能实现的程度——
1:13:05这虽然有趣,但对公司来说也是残酷的现实吧。
1:13:08[申正圭] 我倒不觉得悲伤。
1:13:12作为公司来说并不觉得悲伤。
1:13:14作为个人倒是有点感慨。
1:13:16比如说创了业,
1:13:18我付出了这么多努力。
1:13:20在那种情况下,以前那么辛苦的事情现在变得太容易了。
1:13:24就像当初做Text Cube后来做Backend.AI:GO时
1:13:27的那种感觉。
1:13:29作为公司应该怎么看待这件事呢?
1:13:33我觉得公司层面的感受是——OK,谢谢。
1:13:37[卢正石] 为什么呢?
1:13:38[申正圭] 有两个原因。
1:13:39第一,幸运的是
1:13:41我们公司的适应速度非常快。
1:13:43在这种格局被颠覆的时候,初创公司要有利得多。
1:13:47作为初创公司,这就是我们的优势。
1:13:50我们积累了多少,
1:13:52就意味着我们能更快地完成转型或轨道修正。
1:13:56这一点很关键。
1:13:58而且整个团队适应新方向所需的时间
1:14:01会比其他公司更短,这就能转化为机遇,
1:14:04成为新的机会,这是第一点。
1:14:06对初创公司来说,市场稳定、
1:14:09格局固化的时候是最糟糕的。
1:14:11格局动荡的时候才好,
1:14:13有新机会出现的时候才好。
1:14:15如果我现在是既得利益者的话,
1:14:20可能会说这可怎么办。
1:14:22但在我看来,我们还没什么家底。
1:14:24除了技术什么都没有,而技术被leverage的
1:14:27局面来了,还能怎样。
1:14:28我觉得我们适应得非常好。
1:14:31在模型开发方面也是,我们的Backend.AI
1:14:34模型开发之类的工作也在大量进行,
1:14:38因此对于未来到底需要什么,
1:14:41也更早地开始着手准备了。
1:14:43接下来第二点,是关于品牌的话题。
1:14:46这个局面的动荡,总有一天会平静下来的。
1:14:50就像过去所有事情一样,
1:14:51加速阶段不可能永远加速下去。
1:14:55但如果那个未来,比如说AI给我提供基本收入,
1:14:59不是那种我只靠它过活的时代,
1:15:01而是另一种全新局面打开的话,
1:15:04最终在那个局面中所处的位置,
1:15:08有可能和之后的位置非常接近。
1:15:10比如说我们来看服装。
1:15:13您现在做化妆品,化妆品也是一样,
1:15:15虽然有重要的ingredient、技术创新之类的,
1:15:18这些也有。
1:15:19但从成本角度来看,
1:15:21差距并没有那么大吧。
1:15:23所有的化妆品、所有的衣服都是如此。
1:15:25比如说我要买一个手提包,
1:15:27这个手提包真的比那个手提包
1:15:30价值高一千倍吗?并不是。
1:15:32最明显的例子是电脑。
1:15:36虽然都说Apple是最好的电脑,
1:15:38但跟其他电脑的价格也不会差10倍20倍吧。
1:15:41因为成本非常透明,正因为如此,
1:15:44最终类似的工具会很多,
1:15:47声称能做类似事情的工具
1:15:49也会越来越多,但最终还是要回到品牌,
1:15:52以及一直以来积累的track record,
1:15:55会成为核心竞争力的时代
1:15:56我认为还会再来一次。
1:15:57在这方面,
1:15:58我们长期以来在各方面
1:16:01都守护得很好,
1:16:03只要在这个过程中不掉队、能够适应就好。
1:16:06让我想起了过去。
1:16:07就像"Brand Yourself"一样,品牌成为核心竞争力的时代
1:16:11在稳定期大概会再次到来。
1:16:13因此我们认为这是一个非常好的机会,
1:16:16但个人层面确实是有些悲伤的。
1:16:18[卢正石] 个人层面的悲伤、这十年先行经历过的东西,
1:16:22还有前沿模型们已经知道了很多,
1:16:26一键就能生成的领域也有,
1:16:28但实际上经历了千辛万苦,
1:16:31代表和公司所积累的一种隐性知识,
1:16:35别人绝对不知道的那些东西正在构成护城河,
1:16:39也在成为别人无法输入的context,
1:16:41可以这样理解吗?
1:16:44[申正圭] 基本上我们的解决方案不是为了在稳定的硬件上
1:16:49跑稳定工作负载的方案。
1:16:51GPU是非常不稳定的,
1:16:53包括网络在内,尤其是NVIDIA或AMD,
1:16:56越是最新的企业级GPU,不良率就越高,
1:17:00无法预料的情况也太多了。
1:17:02所以最终形成了一个很有意思的结构。
1:17:04不稳定的硬件不能信,
1:17:06上面运行的模型训练软件
1:17:08也是什么都不能信的状态下,
1:17:11把这些变成好像可以信赖的状况,
1:17:13这就是我们方案在做的事情,
1:17:15所以可以说本质上不同。
1:17:16这就是我们的优势所在。
1:17:18这些归根结底取决于你踩过多少edge case,
1:17:23这是核心竞争力,跟自动驾驶有些相似。
1:17:26[卢正石] 您刚才提到了Tesla,无论是从Tesla的角度,
1:17:28还是Lablup在公司层面过去十年经历的事情,
1:17:32然后进入了AI领域,
1:17:35虽然我们都有些不安,但如何把积累的东西
1:17:39转化为优势、转化为品牌资产,
1:17:43最终我们能不能赢,在战略层面
1:17:48这是一个非常好的案例。
1:17:50而且无论是软件行业,
1:17:53还是走在前面的、至少是受AI影响最大的
1:17:57产业里正在发生这样的事,
1:17:59同样的形态也一定会在其他行业发生。
1:18:04就像Claude进入法务和财务领域,
1:18:07把这些也搞定一样。现在我们在讨论的
1:18:10这家公司的dynamics,
1:18:12公司价值到底从何而来,
1:18:14这些问题同样会扩散到其他行业,
1:18:17我有这样的感觉。
스타트업에게 가장 안 좋은 것 - 복제의 시대
1:18:20[崔胜准] 对创业公司来说最糟糕的是什么?
1:18:23[申正圭] 对创业公司来说最糟糕的是停滞。
1:18:26您说的是一般意义上现在的创业公司吗?
1:18:28[崔胜准] 放在当下AI行业或IT行业的背景下,
1:18:32创业公司的品牌价值,
1:18:35或者积累的经验、以及局面动荡这些,
1:18:39某种意义上既是危机也是机会,
1:18:42那么对创业公司来说什么是不利的,我就好奇了这个问题。
1:18:45[申正圭] 所有产品的复制都太容易了。
1:18:48[卢正石] 如果问什么是不可复制的,
1:18:50无论是从时机的角度,
1:18:53还是某些产品的组合方式,
1:18:57如果无法用这些来回答的话,
1:18:59就可能被别人的一键操作所淹没。
1:19:01[申正圭] 最近在Facebook上有人复制NotebookLM,
1:19:05只花了四天,看到这个我感触很深。
1:19:08把NotebookLM所有界面的截图都截下来,
1:19:11功能说明全都列出来丢进去,
1:19:14大概四天就能做出一个克隆。
1:19:15在这样的时代,如果还用过去选择产品的方式来做创业,
1:19:21复制就太容易了。
1:19:24这也是最大的问题。
1:19:26反过来说,以复制为核心业务的公司可能会发展得非常好。
1:19:29[卢正石] 但很多聪明人都选择了快速跟进别人做好的东西,
1:19:33走追赶路线,
1:19:34做better、faster、cheaper的选择。
1:19:37但过去靠资本优势,
1:19:39或者名校背景的优势之类的,
1:19:42能招到更好的talent,用这些条件
1:19:46来掌控一切或者成为主导者,
1:19:50那时候是有意义的。
1:19:51但现在这些资源人人都有,
1:19:55仅仅靠复制、靠复制
1:19:58已经很难让客户觉得这个更优秀、
1:20:01这个还不错了。
1:20:04需要某种超越复制的东西。
1:20:06关于那个"超越",接下来还会谈到。
1:20:09关于那个"超越",我们也在通过这些实践
1:20:13一直在不断探索嘛。
1:20:14我目前发现的是,有一定的时间差和隐性知识差,
1:20:19如果能把这两者很好地结合起来,快速抓住这些客户,
1:20:23虽然可能会在某个人的一键操作中消失,
1:20:26但在那些无法一键替代的领域,
1:20:28一旦掌握了客户的数据,
1:20:31客户就很难转向其他平台。
1:20:34需要从这种商业视角
1:20:35来思考的时候到了。
1:20:37[崔胜准] 一键抵抗性、反一键,这些词浮现在脑海里。
1:20:41[申正圭] 我想说的是,
1:20:42有个叫Google创业园区的地方,
1:20:45我以前在那里演讲时用过一个比喻——
1:20:48我认为做生意本质上
1:20:49就是把水车安装在哪里的问题。
1:20:52在落差大的地方安装水车,让水车快速转动,
1:20:56水快没了就把它搬到别处,
1:20:59或者选择其他方式。
1:21:01刚才胜准说的
1:21:03那种时间差最容易出现的领域,
1:21:06我觉得不是在IT领域内部,
1:21:08而是IT plus something,
1:21:10那些必然会慢一步跟上的领域。
1:21:12以前大家觉得这些领域不可能
1:21:14属于IT的范畴,
1:21:15但随着AI能够理解context,
1:21:18那些将被纳入IT领域的部分、将被纳入的行业,
1:21:22在这些领域安装水车的创业公司,不是会发展得很好吗?
1:21:26[卢正石] 我一开始就问过嘛。
1:21:29我家孩子服完兵役要回学校了,
1:21:31到底应该让他学什么
1:21:33现在才是最安全的,我之前提到过这个问题。
1:21:36代表您当时说过,
1:21:37与其让那些在特定领域的人
1:21:40去学习AI和系统方面的知识,
1:21:44不如让那些对AI系统和相关知识了解很多的人
1:21:48去学习领域知识,这样会快得多。
1:21:51所以现在虽然听起来有些矛盾,
1:21:54但反而学计算机科学、CS
1:21:55可能是更好的选择——您当时是这么说的。
1:21:58我觉得这和刚才的话也有些关联。
1:22:01也就是说,在特定领域的人应该尽快学习CS,
1:22:04而学CS的人应该尽快找到
1:22:08可以应用的领域中的时间差,
1:22:10这不正好符合
1:22:12申代表说的水车理论吗?我是这么想的。
1:22:15代表如果还有什么想补充的,
1:22:18请继续说吧。
컴퓨터 공학과 무용론에 대한 반론
1:22:19[申正圭] 计算机工程无用论,偶尔能听到这种说法,
1:22:24我觉得挺有意思的。
1:22:26因为我是00级的,
1:22:28我虽然是物理系的,
1:22:31但也辅修了计算机工程。
1:22:33上课的时候发现计算机工程系
1:22:35出身的教授其实很少。
1:22:36因为上一代根本就没有计算机工程这个专业,
1:22:40成为计算机工程系的教授,
1:22:42意味着是其他学科中大量使用计算机的人
1:22:44创建了这门学科。
1:22:45所以有化学系出身的,有材料系出身的,
1:22:49也有物理系出身的。
1:22:50早期建立计算机工程系的地方,教授们就是这样来的。
1:22:54现在大多数教授则是从计算机工程这个独立学科
1:22:58接受训练出来的。
1:23:00这说明什么呢——计算机工程从一开始
1:23:04就有一半是带着方法论思想起步的,
1:23:07虽然也可以分为计算机科学和计算机工程,
1:23:10但本质上它是一门非常年轻的学科。
1:23:13相对于其他很多领域来说。正因如此,
1:23:16我认为它的变化速度也会非常快。
1:23:18不可能永远只是学Python的专业、
1:23:22学C的专业、学架构和操作系统开发的专业——
1:23:26这些当然会继续教。
1:23:28因为它们确实非常重要,会继续教下去,
1:23:30但我认为不会一直保持这种形态,
1:23:33比如说神经计算,
1:23:35或者模型开发中模型的核心是什么,
1:23:40attention结构是什么,尝试构建其他架构是什么,
1:23:43这些内容最近也在大量引入。
1:23:45实际上像深度学习概论这样的课程
1:23:47也已经进入了教学大纲,
1:23:49所以从某种意义上说,
1:23:51能最快适应这种变化的学科
1:23:52就是计算机工程。
1:23:54我虽然是物理系的,但也是这么认为的。
1:23:56当然物理系最近可去的地方也多了,这倒是好事。
1:23:59在这个过程中,人们会说反正AI都能搞定,
1:24:04那不学计算机工程不就行了吗?
1:24:06直接让AI帮我做
1:24:08不是更快吗?虽然这么说,
1:24:10但实际上问一下我身边业内的人,
1:24:13他们反倒更多的是反方向的担忧。
1:24:15比如说因为AI什么都能做,
1:24:17那我是不是就没活干了?拍电影也是,
1:24:20Seedance都能生成那样的视频了,
1:24:23那电影导演、摄影指导该怎么办?
1:24:27就是这种危机感。
1:24:29照这个趋势,大概未来五年左右,
1:24:32IT——虽然到目前为止已经渗透了很多,
1:24:36也在被广泛使用——但将以惊人的规模
1:24:39深入到社会各个领域的核心,
1:24:41我认为这样的时代即将到来。
1:24:44短期来看,可能有人会说学编程有什么用,
1:24:47反正电脑都能自己写程序了。
1:24:49但计算机工程学的并不是编程。
1:24:51学的是其中构建逻辑的方法。
1:24:55如何构建逻辑,最基本的门电路逻辑如何发展
1:25:00成为无数复杂的逻辑体系,
1:25:02那种方法论,或者说哲学。
1:25:05我觉得学的更多是这种思维结构,
1:25:09所以我是这样认为的,
1:25:10这样的人去学习其他领域也会更快。
1:25:14特别是在知识可以外包的时代,
1:25:17就更是如此了。
1:25:19[卢正石] 虽然我们这样说了,
1:25:22但必须要加一个补充说明——
1:25:24两个月后可能就变了。
1:25:26在此附上disclaimer。
마무리 인사
1:25:29[申正圭] 大家携手并进,都得和AI好好相处。
1:25:33[卢正石] 虽然我们朝着未来前行,但现在是春节假期,
1:25:37得回去陪家人了
1:25:38该告辞了。
1:25:40[崔胜准] 虽然时间很长,但很有趣。
1:25:41[卢正石] 今天又学到了很多。
1:25:43那么,假期愉快。
1:25:45下次来首尔的时候再见。
1:25:48[申正圭] 剩下的假期里,祝你们愉快地折腾吧。