技能职业。真实事业。您的道路。
登录以创建和分享您自己的课程。
从牛顿炮弹到霍曼转移——将火箭送入轨道并使卫星不坠落的物理学。
中心支点灌溉圆形、等高线耕作、行距、排水坡度和田间布局——养活世界的几何学。
土壤科学、作物管理与可持续农业:滋养世界的知识与依赖它的职业。
从内燃机到电动汽车:了解发动机、传动系统和诊断技术,这是每位汽车技术职业生涯的基础。
飞行矢量、倾斜角、转向半径、风三角形和进近几何:飞行员每天使用的数学。
升力、阻力、推力与重力:让飞机升空的四种力,以及维持飞行的职业。
从想法到收入 — 学习商业模式、市场验证以及每位创始人在上线前需要掌握的基础知识。
三角剖分、Voronoi 域与镶嵌:机器学习三角形背后的几何原理。两个具有互补规范的独奏,一个机器学习桥梁,一个待弥合的间隙。
Unturf代表了机器学习三角形模式的一个实例,而非唯一的一个。两个具有互补规范的独奏者加上一个机器学习引擎加上一个缝隙就等于一座桥梁,可以跨越八种形式的资本中的任何一种。学会识别这个模式,找到一个互补的独奏者,并编写一个规范来使三角形成形。
从丰田工厂到跨职能工作中心:学习拉动式系统、看板、WIP限制,以及如何在产品工作室、面包房、建筑工地或任何多学科运营中无需会议或经理的情况下协调工作。
金融资本只是八种形式之一。生活资本、物质资本、智力资本、经验资本、社会资本、文化资本和精神资本各有不同的增长方式;每种资本都可以增长、枯竭或互换。学会看到所有这些。
从 G 代码到成品零件:学习计算机控制的机床如何以千分之一英寸的精度加工金属、塑料和复合材料。
坐标系、刀具路径、G代码圆弧、加工范围和GD&T:精密制造背后的几何学。
视觉沟通赋予你职业超能力。本课程涵盖为什么图表优于文字、主要图表类型、如何系统地阅读复杂视觉信息,以及如何设计能真正传达信息的图表。
Google 在运维工作变得过于重要而无法依赖人工操作时所发明的工程实践。包括 SLO、错误预算、消除 toil、无责事后分析,以及四大黄金信号。
几乎每一个能够承受有意义负载的公共 Web 服务前面都部署了反向代理。了解它的作用、为什么隐藏源站至关重要,以及单个边缘层如何同时承担三项不同的职责。
请求路径是一个有向图。跳数、扇出、扇入及间接引用具有几何意义。将生产架构视为图来解读,并预测其扩展性与故障特性。
入站与出站流量的二分结构、当代理一分为二时消失的割点,以及对网络分区的图论解读。
为什么同时处理入站和出站流量的单一代理层最终会以令人意外的方式失效。通过一个真实的架构分叉案例,解析发夹 NAT(Hairpin NAT)、独立的扩展维度以及安全隔离。
在 Web 规模边缘节点上应测量哪些指标,以便在用户感知之前发现问题。包括健康检查与版本端点、代理层的四大黄金信号,以及突发容量决策如何与观测数据相关联。
Voronoi 单元将用户划分为 CDN PoP 的覆盖区域。延迟三角形设定了区域间光速传播的延迟下限。排队曲线在代理层重新审视,其自动扩缩容触发器锚定于曲线的拐点。
介数中心性在流量出现之前识别出瓶颈节点。最小割界定了爆炸半径。图的直径设定了故障传播的距离。揭示了为何某些故障会级联扩散,而其他故障则保持局部的几何原理。
容量工作底层的视觉结构:Little定律作为面积、80%处有拐点的排队曲线、趋势外推作为斜率、以及作为二维安全边界的可用容量包络线。
John Allspaw 关于运行可靠扩展服务的纪律:测量、预测、容量上限、余量缓冲及对角线扩展决策。
单个配置变更如何级联导致服务中断,舱壁隔离与熔断器实际的作用,以及如何阅读事后复盘报告并撰写无责行动项,以针对系统而非个人。
弥合 Excel 与 Python 之间的差距:学习数据科学家如何清洗、探索和建模真实世界的数据。
为何无状态层可以廉价地倍增,而有状态层却不行。状态、副本计算,以及用于在流量激增时确定集群规模的简单公式。
副本集群背后的数学原理。利特尔法则(Little's Law)的矩形表示、排队曲线及其 80% 拐点,以及从几何角度解读为何无状态层可以低成本倍增,而有状态层则不然。
从零开始实现英文词干提取器:学习形态学分析、后缀去除和测试驱动开发。
SRE 背后的视觉结构:作为长尾曲线的延迟分布、作为二维锥体的错误预算、作为有向无环图的依赖关系图,以及作为信息几何的仪表板布局。
网络拓扑、攻击面几何学、威胁建模中的图论,以及加密的几何结构。
像防御者一样思考:从基础开始学习威胁建模、网络安全和事件响应。
几何思维如何驱动从最近邻搜索到神经网络训练的一切 — 向量、距离、流形和损失景观。
从地基到框架再到精装修:了解建筑如何建成,以及参与其中的各行各业。
屋顶坡度、椽子角度、楼梯几何、拱门类型和场地布局:木匠和建筑工人每天使用的几何知识。
头部作为球体、提升和投影角度、渐层楔形、移动导引,以及平衡轮廓:伟大发型背后的精确几何学。
当自动化系统提供预测时,专业人士所保留的判断技能:期望值、校准、非对称风险、去偏置,以及针对不可逆决策的协议。
面向日益自动化的领域中的知识工作者的实用判断力:如何在你与自动化系统之间划分工作、在高风险的专业场景下验证输出、对结果负责、防止技能退化,以及识别何时根本不应使用自动化。
每个在不确定性下的选择都是一种形状。将期望值视为平衡点,将风险视为离散度,并关注更优选择发生翻转的边界。
在自动化初稿生成的时代,专业人士如何持续构建真实且无需辅助的技能:刻意练习、提取与间隔重复,以及“利用工具构建技能”与“利用工具绕过技能”之间的区别。
遗忘曲线、间隔效应与学习曲线:记忆增长与消退的几何形态,以及为何亲自进行提取练习仍优于让工具代劳。
随着答案生成日益自动化,持久且高价值的技能在于:界定真实问题、编写可测试的规格说明、分解工作,并提出决定答案的关键问题。
均值作为质心,标准差作为离散度,随 1/sqrt(n) 缩小的抽样误差,以及欺骗视觉的操纵坐标轴几何。像专业人士一样解读图表。
决定自动化什么的几何学:能力边界、比较优势交叉点,以及为什么验证必须随杠杆效应扩展。
一个问题定义了答案的空间;一个好问题会缩小这个空间。搜索空间、作为划分的分解、作为边界的约束以及二分搜索式的收窄。
以怀疑的眼光阅读研究、仪表盘或自动化报告这一核心工作技能。涵盖样本量、置信区间、P值操纵(p-hacking)、效应量及数据来源,让那些看似确凿的数字不再误导你。
在采取行动之前判断主张是否为真这一专业纪律:来源追溯、复现、交叉核对、校准、错误成本的不对称性,以及捕捉那些看似自信实则错误的输出。
像测量员定位点一样定位真相:交叉方位,重叠误差区域,信任集群,不信任孤立的异常值。验证是一种几何学。
专业软件开发要求能够从算法复杂度的角度读代码,而不仅仅是正确性。本课程涵盖复杂度感知代码审查、生产系统中真实存在的模式、面试风格的分析,以及在1000多个开源项目中发现的MOAD-0001缺陷——并直接指向《unhamming课程》以深入调查。
刀法几何、盘装构成、烘焙比例和锅具尺寸:厨房中的精密几何。
刀工技巧、风味特征与厨房管理:每位专业厨师在接到第一张订单前必须掌握的基础。
视锥与遮挡、教室作为图结构与扫视作为守望者路线、三角定位求助位置,以及干预距离的近体空间学:这是一位巡回教师所处的几何世界。
给家长、学习小组协调员和职业学校教师的实用课程:一位流动教师如何管理一间自主学习者的教室——日常节奏、注意力分配,以及无评分评估。
从布线到接线:第一次就正确接线插座、开关回路和灯具。NEC规范、盒子填充和导线端接技术。
了解住宅电气系统:从断路器面板到插座布线,美国与英国住宅布线对比,电工入门必备知识。
从服务入口到单个电路:断路器面板、子面板和保险丝箱如何保护您的布线,以及每个电工需要正确读取它们的内容。
导管弯曲计算、接线盒容积计算、线路布局几何,以及遵循几何定律的电磁场。
三相电源、电机控制中心、变频器,以及数据中心如何保持照明运行:从开关设备到服务器机架的工业电气系统。
unturf 作为伞形组织管理着机器学习优先型企业。本课程涵盖结构、永久计算机经济、极端杠杆、机器学习三角形,以及外部合作伙伴如何加入:你现有企业无需任何改变。
太阳能、风能、水力和储能——理解能源转型和清洁能源的蓬勃发展职业。
预算、投资和避免债务陷阱——每个成年人都需要但在学校里没人教的金融素养。
每种算法都有形状。O(1) 绘制平坦的视界。O(N) 绘制对角线。O(N²) 绘制抛物线。二分查找将线段对半分割。哈希表将键映射到桶,就像函数将定义域映射到值域一样。排序网络可视化为平行比较线。本课程从几何角度阅读算法。
PAC学习的每一章都呈现出一个几何形状。ε与δ绘制了一个预算平面。VC破碎在点云上绘制二分法。PAC-贝叶斯在假设空间上绘制后验云。双重下降绘制一条曲线,经典理论预测它应该上升,但实际上下降了。缩放定律绘制了一个3D幂律曲面。经验审计将β后验收紧成一根针。六章,六种几何,一个活动。
ANDREA 的每个部分都承载一种几何形状。嵌入空间将语义距离描绘为 R^768 中的欧几里得距离。注意力机制将过去的标记投影到查询子空间上。损失曲面描绘出梯度下降所穿越的高维地形。多臂老虎机权重描绘出一个离散单纯形,其中每个顶点代表一个数据源,而每个内部点代表一种课程混合。课程预热描绘出受限子流形投影。五种几何,一个模型。逐一遍历这些图景,锁定仅靠抽象方程无法提供的空间直觉。
哈明在各处看到几何:n维空间、误差修正中的球堆积、高维直觉的崩溃。反哈明延伸了这一点:O(N²)作为面积、O(N)作为直线、工厂模型作为DAG、复杂性类作为几何形状。每个算法都有一个形状。学会看到形状能预测成本。
理查德·哈明的研究生讲座,讲授科学与工程中的思维方式:知识爆炸、通过类比的创意、专家盲点、数据可靠性、测量扭曲,以及将做重要工作的人与忙于琐事的人区分开来的习惯。
汉明工作背后的几何结构:二进制n维空间中的汉明距离、通过球堆积进行的错误纠正、√n与n随机游走论证,以及知识倍增和专业知识半衰期的指数增长模型。
哈明的九点论证,说明数字为什么胜过模拟:离散值的可靠性、集成电路互连经济学、从物质经济到信息经济的转变、机器人和制造、等效产品洞察、以及军事信息优势论题。
数字革命的几何特征:对数成本曲线与数量级、模拟与数字通道中的信噪比几何、技术采用的指数模型——S曲线作为逻辑方程。
哈明对硬件演进的调查:从纳皮尔算筹到ENIAC和IBM 701,从继电器到超大规模集成电路的指数速度曲线,三个物理限制(分子大小、光速、热散逸),以及预测世界只需要3-5台计算机的专家们的失败教训。
汉明第三章背后的几何结构:对数坐标图上的指数增长与物理上限、作为影响球面的光速限制、作为表面积与体积问题的热耗散,以及通过阿姆达尔定律实现的并行加速。
Hamming对软件演变的调查:从绝对二进制到FORTRAN & ALGOL,面条式代码 & 可重定位库,心理学设计 vs 逻辑语言设计的区别,& 四个成功编程语言的标准,用以预测哪些语言能存活60年。
Hamming第4章背后的几何结构:解析树与形式文法作为有向无环图、语言设计中的信息论冗余、复杂度类(Big-O)作为几何增长曲线,以及语言采用曲线作为网络效应模型。
Hamming对计算如何从数字计算发展到经济驱动的应用的调查:技术采用的S曲线、应用于计算机化的等价产品洞察、波音共享设计磁带的故事、模式识别作为下一个前沿,以及从30年相同演讲中获得的职业课程。
哈明第五章背后的几何结构:作为微分方程的逻辑S曲线、作为二次效用函数的网络效应增长(梅特卡夫定律)、优化景观 — 梯度下降、局部最小值、以及为什么共享可变状态产生幻影梯度。
汉明对根本问题的探讨:机器能思考吗?图灵测试、隐性知识、游戏程序、专家系统,以及基于规则的逻辑与人类判断之间的边界。
搜索树几何:分支因子、深度、指数节点计数、alpha-beta 剪枝降低、& 使基于规则的游戏程序可处理的几何结构。
Hamming论机器创造力:几何定理证明程序及其发现的等腰三角形证明、贝尔实验室的计算机音乐、自动化替代问题,以及人机协作前沿。
形式证明作为公理空间中的路径;射影对偶性与等腰三角形定理的自合同证明;Nyquist采样几何;证明长度最小化作为搜索问题。
哈明对机器能力常见异议的反驳,关于职业相关性的问题,&向n维设计空间的过渡——将机器推理的极限与高维问题的几何相连接。
决策边界几何:线性可分性、XOR非可分性问题、作为超平面分类器的感知机、使分离成为可能的特征空间变换、& 核技巧作为几何嵌入。
哈明对n维几何的论述:斯特林逼近、伽玛函数、n维球的体积,以及高维几何的反直觉坍缩——它统制着具有众多自由参数的所有工程设计。
斯特林近似作为几何工具、n维球体体积公式及数值验证、显式计算的角落悖论,& 高维几何对优化和机器学习的影响。
香农通信模型、两阶段编码结构(信源编码和信道编码)、可变长编码、Kraft不等式、香农熵、无噪声编码定理和无前缀解码树。
前缀无关码的二进制树几何、Kraft不等式作为树结构的几何约束、Shannon熵作为平均码长的下界,以及通过已做示例进行的数值验证。
霍夫曼编码算法完整细节:合并分割程序、最小平均长度L、代码的非唯一性、茂密树与长树、代码长度的方差、块码与变长码、自编译程序。
哈夫曼编码作为贪心树构造:预期码长作为加权和、码长方差、灌木状树与长树的权衡,以及计算最优哈夫曼码并验证无噪编码定理的数值应用例子。
Hamming第12章:纠错码的发现故事,从矩形奇偶校验到(7,4) Hamming码、伴随式解码、SECDED以及球堆积对纠错的几何解释。
纠错码背后的线性代数几何学:奇偶校验矩阵作为线性映射、伴随码解码作为商空间运算、陪集首元与标准阵列,以及(7,4)Hamming码作为二进制7维空间的完美平铺。
汉明第13章:香农对信息与熵的定义、Gibbs不等式与无噪声编码定理、二进制对称信道容量,以及基本的有噪声编码定理——它证明了什么、代价是什么,以及为什么纠错码是补充而非替代。
Shannon信息论基础上的几何结构:熵作为概率单纯形上的凹函数、信道容量作为输入分布上的最大值、KL散度作为概率空间中的几何距离、以及率失真几何。
Hamming 对数字滤波器的介绍:为什么复指数是线性时不变系统的特征函数,传输函数作为特征值,& Nyquist 采样定理作为所有数字信号处理的几何基础。
频率作为单位圆上的角度:复指数沿圆形路径追踪,采样映射到旋转,奈奎斯特极限从半个圆周的几何中产生。混叠作为圆上的环绕。
设计满足精确频率条件的滤波器:推导 3 样本平均滤波器、传递函数公式,以及限制任何截断傅立叶级数设计的吉布斯现象 — 附汉明讲述吉布斯如何得出该发现的故事。
Z平面作为几何设计空间:极点-零点图将频率响应编码为与单位圆的距离,零点消除频率,极点增强频率,稳定性直接读取极点相对于单位圆边界的位置。
系统的傅里叶级数滤波器设计方法:从理想响应开始,计算傅里叶系数,截断,应用窗函数以抑制 Gibbs 波纹,& 使用 Kaiser 方法从波纹 & 转移宽度规范中选择 N 和窗函数。
傅里叶级数作为正交投影:基函数张成函数空间,傅里叶系数是内积,截断等于投影到子空间,和吉布斯现象产生于跳跃不连续处的 sinc 卷积。
IIR(递归)滤波器:反馈使得能够用更少的系数实现尖锐的频率响应,稳定性要求极点在单位圆内,经典模拟滤波器族(Butterworth、Chebyshev、椭圆)通过双线性变换或脉冲不变法转换到离散时间——以Hamming的淋浴故事作为反馈不稳定性的具体例子。
IIR滤波器的几何学:Z变换作为从时间域到复频平面的映射,稳定性定义为将极点限制在单位圆内,Butterworth极点在圆上,椭圆极点在椭圆上,双线性变换作为从Laplace s平面的保角映射。
Hamming 的第一次大规模模拟 — Los Alamos 原子弹计算 — 揭示了核心原则:专业领域知识、重复结构、等效结果、稳定性与不稳定性,& 将模拟误认为现实的危险。
数值仿真的基础几何结构:欧拉方法作为 (x,y) 平面中的前向差分,步长 h 作为在复平面中具有稳定性区域的几何参数,离散动力系统,& 仿真反馈循环作为迭代。
汉明对每个模拟的中心问题:为什么任何人都应该相信它?有效性问题、模拟与数字权衡、模拟数据中的辛普森悖论、自强化模型、&诚实模拟设计的双盲教训。
将模拟有效性视为几何问题:将曲面拟合到数据点,残差作为距离,系统偏差作为偏移向量,霍桑效应作为隐藏维度,以及哈明的验证检查清单重新表述为模型拟合的几何约束。
哈明挑战 GIGO 假设:垃圾输入不一定导致垃圾输出。计算中的反馈可以补偿不精确的输入。数值常微分方程求解器作为递归数字滤波器、预测-校正方法、Nike 导弹不稳定性,以及哈明通过利用其不稳定性求解的晶体管方程。
常微分方程求解器稳定性的完整几何图景:复平面上 Euler 与 RK4 的稳定性区域、作为特征值几何的刚性、第 9 章中的高维管道悖论,以及利用不稳定性作为导航信号。
哈明对光纤技术的阐述:全内反射、临界角、小直径的优势、电磁免疫,以及哈明在任何人要求之前就认识到的安全洞察。
光纤的基础几何结构:斯涅尔定律作为角度变换、临界角作为几何阈值、数值孔径作为接纳圆锥几何、倏逝波衰减及单模直径作为传播角空间的约束。
哈明对计算机辅助教学(CAI)的分析:霍桑效应及其对教育实验的腐蚀性影响、教育学中的双盲问题、分支程序、即时反馈,以及机器是否能真正改善学习的问题。
学习与记忆背后的几何结构:幂律学习曲线、指数遗忘曲线、几何间隔作为优化,以及作为有向图的分支程序——使自适应教学易于处理的数学。
哈明对数学本质的探索:柏拉图学派与形式主义学派、韦格纳的'不可思议的有效性'、数学跨越文明的普遍性,以及为什么抽象会增加适用性。
数学本身的几何结构:公理系统作为形式空间,证明作为路径问题,哥德尔不完全性作为拓扑性质,完全性作为连通性,以及柏拉图式的数学对象'空间'。
哈明对量子力学的叙述:海森堡的矩阵力学、薛定谔的波动力学、它们通过希尔伯特空间的数学等价性、玻恩规则,以及哈明的权当原则,用于在不需要哲学满足的情况下使用形式主义。
量子力学的几何基础:希尔伯特空间作为无限维内积空间、量子态作为单位向量、测量作为投影、玻恩规则表示投影长度的平方、布洛赫球表示量子比特的几何、& 纠缠表示张量积空间中的非可分性。
哈明对创意的深入分析:新奇与原创性的区别、为什么科学在创意工作出现时往往未能认可它、准备好的思维的作用、潜意识孕育过程,以及10个重要问题技术。
创造性建模为在组合空间中的搜索:类比推理作为图同构,准备充分的心智作为高度连接的知识图,机缘巧合作为远距节点间的短路径,&创意空间的组合爆炸。
哈明论专家抵触:范式如何过滤证据、专业知识的两种失败模式、为什么伟大创新来自领域外部、如何应对专家的不可能宣言,以及当你面对主导范式的变化时该做什么。
范式空间作为具有局部最小值的损失景观;范式转变作为逃离局部最小值;专家知识作为深梯度投资;具有多个局部最小值的知识拓扑;库恩循环作为梯度下降动力学。
Hamming论述测量:为什么数据的可靠性不如宣传的那样高、系统误差与随机误差的区别、校准链、生命周期测试的困境、为什么数据过度拟合理论很可疑,以及现场处理数据的实用规则。
误差几何:测量不确定性作为概率分布、系统误差作为偏差(均值的偏移)、随机误差作为方差、通过偏导数的不确定性传播、卡方拟合优度、& 可疑的干净数据。
哈明的系统工程原理:为什么优化组件会破坏系统性能、接口优于组件的重要性、边界条件、教育系统作为系统工程失败案例,以及如何像系统工程师而非组件优化者那样思考。
生产可能性边界&帕累托边界;为什么组件最优值偏离系统最优值;约束几何和可行域;最大原理;参数空间中作为共享边界的接口;为什么系统最优值存在于约束边界处。
Hamming关于测量扭曲:智商校准如何创建它声称发现的分布、在Goodhart命名之前的Goodhart定律、通过目标设定对指标的腐蚀、评分量表中的动态范围问题,以及对抗测量扭曲的实际防御。
度量失真作为从价值空间到测量空间的映射;古德哈特定律作为梯度上升的发散;多目标优化(帕累托)作为对单一度量腐败的防御;测量不变性及其重要原因。
Hamming关于做伟大工作的直接建议:10个重要问题技术、解决难问题的勇气、开放门政策、复合知识增长、运气与准备的作用,以及每个研究者必须回答的核心问题。
研究投资组合作为问题空间中的一点;十个重要问题技术作为维持前沿覆盖;知识复合增长作为凸函数增长;机会成本几何学;为什么避免难题意味着错过问题空间中高杠杆率的区域。
生存链中的第一环 — 学习患者评估、气道管理和应急协议。
风管尺寸、气流几何、盘管表面积、焓湿图以及供暖和制冷的几何原理。
从制冷循环到风管——了解保持建筑舒适的系统和维持其运行的职业。
仓库布局优化、托盘堆放几何、路线优化和旅行商问题。
商品如何从工厂运送到消费者手中——仓储、路由和保持世界运转的看不见的网络。
Probably Approximately Correct(Valiant,1984)首次对“机器学习意味着什么”给出了严格的回答。本课涵盖全部六章:经典 PAC、VC 维、不可知 PAC 与 PAC-Bayes 变体、深度学习为何打破经典界限、自动通用智能的 scaling laws 与数据墙估算,以及使经验 PAC 可落地的生产审计模式。六章一练。
ANDREA 是在一张单 RTX 4090 上培养的。这个第一个活动将带你了解语言模型预测什么,为什么仅解码器 transformer 能在消费级 GPU 上容纳 12M 到 480M 参数,& 映射 24 个后续活动,涵盖配方(Autonomous Neural Data Recipe for Education & Agency)中的每个算法。从这里开始。
ANDREA 不使用 BPE。它通过分布分析发现的词素边界来分割单词,构建一个 (256 + N + 1) 个标记的词汇表。本活动将逐步讲解分词器做什么、Harris 如何找到词素,以及为什么 256+N+1 结构重要。
ANDREA-12M 将其词汇的 63.6% 浪费在模型从未见过的数据上。ANDREA-120M 修复了这个问题。本活动涵盖分词器饮食对齐、词汇饱和度,以及一个词汇科学发现:8192 个片段即可饱和一个 1.25B 字符语料库,而 16,384 个仅产生 13,106 个实际片段。
Token ID 通过两个查找表进入 Transformer:token 嵌入表(V × d_model)和可学习的位置嵌入表(T × d_model)。本活动涵盖向量空间、点积为何衡量相似度,以及 ANDREA 为什么使用可学习的位置嵌入而非 RoPE 或正弦位置编码。
注意力计算 Q · K^T / sqrt(d_k),屏蔽未来位置,应用 softmax,并加权 V。此活动涵盖每个部分,为什么 sqrt(d_k) 因子重要,为什么因果掩码使自回归生成成为可能,以及 ANDREA-120M 如何将 768 维输入拆分为 12 个 64 维头的注意力。
一个注意力头看到一种关系模式。十二个头看到十二种。多头注意力将 d_model 分割到 n_head 个并行投影中,在每个头中运行注意力,然后将结果拼接回来。ANDREA-120M 将 768 分割到 12 个每个 64 的头中。此活动将逐步讲解分割、并行计算、拼接,以及为什么头专业化仅从训练压力中自然出现。
Transformer 块堆叠两个子层:多头注意力 & 前馈 MLP,每个子层都包裹在残差连接 & 层归一化中。ANDREA-120M 堆叠了十二个这样的块。本活动将逐步讲解 pre-norm 结构、为什么残差重要、MLP 的 4× 扩展比率、GELU 激活函数,以及 12 层堆叠如何组合成一个工作的语言模型。
交叉熵损失衡量模型在看到正确下一个标记时的惊讶程度。困惑度 = exp(损失) 以更友好的尺度衡量相同的惊讶程度。SMMA(平滑移动平均)损失实时跟踪训练进度。ANDREA-12M 达到了 SMMA 2.0;ANDREA-120M 在 v1 最低点降至 3.43,然后打磨成连贯的多段聊天。本活动将逐步讲解数学原理、随机机会基线,以及如何阅读真实的损失曲线。
ANDREA 的训练引擎 `microgpt_cuda.cu` 为每个操作提供了手写的正向和反向 CUDA 内核:注意力、MLP、层归一化、嵌入。没有 PyTorch,没有 JAX,没有自动求导库。链式法则以 C 风格代码实现,该代码使用 nvcc 编译并链接成单个二进制文件。此活动将逐步讲解正向内核、反向内核、梯度累积缓冲区,以及为什么编写自己的框架让 ANDREA 在单个 RTX 4090 上完全控制内存和数值精度。
第 10/25 活动。AdamW 将权重衰减与梯度分离。原版 Adam 在 ANDREA-120M v1 中崩溃为重复循环;v2 中的 weight_decay=0.01 产生了稳定的训练和事实回忆。逐步走一遍优化器步骤:一阶矩 m,二阶矩 v,偏差校正,解耦衰减,参数更新。
第 25 个活动中的第 11 个。学习率调度决定 ANDREA 是否能达到连贯性,还是陷入糟糕的盆地。v1 在新权重上立即使用峰值学习率并崩溃;v2 在 2000 步内线性上升,然后余弦衰减至零。ANDREA-12M 在第 25K 步进行了热重启。逐一分析每个阶段。
第 12/25 活动。梯度裁剪在 AdamW 触及参数之前,将每个梯度的 L2 范数上限设置为 max_norm=1.0。ANDREA-120M v1 没有裁剪;源代码每 7-42 步切换就会产生梯度峰值,将模型驱入退化吸引子。三个 CUDA 内核并行计算全局 L2 范数。
第 13/25 活动。数值精度决定了语言模型的内存占用、训练速度和数值稳定性。FP32 作为安全基准;FP16 在张量核心上将吞吐量加倍;FP8 E4M3 再次加倍,但有 NaN 风险。ANDREA-120M 在 RTX 4090 上使用 FP16 cuBLAS,速度为 6 步/分钟。
ANDREA 使用多臂老虎机挑选训练数据。每个数据源成为一个臂;每一步拉一个臂并获得奖励。UCB1 (Auer, Cesa-Bianchi & Fischer, 2002) 通过置信界公式平衡探索与利用。本活动从第一性原理讲解 UCB1,手动计算分数,并解释为什么 ANDREA 调整 C=0.5 而非教科书中的 1.4。
Vanilla UCB1 每次挑选一个臂。ANDREA 将 UCB1 包装在基于阶段的骰子控制中:可变阶段长度(7、14、21、28、42 步),首先随机臂,UCB 填充剩余焦点槽位,且 25-33% 的阶段完全随机运行。42 步上限限制了坏焦点选择的损害。此活动讲解骰子数学、阶段阶梯,以及为什么这种结构能防止锁定。
UCB1 需要奖励信号。ANDREA 从哪里获得奖励?每个 CUDA 步骤报告 (source, doc_index, loss)。Proxy 维护每个 source 的损失指数移动平均 (EMA)。奖励 = max(0, EMA(t-1) - loss(t)) * 1000。1000 倍缩放很重要:没有它,每步损失改进 (~0.001) 会被 UCB 探索奖金 (~0.5) 淹没。此活动介绍奖励管道并展示缩放因子背后的数学。
UCB1 对臂进行排名;基于阶段的骰子控制组装焦点集。但原始匪徒输出可能饿死优先源或记忆微小源。ANDREA 在其上层叠两个保护规则:源地板保证每个源的最小采样权重,& 周期惩罚降低每个文档被拉取超过一次的源的权重(1/(1+epochs))。终身拉取在重启间持久存在。此活动通过工作示例逐步讲解这两个规则。
文档级覆盖率跟踪 & 1.3x 新鲜度奖励推动 bandit 向未探索数据倾斜。CUDA 报告每步采样的文档索引;代理跟踪每个来源的唯一文档索引。覆盖率低于 50% 的来源获得向 1.3x 缩放的乘数。该活动讲解数学原理,对比覆盖率奖励与 epoch 惩罚,并展示文档级新鲜度如何防止 500K 文档的 gutenberg 语料库在 200K 训练步中坍缩到 2K 文档子集。
在前 20K 步中,将火水管限制为 7 个聊天和散文来源,然后激活完整混合。v1(从第 0 步开始的 16 个来源)崩溃成重复;v2 添加了预热并存活下来;v3 润色(第 112K 步后)设置 curriculum_warmup_steps=0,因为模型已经学会了连贯的语言。此活动解释了为什么早期的多样性会伤害一个新初始化的 120M 模型,以及两阶段课程如何平衡连贯性和广度。
v2 在受污染数据上训练:利用会话 JSONL 泄露的代理系统提示注入用户回合槽位。模型学会了用户使用多节 Markdown 说话,并重现了代理装饰。v2.5 补丁:`has_system_prompt_shape()` 通过**形状**(标题计数、长度、指纹短语)检测泄露提示,而非字符匹配。三个信号组合成丢弃决策。再过滤 hermes3 来源后的丢弃率:87.7%、90.4%、93.0%。此活动将带你走过检测器及其教导的教训:装饰会演变,结构保持不变。
v1 产生了 `region region region` 超过 10 天,因为 eval_chat_quality() 只连接到遗留的多阶段运行器,并且在火hose课程期间从未运行。v2 引入连贯性门控:每个样本在四个指标上评分(二元组多样性 0-35,三元组多样性 0-35,英语单词存在度 0-20,字符多样性 0-10)。5 个连续样本评分低于 30 后自动停止。在 v1 上回测,该门控会在第 132K 步触发,节省 3.8 天的计算资源。此活动将介绍四个评分器、连续计数器设计,以及为什么复合指标能捕捉单一信号遗漏的故障。
ANDREA 每 100 步写入一个检查点。每个检查点包含一个 4 字节的步数头部、一个 4 字节的参数计数,然后是三个紧挨着的 float32 数组:权重、Adam 一阶矩 m、Adam 二阶矩 v。SIGTERM 触发立即检查点写入然后退出;SIGUSR1 触发按需检查点写入而不停止。.loss.json 从不归档(根据永不归档规则的累积训练历史)。遍历字节布局,绘制恢复草图,并锁定为什么一条规则(不归档 .loss.json)优于所有其他归档决策。
损失是一个数字。阅读样本是我们了解这个数字含义的方式。每100步,ANDREA生成420个自由形式输出的令牌,& 损失与每个样本一起落在五个层级:0.30 = 事实回忆(ppl 1,已记忆),0.74 = 教科书式一句话(ppl 2),1.05 = 约束遵循(ppl 3),1.94 = 知识渊博但不精确(ppl 7),0.13 = 异常记忆(僵尸臂信号)。700步内六个无关知识领域证明了bandit的有效性。外部聊天质量评分将样本评为9.5/10。进行一次真实审计,学习损失层级,& 抓住僵尸臂的现行。
ANDREA-120M 第一次尝试并未收敛。v1 崩溃为“region region region”并消耗了计划的 200K 步中的 165K 步。五个复合故障。v2 添加了五个修复,并在第 15K 步出现数据污染前运行了两周。v2.5 修补了过滤器。v3 干净运行了 112K 步,直到一个僵尸 bandit arm 在第 112,619 步精确复制了 repo-docs,触发了 polish pivot。几小时内,样本评分达到 9.5/10。从崩溃到连贯,回顾工程记录;学习每个修复解决了什么,以及下一次故障教会了什么。
几何如何塑造建筑、计算机图形、机器学习、导航和工程。
排队论、流程图和累积流曲线:WIP限制、Little法则和跨职能工作系统中的瓶颈分析背后的几何思维。
雷达图、网络图和流程图:用于可视化资本投资组合、衡量八个维度的平衡以及绘制形式之间流动的几何工具。
为什么竖笛是进入整个乐器学习项目最便宜、最耐用的起点:哪些技能可迁移到长笛、单簧管、双簧管和萨克斯管,哪些是全新的内容,竖笛初学教学,以及打击乐、钢琴和吉他的平行入门路径。
管道声学以及为什么长度决定音高、指孔位置作为几何级数、为什么单簧管超吹为十二度而长笛超吹为八度,以及五度圈作为一个字面上的圆:每个管乐器内部的几何学。
护理学的科学与艺术——从生命体征到患者倡导,医疗保健职业的基础。
为期一学期的毕业设计项目:从第一性原理出发,设计一座安全的核反应堆。选择反应堆类型、燃料、冷却剂、三重冗余安全系统、人因监督、厂址选择及许可策略,并像专业工程师一样为每一项决策进行辩护。
社区大学水平的核工程:中子物理、临界性、四因子公式、燃料循环、控制棒物理、热工水力学、反应堆类型以及重塑安全文化的反应堆事故。
完整的社区大学安全工程模块:纵深防御、三重冗余、ECCS、包容、反应性控制、电气系统、仪表与控制、人因工程、ALARA、事故教训、概率风险评估以及废物管理。
社区学院水平的核物理学。强力、壳层模型、放射性衰变、结合能、裂变、聚变,以及E=mc²:配合真实计算。
反应堆堆芯栅格几何、中子通量分布、屏蔽计算和反平方律。
椭圆轨道、霍曼转移、轨道平面、倾角变化和拉格朗日点:太空飞行的几何。
了解供水和排水系统——让现代生活成为可能的隐形基础设施。
管道坡度计算、接头角度、偏移几何、排水坡度以及几何系统中水流物理学。
传感器、执行器和控制回路——机器人如何感知、决策和行动,从工厂机械臂到火星漫游车。
正运动学和逆运动学、工作空间范围、自由度和路径规划:使机器人运动的几何学
理查德·汉明从贝尔实验室与冷战时代构建了一条知识之龙。“去汉明化”从其背脊生长:同样的火焰,不同的飞翔。没有间谍对间谍。没有捕食者与猎物。它映射了汉明正确之处、其时代使他盲视之处,以及一台永续计算机所延伸的内容。
Hamming 讲授了数字滤波器、编码理论、模拟与 n 维几何,却从未提及 Big O。本课填补空白:用具体编程示例讲解 O(1) 到 O(N²),探讨“沉默的代价”,以及为何 MOAD-0001 在 Hamming 时代悄然兴起。
在应该使用集合的地方使用了列表。CWE-407:在 60 多个软件生态系统的 1,000 多个站点中存在 O(N²) 成员测试。汉明时代播下了种子,我们的时代继承了它。本课教授模式识别、代码考古学,以及让基础设施快 1,000 倍的一行修复。
知道MOAD存在和找到它不同。本课教授检测方法:如何阅读代码以识别沉积模式,如何使用grep和静态分析搜索生态系统,以及如何使用MOAD管道从确认的缺陷转移到上游补丁:扫描、工单、补丁、测试、披露、PR、合并。
Hamming 曾教导“衡量什么就会得到什么”——这是他最深刻的洞见之一。他衡量了金融资本与智力资本。实际上存在八种资本形式。本课将他的衡量框架扩展至全部八种,并提出问题:你的工作在增长哪些资本,又在消耗哪些资本?
Russell Ballestrini 撰写了 Permacomputer 宣言:基础设施无需抽取租金即可持续增长,代码比作者更长久,免费算力属于所有人。本课将 Hamming 的系统工程(第 28 章)延伸至 Permacomputer 设计原则:能力驱动的呈现、渐进增强,以及协作式基础设施。
Hamming 的《你与你的研究》假定研究者有机构支持:贝尔实验室、大学或国家实验室。开源则移除了这一前提。本课将 Hamming 的核心建议——解决重要问题、始终牢记 10 个重要问题、持续积累知识——延伸至仅拥有提交权限和公开仓库的独立研究者。
Hamming的时代运行在冷战的二元对立中:我们对他们、机密对开放、贝尔实验室对其他所有人。Unhamming在没有这个框架的情况下运作。本课程检视了这个二元对立在每个资本队列中的成本,以及当你培育一个不需要这个游戏的董事会时会发生什么。
永续农业原则:观察与互动;捕获并储存能量;不产生废物。应用于软件:编写能再生周围系统而非从中提取的代码。本课将永续农业设计原则映射到永续计算机基础设施与 MOAD 工厂模型。
Hamming 的系统工程(第 28 章):孤立优化单个组件会降低整个系统的性能。MOAD 工厂模型将此原则应用于基础设施规模:修复高吞吐量节点的 O(N²) 问题会导致所有下游队列泛滥。MOAD-0001 与 MOAD-0005 相互耦合。必须同时解决两者,再公开任一问题。
哈明在《你与你的研究》一书结尾提出了每个研究者都必须回答的问题:你的价值观是什么,你愿意为此做出什么牺牲?永久计算机四艺给出了一个具体答案:真理(开源)、自由(自愿参与)、和谐(自我更新)、爱(无为)。本课程将这些原则应用于软件与研究实践。
子系统通过共享的可变全局状态耦合,在单一事件循环或上帝对象中同步修改。这是一种结构耦合,而非时序问题。本课将说明为什么添加互斥锁会使问题更严重,以及如何通过相位快照在架构层面解耦子系统。
ThreadLocal 保存请求范围的身份信息。线程返回线程池时未调用 ThreadLocal.remove()。下一个请求复用同一线程时,会读取到上一个请求的上下文。这不会导致崩溃,而是静默的安全边界违规。本课讲解作用域不匹配问题,以及取代它的生命周期正确的原语。
Web 服务器会原样记录 HTTP 标头。Authorization、Cookie 和 X-API-Key 会以明文形式写入磁盘。它们并非仅存在于内存中,而是会写入磁盘、日志收集器、聚合器,并保留 30-90 天。本课程将讲解暴露窗口的计算方法,以及在序列化层通过凭证黑名单进行修复的方案。
cache.get(key) + null 检查 + expensiveCompute(key) + cache.put(key):四个非原子步骤。N 个线程全部未命中,同时执行计算。幂等性陷阱:“两个线程写入相同结果是 OK 的”在正确性上成立,但忽略了成本。本课讲解原子修复及其与 MOAD-0001 的耦合。
凭证以可恢复形式存储:明文、可逆加密、base64。一次数据库转储即可同时暴露所有凭证。与 MOAD-0004(意外日志写入)不同,玻璃保险箱在架构设计上就要求凭证可恢复。本课将说明为什么强加密无法解决此问题,以及应改用何种单向哈希。
以 O(N) 线性扫描查询空间数据。几何结构被丢弃。BVH、八叉树和 k-d 树从未构建。以埃德温·艾博特 1884 年《平面国》命名:结构存在,却被丢弃。Three.js Raycaster 在 60Hz 下处理 10,000 个对象:每秒 600,000 次几何检查,仅需 3 行代码修复。本课讲解空间索引,以及为什么哈希集合无法替代它。
一个定时任务无论是否有工作要做,都会按时触发。两种形式:一种是状态修复任务,在延迟后修复损坏的状态(用户会在窗口期内看到异常);另一种是浪费资源的报告任务,按固定间隔从头重新计算。本课将介绍事件驱动设计作为替代方案,以及 MOAD 放大模式。
五种缺陷——O(N²) 成员检测、全局状态耦合、ThreadLocal 身份泄漏、凭证日志记录、惊群效应——早在 2026 年系统性检测前数十年就已被知晓。本课追溯其思想史,识别让每种缺陷得以持续的五种结构性条件,并建立用于识别未修复的已知缺陷的诊断词汇。
学习焊接背后的科学与工艺——从电弧物理到接头设计,这是金属制造行业每个职业生涯的基础。
接头角度、坡口几何形状、焊缝轮廓、变形控制和装配公差:金属连接中的几何精度。
没有与您的搜索匹配的课程。
完成 2 节课,写一段关于你的事业的文字,即可通过创业者贡献通道获得个人版访问权限。