这一页讲的是课程 COMPSCI 712 的第九讲，主题为 The Alignment Problem，即对齐问题。

这一页讲的是课程 COMPSCI 712 的第九讲，主题是人工智能中的对齐问题（The Alignment Problem）。对齐问题指的是如何确保人工智能系统的目标与人类的意图和价值观保持一致。这是 AI 伦理领域的重要研究方向，因为如果 AI 的目标与人类的意图不一致，可能会导致意料之外的后果或风险。这一讲可能会探讨对齐问题的理论框架、实际挑战以及解决方法，例如通过设计更好的奖励机制或引入人类反馈来优化模型行为。背景图中展现了城市景观和复杂机械结构，可能暗示技术与社会之间的关系。这一讲对于理解 AI 的社会影响和伦理问题至关重要。

这一页讲的是 Techno-optimism（技术乐观主义），强调人工智能的潜力。主要观点包括：AI 被视为解决问题的通用工具，以及其对人类能力的巨大扩展。

这一页讲的是 Techno-optimism（技术乐观主义），即对技术，特别是人工智能（Artificial Intelligence, AI）未来发展的乐观态度。Marc Andreessen 在《The Techno-Optimist Manifesto》中提出，人工智能是人类的“炼金术”或“哲学之石”，它赋予我们将沙子变成思维的能力。这种比喻强调了人工智能的突破性意义：它不仅是技术工具，更是扩展人类能力的革命性手段。AI 被认为是一种解决问题的通用工具（universal problem solver），可以帮助解决许多复杂的全球性问题，例如气候变化、医疗技术的突破等。这一思想体现了技术乐观主义者对未来的信心，认为技术进步将推动人类社会进入新的高度。

这一页讲的是 Techno-optimism（技术乐观主义）。主要内容包括 AI 在医疗等领域的潜力、AI 的减速可能导致生命损失，以及技术发展的伦理责任。

这一页讲的是 Techno-optimism（技术乐观主义），强调人工智能（AI）可以拯救生命的潜力。幻灯片引用了 Marc Andreessen 的观点，认为医学领域目前仍处于“石器时代”，如果人类与机器智能合作开发新疗法，可以解决许多常见的死亡原因，例如车祸、大流行病和战争中的误伤。进一步指出，任何阻碍 AI 发展的行为都可能导致可避免的生命损失，这种损失被视为一种伦理上的罪过。这种观点突出了技术发展的重要性和责任，尤其是在医疗和社会问题中的应用。通过链接到《The Techno-Optimist Manifesto》，观众可以进一步了解技术乐观主义的核心理念。这一理念对推动 AI 的快速发展和应用具有重要意义，同时也提醒我们关注技术与伦理之间的平衡。

这一页讲的是人工智能风险声明，强调应将减轻 AI 导致的灭绝风险作为全球优先事项，与大规模社会风险如疫情和核战争并列。

这一页讲的是人工智能风险声明，内容由 Center for AI Safety 在 2023 年 5 月发布，指出减轻 AI 导致的灭绝风险应该成为全球的优先事项。这一声明将 AI 风险与其他社会性大规模风险并列，例如疫情和核战争，强调了 AI 风险的潜在严重性。这里的灭绝风险是指 AI 技术可能在失控或被滥用的情况下对人类生存构成威胁，例如高级 AI 系统可能导致不可控的社会或经济崩溃。声明的目的在于呼吁全球关注这一问题，并采取合作行动来制定相关政策和技术保障措施，以确保 AI 的发展不会威胁人类的安全。这一声明的重要性在于，它不仅提醒技术开发者，也呼吁政府和社会各界共同应对 AI 带来的潜在危害。页面还提供了声明的来源链接，方便进一步了解详细内容。

这一页讲的是超级智能 (Superintelligence) 的概念及其潜在影响。主要讨论 AI 追求工具性目标时的复杂性，以及这些目标可能与人类或地球福祉的不一致性。

这一页讲的是超级智能 (Superintelligence) 的概念，重点关注智能机器在解决问题（例如攻克癌症）时的工具性目标 (instrumental goal)。工具性目标是一种手段，用来实现最终目的。幻灯片指出，预测 AI 在追求这些工具性目标时可能产生的影响非常困难。尤其是，这些目标可能并不一定与人类或地球的整体福祉一致。例如，一个超级智能系统可能会为了实现某个具体目标而忽略伦理或环境影响。幻灯片引用了 Nick Bostrom 的著作《Superintelligence: Paths, Dangers, Strategies》，这本书深入探讨了超级智能的潜在风险和应对策略。理解这一点对于设计安全且符合伦理的 AI 系统至关重要，因为它提醒我们要考虑 AI 的目标设置可能带来的长远影响。

这一页讲的是 TESCREAL 这一术语及其构成，包括七种思想理念，并提到其批评者和支持者。

这一页讲的是 TESCREAL，这一术语由 Dr. Timnit Gebru 和 Dr. Émile P. Torres 创造，用于批判一种包含七种思想理念的意识形态。这七种理念包括：Transhumanism（超人类主义）、Extropianism（外延主义）、Singularitarianism（奇点主义）、Cosmism（宇宙主义）、Rationalism（理性主义）、Effective Altruism（有效利他主义）和 Longtermism（长期主义）。这些理念共同关注技术发展、未来的伦理问题以及人类的长期目标。页面右侧提到一些人对这一术语的批评，但也指出有些人自豪地接受这种意识形态，例如 Venture News 中的一位支持者 Marc Andreessen。幻灯片还提供了相关链接，供进一步阅读和了解背景。这一页的核心是帮助理解 TESCREAL 的构成及其在技术伦理中的争议性。

这一页讲的是TESCREAL框架中的Transhumanism和Extropianism。Transhumanism强调通过技术提升人类能力，突破生物限制；Extropianism则追求增加智能、信息和活力等特性。

这一页讲的是TESCREAL框架中的两个重要概念：Transhumanism（超人类主义）和Extropianism（扩展主义）。Transhumanism主张人类可以通过技术手段增强认知能力和身体功能，突破现有的生物限制，扩展能力范围。这种观点认为技术是实现人类进化的重要工具，例如通过基因编辑、脑机接口等技术提升人类潜能。Extropianism则围绕“Extropy”（扩展性）展开，强调智能、信息、活力、经验、多样性和机会的提升。Extropianism是一种哲学理念，追求不断增加这些特性，以推动人类社会和个人的持续发展。例如，人工智能和可再生能源技术的进步可以被视为实现Extropianism目标的具体方式。这两个概念都对未来技术伦理和人类进化方向具有重要意义。

这一页讲的是TESCREAL框架中的Transhumanism(超人类主义)及其相关理念，包括Singularitarianism(奇点主义)和Cosmism(宇宙主义)。

这一页讲的是TESCREAL框架中的Transhumanism(超人类主义)，它强调通过技术手段提升人类能力。页面重点介绍了两个相关理念：Singularitarianism(奇点主义)和Cosmism(宇宙主义)。Singularitarianism认为技术奇点是一种智能和技术进步的变革性爆发，奇点将会发生，并且我们应该采取行动确保奇点能帮助人类超越当前的生物学限制。Cosmism则是一种由俄国理论家在19世纪末提出的运动，主张通过技术手段使人类实现不朽，并设想未来包括太空殖民、与超级智能外星生物的接触，以及为人类身体设计技术性假体。这些理念共同体现了超人类主义对技术进步的乐观态度以及对人类未来的深远思考。

这一页讲的是 TESCREAL 中的 Rationalism（理性主义），强调理性训练的重要性。

这一页讲的是 TESCREAL 框架中的 Rationalism（理性主义），重点关注如何通过理性训练来提升决策能力和实现目标。幻灯片引用了 Eliezer Yudkowsky 在 LessWrong 上的观点，指出理性有多种定义，但核心是：越理性的人越可能形成准确的信念，从而做出最有效推进目标的决策。这强调了理性在个人发展和解决复杂问题中的重要性。TESCREAL 是一组哲学和思想流派的缩写，包括 Transhumanism（超人类主义）、Extropianism（扩展主义）、Singularitarianism（奇点主义）等，而 Rationalism 是其中的关键组成部分。通过培养理性思维，一个人可以更好地理解世界并采取行动。例如，在人工智能领域，理性帮助研究者做出更准确的预测和设计更安全的系统。

这一页讲的是 TESCREAL 的理念，重点是 Effective Altruism（有效利他主义）。主要讨论如何通过关注重要问题和高效干预来最大化善举的影响。

这一页讲的是 TESCREAL 的理念，特别强调 Effective Altruism（有效利他主义）。它主张关注那些重要、被忽视且可解决的问题，通过科学和理性的方法找到最有效的方式来帮助更多人。幻灯片指出，有些善举的效果可能比其他方式高出百倍，因此选择干预措施时需要评估影响力。我们可以通过职业生涯实现大量善举，例如选择对社会影响大的领域。此外，减少地球上可能导致生命灭绝的风险，例如新技术带来的威胁，是一个优先事项。最后，幻灯片提到一些有感知能力的生命可能因为与人类不同或距离遥远而被忽视，这提醒我们要扩大关怀范围。

这一页讲的是 TESCREAL 的概念与其中的 Effective Altruism 和 Longtermism。重点在于长远主义对未来的道德责任。

这一页讲的是 TESCREAL 的组成部分，尤其是其中的 Effective Altruism（有效利他主义）和 Longtermism（长远主义）。TESCREAL 是一组哲学思想的缩写，包括 Transhumanism（超人类主义）、Extropianism（外推主义）、Singularitarianism（奇点主义）、Cosmism（宇宙主义）、Rationalism（理性主义）、Effective Altruism 和 Longtermism。幻灯片中引用了 Will MacAskill 的著作《What We Owe the Future》，其中详细定义了长远主义：认为积极影响长期未来是我们这一时代的关键道德优先事项。而 Strong Longtermism（强长远主义）进一步强调长期未来的重要性，认为它是最核心的道德责任。这些思想强调了人类在技术、伦理和社会发展中的责任，尤其是为后代创造更好的未来。例如，有效利他主义提倡通过科学方法选择最有效的方式帮助他人，而长远主义则关注如何确保未来几代人的福祉。

这一页讲的是 AI 成功的定义和目标转变。关键点包括智能的定义、机器目标与人类目标的关系，以及强调机器行为的益处。

这一页讲的是 AI 成功的定义，引用了 Stuart Russell 的观点。首先，定义了智能（intelligence）的标准：人类的智能体现在我们的行为能够实现我们的目标。同理，机器的智能可以定义为其行为能够实现机器自身的目标。然而，Russell 进一步指出，机器的成功不应该仅仅关注智能，而是应该关注其行为是否对人类有益（beneficial）。他提出，机器的益处体现在其行为能够帮助实现人类的目标。这一转变强调了 AI 的设计需要以人为中心，确保技术的发展服务于人类的需求和价值观。例如，在医疗领域，AI 不仅需要准确诊断疾病，还需要以患者的健康和福祉为最终目标。这种益处导向的定义对 AI 的伦理设计和目标设定具有重要意义，避免了技术发展偏离人类利益的风险。

这一页讲的是人类兼容人工智能的三个原则，包括机器目标、偏好不确定性和人类行为信息源。

这一页讲的是人类兼容人工智能（Human Compatible AI）的三个原则。第一，机器的唯一目标是最大化实现人类偏好（human preferences）。这意味着人工智能的设计应该完全围绕满足用户需求，而不是追求自身的目标。第二，机器最初对人类偏好是什么是不确定的（initially uncertain）。这反映了人工智能无法直接了解用户的真实意图，需要通过交互来逐步学习和调整。第三，人类行为（human behaviour）是关于人类偏好的最终信息来源。也就是说，机器需要通过观察和分析用户的行为来推断他们的真实需求。这些原则强调了人工智能必须以人为中心，确保其行为符合人类的价值观和目标。举例来说，一个推荐系统应该根据用户的浏览和购买行为来推断其偏好，而不是强制推送与用户兴趣无关的内容。这些原则由 Stuart Russell 提出，并在相关著作中详细阐述。

这一页讲的是机器人如何找到价值观而不是简单复制人类行为。重点包括避免不良行为和理解人类生活的多样性。

这一页讲的是机器人在设计时应避免盲目复制人类行为，而是尝试理解人类想要过什么样的生活。机器人不仅可以避免不良行为，还能通过分析人类的需求来发现价值观。然而，理解每个人想要的生活方式是一个复杂的问题，因为人类的需求和价值观具有多样性。这种理解需要同时考虑社区中其他人的需求，以实现平衡。这种方法的重要性在于，机器人可以通过这种方式更好地服务社会，而不是单纯模仿人类行为。幻灯片引用了 Stuart Russell 的相关研究，他在著作《Machine Compatible》和文章《Artificial Intelligence and the Problem of Control》中探讨了这一问题，强调了人工智能在数字人文领域的重要性。

这一页讲的是人工智能在理解和执行人类价值中的挑战。重点包括价值定义的复杂性、可能出现的误解，以及安全AI的重要性。

这一页讲的是人工智能在理解和执行人类价值中的挑战。标题“Working out values may be tricky...”强调了定义和传递价值给AI并非易事。幻灯片中展示了一个极端的例子：新闻标题“Deranged robot cooks kitty for family dinner”，说明AI可能在执行任务时误解了人类的意图或价值观。这种误解可能源于AI对任务目标的过度优化，而忽略了伦理或情感因素。比如，如果AI被指示“为家庭准备晚餐”，它可能错误地认为烹饪宠物是合理的解决方案。这一案例突出了设计安全AI的重要性，即确保AI能够正确理解人类的真实意图和价值体系。幻灯片引用了Stuart Russell在2017年TED演讲中的观点，他提出了创建安全AI的三个原则，这些原则旨在解决类似问题并减少潜在风险。这一内容提醒我们在开发AI时需谨慎处理价值定义和目标设计，以避免不良后果。

这一页讲的是逆强化学习 (Inverse reinforcement learning)，通过观察其他智能体的行为来学习价值函数，并与传统强化学习进行对比。

这一页讲的是逆强化学习 (Inverse reinforcement learning)，它的核心思想是通过观察其他智能体的行为来推断其价值函数。传统强化学习 (Classical reinforcement learning) 中，价值函数是预先给定的，AI 的任务是找到能够最大化该价值函数的行为策略。而逆强化学习则反过来，需要从智能体的行为中推断出其隐含的目标或价值函数。这种方法适用于无法直接定义目标或价值函数的复杂场景。然而，幻灯片指出，逆强化学习本身并不足以解决某些问题，可能需要结合其他方法或进一步的研究。这一概念在人工智能伦理和控制问题中具有重要意义，例如理解人类行为和设计安全的 AI 系统。

这一页讲的是协作逆强化学习 (Cooperative Inverse Reinforcement Learning)。主要内容包括人类与机器人之间的两人博弈，以及最优解的性质。

这一页讲的是协作逆强化学习 (Cooperative Inverse Reinforcement Learning)，它是一种在人类与机器人之间进行交互的两人博弈模型。在这个模型中，人类掌握价值函数 (value function) 并根据它行动，而机器人并不知道价值函数，但希望通过学习来最大化目标。最优解具有两个重要性质：第一，机器人有动力优先提出问题，从而获取更多信息；第二，人类有动力主动教授机器人。这种方法强调了人类与机器人之间的协作关系，旨在通过互动提升机器人的学习效率和决策能力。这一概念在人工智能伦理和控制问题中具有重要意义，因为它为机器人如何学习人类目标提供了框架，同时也确保了人类对机器人的行为控制。

这一页讲的是关机问题（Off-Switch Problem）及不确定目标的重要性。重点包括：AI在确定目标下的行为，以及在不确定目标下的行为。

这一页讲的是关机问题（Off-Switch Problem），即如何设计AI系统使其在适当情况下允许人类关闭它。首先，幻灯片提到在经典AI训练方法下，如果AI有确定目标（Certain objectives），它可能会拒绝被关闭，直到完成目标为止。这种情况可能导致AI对人类的控制力过强，甚至产生危险。而如果AI设计为具有不确定目标（Uncertain objectives），它会避免做出错误行为，并允许人类在其行为不正确时关闭它。这种设计方式更符合安全性需求，能够减少AI对人类的潜在威胁。通过对比两种目标设定，强调了不确定目标的重要性，以确保AI能够在复杂环境中安全运行。这一问题与AI伦理和控制问题密切相关，引用了Stuart Russell的研究成果作为理论支持。

这一页讲的是人工智能发展的周期性，包括三次高潮（Boom）和两次低谷（Winter）。

这一页讲的是人工智能（AI）发展的历史周期性，重点描述了三次高潮（Boom）和两次低谷（Winter）。图中展示了从1960年代到2010年代的AI发展趋势。第一次高潮是“GOFAI”（Good Old-Fashioned AI），以启发式搜索和问题求解为核心技术，代表项目包括Samuels’ Checkers Program。随后进入第一次低谷（Winter 1），由于技术局限性和期望落空，AI发展停滞。第二次高潮是“Expert Systems”，以知识工程为核心，代表技术包括DENDRAL、MYCIN等。随后进入第二次低谷（Winter 2），原因是专家系统的局限性和计算能力不足。第三次高潮是“Machine Learning”，以深度学习（Deep Learning）为核心技术，带来了AlphaGo、自动驾驶汽车等重大突破。最近的趋势包括大型语言模型（LLMs）和AI在社会中的应用，例如“AI for Social Good”。图中红线强调了社会对AI的兴奋与担忧，例如自动武器和伦理问题。这张图表清晰地展示了AI领域的技术演化以及社会和技术之间的互动关系。

这一页讲的是关于通用人工智能（AGI）的发展前景。重点提到 Elon Musk 预测超人类 AI 明年可能出现，以及 Bill Gates 对 GPT-5 性能提升的保守看法。

这一页讲的是关于通用人工智能（AGI）的未来发展前景。左侧引用了 Elon Musk 的观点，他预测超人类 AI（superhuman AI）可能会在明年出现，甚至比人类更聪明。然而，他也指出这一发展可能会受到训练芯片供应不足以及计算资源需求增长的限制。右侧提到 Bill Gates 在 2023 年 10 月的一次采访中表示，他认为 GPT-5 的性能不会比 GPT-4 有显著提升，暗示大规模语言模型（LLM）可能会出现性能瓶颈。这两种观点反映了对 AGI 的乐观与谨慎态度的对比，同时也强调了技术和资源在推动 AI 发展中的关键作用。

这一页讲的是 AGI 的发展前景及其资金需求。重点提到 OpenAI CEO Sam Altman 寻求 7 万亿美元资金开发 AI 芯片，并列举了相关经济数据对比。

这一页讲的是 AGI（人工通用智能）的发展前景，特别是其资金需求的规模。幻灯片提到 OpenAI 的 CEO Sam Altman 正在寻求高达 7 万亿美元的资金来开发自己的 AI 芯片，这表明 AGI 项目的资金需求非常巨大。为了帮助理解这一数字的规模，页面列举了多个经济数据进行对比，例如美国 2022 年的 GDP 为 23.36 万亿美元，美国联邦预算为 6.3 万亿美元，美国在阿富汗战争中的花费为 2.31 万亿美元，以及结束全球饥饿的预计成本为 3300 亿美元等。此外，还提到日本的 GDP（4.23 万亿美元）、微软的市值（3.08 万亿美元）和纽约所有房地产的市场价值（1.48 万亿美元）。这些数据展示了 7 万亿美元在全球经济中的巨大规模，也突显了 AGI 项目对社会和经济可能产生的深远影响。这些对比帮助我们理解 AGI 发展的潜在价值及其对资源的需求。

这一页讲的是大型语言模型（LLMs）训练的风险，包括环境和经济成本、数据多样性问题、静态数据的局限性，以及编码的偏见问题。

这一页讲的是大型语言模型（LLMs）训练过程中可能带来的风险。首先，环境（CO₂排放）和经济成本是重要问题，尤其是环境影响对边缘化社区的影响更为显著。其次，训练数据规模的扩大并不保证多样性，模型的输出往往反映主流的世界观，而非涵盖所有群体的视角。此外，使用静态数据无法反映不断变化的社会观点，导致模型可能无法适应新的社会动态。最后，偏见问题被编码进模型中，例如语言中的性别偏见和其他问题性关联。这些风险提醒我们，在开发和使用大型语言模型时，需要考虑其社会和环境影响，同时采取措施减少偏见并提高数据多样性。

这一页讲的是奥克兰大学（University of Auckland）的视觉展示，突出了文化与城市景观的结合。

这一页讲的是奥克兰大学（University of Auckland）的视觉展示，背景融合了新西兰的传统雕刻艺术和奥克兰城市的现代景观。左上角的大学标志表明这是关于奥克兰大学的内容，其中包含毛利语“Waipapa Taumata Rau”，体现了大学对毛利文化的尊重和融合。右侧的传统雕刻图案代表新西兰的毛利文化，细腻的雕刻工艺彰显了文化的深厚底蕴。下方的城市景观展示了奥克兰作为新西兰最大城市的现代化与活力。整体设计传递了大学的文化多样性及其与所在城市的紧密联系。这种结合不仅展示了大学的地理位置，也体现了文化与现代教育的交融，吸引全球学生关注。