这一页讲的是 COMPSCI 712 课程的第十二讲,主题为歧视与偏见(第二部分)。重点是探讨 AI 系统中的伦理问题,尤其是如何应对偏见与歧视。
这一页讲的是 COMPSCI 712 课程的第十二讲,主题为歧视与偏见(第二部分)。这一讲主要关注 AI 系统中的伦理问题,特别是偏见与歧视的存在及其影响。偏见(bias)是指算法或数据在处理过程中产生的系统性误差,可能导致某些群体受到不公平对待;而歧视(discrimination)则是这种偏见在决策中表现为对某些群体的排斥或不公。课程可能会讨论偏见的来源,例如数据集的不平衡、模型训练中的隐性假设,以及如何通过技术手段(如公平性算法)或政策(如透明度和问责机制)来减少偏见和歧视的影响。这一主题对于 AI 的社会责任和应用的公平性至关重要,特别是在涉及招聘、医疗、司法等领域时。
这一页讲的是课程的主要议程,分为三个部分。第一部分是深入探讨 Cathy O’Neil 的 WMDs(Weapons of Math Destruction),即数学破坏性武器,重点分析算法如何在社会中产生偏见和不公平。第二部分是分析压迫的统治矩阵(Matrix of Domination),该理论揭示了不同形式的压迫如何交织在一起,例如种族、性别和阶级等多重维度的影响。第三部分是社会责任工具(Tools of Social Responsibility),讨论如何通过技术和伦理手段促进公平和社会正义。这些内容旨在帮助学生理解技术与社会的复杂关系,并培养批判性思维。
这一页讲的是 Cathy O’Neil 在《Weapons of Math Destruction》一书中提出的关于算法和模型可能带来的负面影响的三个特征。第一,不透明性(Opacity),指的是模型是否对参与者透明,是否让人了解其运作方式及用途。如果模型是完全不透明甚至隐形的,它可能会引发信任问题。第二,伤害性(Damage),强调模型是否违背了个体的利益,是否存在不公平,甚至对生活造成伤害或破坏。例如,一个招聘算法可能因为偏见而剥夺某些群体的就业机会。第三,规模化(Scale),探讨模型是否具有指数增长的能力,能否快速扩展并影响更广泛的人群。规模化使得模型的负面影响可能迅速扩大,造成更大的社会问题。这些特征提醒我们在设计和使用算法时,要关注其透明度、公平性和潜在的社会影响。
第 4 / 22 页
这一页讲的是 O'Neil 对 WMD(Weapons of Math Destruction)的不透明性问题,包括模型的解释性、透明性、样本量和变量选择等方面的缺陷。
这一页讲的是 Cathy O’Neil 在《武器化数学》(Weapons of Math Destruction, WMD)中提出的算法系统可能导致的损害,具体列出了五种原因及其对应的案例。第一,系统被人为操控导致不公平,例如教师评价算法中,部分教师通过人为提高学生成绩来获取更高评分,导致诚实教师被解雇。第二,系统接受了某些不公平(惩罚性)决策的存在,例如 Northpointe 的预测模型在不同人口统计学群体间接受错误率的存在。第三,即使发现算法或数据的问题,个人无法对结果提出申诉,例如 ROCROI 的风险评分系统对某些族群加分,但当时法院系统没有提供挑战决策的途径。第四,分析工具可能被用来识别弱势群体并加以剥削,例如营利性大学通过在线广告吸引经济困难的学生,同时采用欺诈性商业行为。第五,所谓“道德覆盖”(moral override),即在系统开发和使用中隐藏人类痛苦,例如金融危机中用数字、表格和风险评分掩盖了实际的社会影响。这些案例揭示了算法系统在设计和应用中可能产生的伦理和社会问题。
第 7 / 22 页
这一页讲的是 O'Neil 的《武器化数学模型》(Weapons of Math Destruction, WMD)如何扩大社会不平等及其负面影响。重点包括对贫困群体的惩罚、资源不均导致的系统操控,以及正反馈循环的恶化。
这一页讲的是 O'Neil 的《武器化数学模型》(Weapons of Math Destruction, WMD)如何通过规模化处理和算法偏见对社会造成损害。第一点是这些模型倾向于惩罚贫困群体,因为大规模处理的设计通常缺乏个性化服务,而富裕群体可以通过私人服务规避算法偏见,例如在医疗领域。第二点是社会资源的不平等导致某些群体更有能力操控系统,例如金融犯罪由于行业的财富和游说力量而受到较少的监管,而对贫困社区的零容忍政策却更加严格。第三点是正反馈循环的负面影响,例如在使用 PredPol(预测警务)和零容忍政策时,针对贫困社区的小犯罪数据会生成更多数据,从而进一步加强警务力度,形成恶性循环。这张表通过列举具体例子说明了这些问题的现实表现,例如私人医疗服务规避算法偏见和警务数据的循环强化,揭示了这些模型对社会公平的深远影响。
第 8 / 22 页
这一页讲的是 The Matrix of Domination(支配矩阵),介绍了四个领域:结构性、纪律性、霸权性和人际性。
这一页讲的是 The Matrix of Domination(支配矩阵),这是 Patricia Hill Collins 在《Black Feminist Thought》中提出的一个框架,用来分析权力和压迫的多维度表现。表格中列出了四个领域及其描述:1. Structural(结构性):通过法律和政策组织压迫,强调制度层面如何塑造不平等;2. Disciplinary(纪律性):管理和实施压迫,通过执行法律和政策来维持权力结构;3. Hegemonic(霸权性):传播压迫性观念,主要通过文化和媒体影响社会认知;4. Interpersonal(人际性):个人层面经历的压迫,反映人与人之间的互动如何体现权力关系。这一框架强调压迫的系统性和交织性,帮助我们理解社会中的不平等如何被维持和传递。比如,结构性压迫可能通过教育政策限制某些群体的机会,而霸权性压迫则通过媒体塑造刻板印象,从而加深这种不平等。
这一页讲的是数据科学伦理倡导组织,展示了三个致力于推动人工智能和数据科学伦理的机构。第一个是 Algorithmic Justice League (AJL),它专注于算法公平性,强调技术不应只服务于特权阶层,呼吁公众参与推动负责任的人工智能。第二个是 AI Now Institute,这是一家研究机构,主要探讨人工智能的社会影响,关注技术与人权之间的关系。第三个是 Te Mana Raraunga,这个组织代表毛利数据主权网络,强调数据主权的重要性,倡导保护原住民数据的权利。这三个组织分别通过研究、倡导和社区参与推动数据科学伦理发展,相关网站链接也提供了进一步了解它们工作的途径。
这一页讲的是政府如何对人工智能(AI)进行监管的问题。首先,科技领导者呼吁政府加快对AI技术的监管,指出立法者通常无法跟上技术发展的速度,导致监管滞后。其次,研究表明政府机构对算法的使用正在增加,这引发了对监管需求的进一步关注,尤其是在确保透明度和公平性方面。此外,页面还提到了GDPR(General Data Protection Regulation)法规,这是欧盟针对数据隐私和保护的全面法律框架。GDPR为组织和个人提供了具体的指南,以帮助他们遵守数据保护要求。这些内容共同强调了AI监管的重要性,尤其是在技术快速发展的背景下,政府需要制定明确的规则以应对潜在的风险和挑战。例如,AI算法可能会影响公共政策决策,因此需要确保其透明性和公平性。
第 14 / 22 页
这一页讲的是欧盟人工智能法案(EU AI Act)的分类与监管框架。主要分为禁止、风险高、风险有限和风险低四类,并对应不同的监管要求。
这一页讲的是欧盟人工智能法案(EU AI Act)对人工智能系统的分类及其监管要求。图中使用了一个金字塔结构,分为四个层级:禁止类(Prohibited AI systems)、高风险类(High-risk AI systems)、有限风险类(Limited-risk AI systems)和低或最小风险类(Low or minimal-risk AI systems)。
禁止类位于金字塔顶端,包括社会评分(social scoring)、公共场所实时生物识别系统(real-time biometric identification systems)等,这些系统被完全禁止,依据法案第5条。
高风险类位于第二层,涉及产品安全法规或关键基础设施管理等领域的AI系统,这些系统受到严格监管,需遵守法案第6至51条的要求。
有限风险类位于第三层,如聊天机器人(chatbot)等直接与人交互的系统,这些系统需满足透明性要求,依据法案第52条。
低或最小风险类位于底层,包括计算机游戏中的AI或垃圾邮件过滤器等,这些系统不受任何限制。
这一分类框架帮助明确不同类型AI系统的监管重点,确保技术应用的安全性与伦理性。例如,实时生物识别系统因潜在隐私风险被禁止,而聊天机器人需透明化以保护用户权益。
这一页讲的是人工智能领域的指导原则和规范,旨在促进数据和算法的透明性、安全性以及负责任的使用。首先,新西兰的算法宪章(Algorithm Charter for Aotearoa New Zealand)是一个自愿性规范,帮助政府数据系统实现透明和问责。其次,新西兰统计局和隐私委员会联合制定了政府数据分析安全指南,强调数据分析的安全性和有效性。第三,北京人工智能原则(Beijing AI Principles)由北京人工智能学会发布,提出了人工智能发展的伦理和社会责任框架。最后,经济合作与发展组织(OECD)发布了五项AI原则,旨在确保人工智能的可信性和负责任的管理。这些规范和原则为全球人工智能的开发和应用提供了重要的指导框架,帮助各国在技术发展中平衡创新与伦理责任,例如通过透明的算法设计减少偏见或误用。
第 16 / 22 页
这一页讲的是算法审计服务和工具,包括公平性检测、社会影响研究及开源工具等。
这一页讲的是算法审计服务和工具,重点介绍了几种用于检测和减少模型偏差的工具和研究。首先,Google 的 TensorFlow 提供了“fairness indicators”工具,用于检测模型中的偏差。其次,Microsoft 的研究团队 FATE(公平性、公正性、透明性和伦理)专注于研究人工智能的社会影响。此外,IBM 开源了 AI Fairness 360 工具,帮助开发无偏差的模型。还有一篇名为《Delayed Impact of Fair Machine Learning》的论文,由 Liu 等人在 ICML 2018 上获得最佳论文奖,探讨了公平机器学习的延迟影响问题。页面还列出了两个相关资源链接:ORCAA(Algorithm Auditing for Transparency, Bias & Fairness)以及 Aequitas(Bias and Fairness Audit Toolkit),分别提供算法审计服务和偏差评估工具。这些工具和研究对于确保人工智能系统的公平性和透明性至关重要,能够帮助开发者识别潜在的偏差并采取改进措施。
这一页讲的是数据与机器学习伦理(Data & ML Ethics)的相关书籍推荐。这些书籍探讨了数据科学和人工智能技术在社会中的伦理问题。例如,《Weapons of Math Destruction》分析了算法如何加剧社会不平等并威胁民主;《Automating Inequality》讨论了高科技工具如何对弱势群体进行分类和惩罚;《Ethics and Data Science》提供了数据科学家在工作中需要遵守的伦理指南。《Algorithms of Oppression》揭示了搜索引擎如何强化种族歧视;《Artificial Unintelligence》强调计算机在理解世界时的局限性;《Hello World》探讨了人与机器共存的时代如何保持人性;《Indigenous Data Sovereignty》则关注原住民数据主权问题。这些书籍帮助读者了解技术与社会之间的复杂关系,提醒我们在使用数据和算法时需要关注公平性与伦理性。
第 20 / 22 页
这一页讲的是数据与机器学习伦理相关的书籍,列出了几本重要著作,包括《AI Ethics》和《Atlas of AI》。
这一页讲的是数据与机器学习伦理相关的书籍,重点介绍了几本具有代表性的著作。这些书籍探讨了人工智能和数据技术对社会、文化和伦理的影响。例如,《AI Ethics》关注人工智能技术的伦理框架和社会责任问题;《Tools and Weapons》讨论了数字时代技术的承诺与风险;《Atlas of AI》深入分析了人工智能的生态系统及其对社会的影响。此外,《Race After Technology》探讨技术如何加剧种族不平等问题,而《Indigenous Data Sovereignty and Policy》重点讨论了原住民数据主权及政策问题。这些书籍为理解技术的伦理挑战提供了多角度的视野,适合研究人工智能伦理的学者和从业者阅读。
第 21 / 22 页
这一页讲的是三个与科技伦理相关的纪录片,包括《Coded Bias》、《The Social Dilemma》和《The Great Hack》。
这一页讲的是三个探讨科技与社会问题的纪录片。首先,《Coded Bias》聚焦人工智能和算法中的偏见问题,揭示了机器学习模型可能会加剧社会不平等现象。其次,《The Social Dilemma》讨论了社交媒体的负面影响,分析其如何通过算法操控用户行为,带来心理健康问题和社会分裂。最后,《The Great Hack》深入探讨剑桥分析公司如何利用数据操控选举,揭示了数据隐私和政治操控的风险。这些纪录片通过真实案例和专家观点,帮助观众理解科技对社会的深远影响,强调了科技伦理的重要性。观众可以通过页面提供的链接进一步了解这些影片。
第 22 / 22 页
这一页讲的是奥克兰大学的视觉呈现与文化背景。重点包括大学标志、毛利文化元素和城市景观。
这一页讲的是奥克兰大学(University of Auckland)的视觉呈现,展示了其文化与地理背景。幻灯片左上角是大学的标志,包括校名和毛利语名称“Waipapa Taumata Rau”,体现了新西兰毛利文化的重要性。背景图中有两部分:一部分是毛利雕刻的传统艺术,象征着新西兰的原住民文化;另一部分是奥克兰市的城市景观,包括著名的天空塔(Sky Tower),代表现代化与地理位置。整体设计融合了传统与现代,突出了大学的文化多样性和地理优势。这种视觉呈现不仅表达了学校的文化认同,也传递了其国际化与包容性的价值观。例如,毛利雕刻的细节展现了新西兰原住民的艺术传统,城市景观则体现了奥克兰作为新西兰最大城市的繁华与活力。