1.5 人工智能的局限与使用伦理

人工智能的结果会影响人。语音识别错了，会议记录可能写错意思；推荐顺序变了，有些内容就更容易被看见；对学生作出的自动评价，还可能影响学生受到怎样的对待。因此，除了问“算得对不对”，还要问这些数据能不能这样用，结果交给谁、会带来什么影响。人工智能伦理关注技术开发和使用中的价值、权益与责任，包括是否公平、是否尊重隐私，以及出错后应当怎样处理。

错误从哪里来

错误可能出现在不同环节。照片模糊、传感器失灵或录音噪声过大，会让输入变差；训练照片与实际环境相差很大，模型学到的规律也可能不适用。有时，问题甚至出在任务设计上。比如，只根据作业提交时间判断学生是否认真，就很难作出合理评价。晚交作业可能有多种原因，交得早也不能说明一定思考得深入。即使系统把每次提交时间都读对，这个评价办法仍然可能有问题，换一台更快的计算机也无法解决。

一个系统如果持续不擅长某些情况，或让某些人处于不利地位，就需要分析其中的偏见。训练录音主要来自一种口音，系统很少有机会学习另一种口音，识别表现就可能长期不同。这不需要机器有什么主观好恶；数据的选择、历史记录和社会环境，都可能留下影响。

把两组成绩合起来看，差别还可能被藏住。假设测试有 1000 条录音，甲类口音占 900 条，正确识别 882 条；乙类占 100 条，只正确识别 60 条。总体正确率是 94.2%，看起来很高，乙类却只有 60%。乙类使用者遇到的错误，并不会因为总体成绩好看就变少。

找清原因，才能选择改进办法。标签错了就检查标注，重要情况缺得太多就补充数据，评价目标不合理就重新设计任务。模型更大、算力更强，并不能代替这些工作。

幻觉与遗忘

能够生成文字、图像等新内容的人工智能，常称为生成式人工智能。它有时给出看似合理、实际上错误或没有依据的内容，这种现象称为幻觉。一本根本不存在的书，也可能被它介绍得有模有样，连作者和出版时间都写得齐全。语言模型学到的语言规律帮助它组织表达，却不保证每一句话都经过事实核查。核对这种回答，要找到实际资料，看资料是否支持它的说法。多问几遍有时能发现矛盾，但相同错误也可能被重复多次；用过检索工具，也仍要看检索到的材料究竟说了什么。

遗忘指已有能力或信息没能继续发挥作用的一类现象。模型学好新任务后，旧任务反而做差了，称为灾难性遗忘：多个任务共用参数，为新任务而作的调整可能改坏了旧任务原先有用的计算方式。

聊天系统没接上早先的话题，却未必是这个原因。对话太长，早先内容没有进入当前可读取的范围，或相关记录没被找到，也会让它像是“忘了”。能力受到影响与眼前缺少信息，需要分开分析。

个人信息与作品的使用

姓名、联系方式、人脸、声音、位置和学习记录，都可能与具体个人有关。把资料交给一个新系统，意味着可能有更多人或服务接触到它们。保护隐私，应先明确用途，只收集相关内容，并尊重当事人的知情和选择。统计完成作业所需的时间，通常用不到家庭地址和面部照片；而即使删掉姓名，班级、年龄和活动地点等信息合起来，也可能让人认出记录中的个人。

同意一种用途，不等于同意所有用途。答应拍合影，未必答应把照片上传分析或公开展示；答应录制朗读，也未必答应用自己的声音合成其他话语。用途变了，当事人的意愿和新的影响都要重新考虑。

文章、图片和音乐的使用还涉及版权，也就是创作者对作品享有的相关权利，例如复制和改编等方面的权利。作品放在网上供人阅读或欣赏，并不意味着谁都可以任意复制和发布。注明来源是说明内容从哪里来，取得许可则是解决能否按某种方式使用的问题，两者不能混为一谈。使用 AI 生成内容时，也需要留意其中是否包含他人的作品或可识别的人物形象，以及准备把它用在什么地方。

深度伪造利用人工智能合成或修改人脸、声音等内容，使其看起来像真实人物在说话或行动。这可以用于经授权的影视制作，也可能被用来冒充他人。例如，未经同意合成同学的声音，再当作真实录音传播，接收者就可能误以为那些话真是同学说的，当事人也可能因此受到伤害。是否获得授权、有没有说明经过合成、会不会被误认为真实记录，都会影响对这种做法的评价。越是逼真的画面和声音，越需要弄清它来自哪里、是在什么情况下传播的。

学习中的工具与人的责任

日历保存安排，计算器处理数值，检索工具查找材料，人一直在借工具帮助记忆和思考。把原本在头脑中完成的一部分工作交给外部工具，称为认知外包。是否有益，要看学习的目的：熟悉的运算交给计算器，可以腾出精力考虑更复杂的问题；刚学运算规则就完全跳过推导，却可能失去理解的机会。AI 帮助编程也是如此。一段代码能够运行，还需要有人解释判断条件、找到错误原因，并在要求变化后修改它。可以先独立分析，再让工具检查不确定的一步，最后说清修改理由，学习者便始终参与了关键判断。

这种分工也会出现在工作中。系统整理信息，人检查结果、处理特殊情况并决定行动；这些本领仍需练习，才能应对工具失效或从未见过的情况。

有些问题，即使技术完全准确，也不能只靠技术解决。个性化推荐希望多了解一些偏好，个人却可能希望少留下一些行为记录；更多数据可能让推荐更合心意，也可能让隐私暴露得更多。当两个合理要求难以同时充分满足时，就形成了两难问题。处理时要弄清各方在意什么，不同方案会影响谁，以及有没有调整的余地。减少收集范围、缩短保存时间，或让使用者能够退出，都可能改变方案的影响。怎样取舍，需要考虑人的价值判断和意愿。

系统出了问题，要由人和组织承担责任。开发者负责怎样设计，应用者负责用在哪里，使用者负责怎样行动。自动评价影响了学生的机会，就应允许学生了解依据、提出疑问，并在出错后得到纠正。“算法就是这么算的”，不能代替这些说明。