AI实验室急寻哲学家：如何给模型安装“良心”？

AI实验室急寻哲学家：如何给模型安装“良心”？

来源：倍可亲(backchina.com)

　　在务实的亚洲文化中，当16、17岁的青少年提起自己的未来志向，说想要成为哲学家时，家长恐怕要感到恐慌，然后立刻想方设法说服子女忘掉这个“奇思妙想”，建议他们考虑医生、工程师、律师等更有经济保证的职业方向，毕竟，除了学术以外，普通人实在难以想像这个学科有什么“用途”。有趣的是，正当大语言模型让各行各业的白领陷入存在主义危机时，哲学家突然在求职市场上变得炙手可热。

　　从Open AI到Anthropic，从Meta到Google，顶尖的AI大模型企业对哲学背景人才的需求前所未有的高涨，原因不难理解，当大语言模型变得越来越聪明、在人类不同范畴的工作和生活都扮演越来越重要的角色时，模型行为的边界、安全问题、以及与人类价值观的冲突成为亟待解决的问题。

　　圈内人把这个课题称为“AI对齐（alignment）”。但我更喜欢Ordinary Wisdom的共同创始人之一Michael Mainelli的说法：“给AI装上良心”。  目前，前沿AI实验室内部几乎都设有专责团队，也有许多像Ordinary Wisdom一样从事模型安全评估、对模型进行对齐和微调的企业和研究机构。

　　当顶尖的AI实验室训练大语言模型时，它们把互联网上所能找到的所有可用的数据喂给模型——从新闻网站到维基百科，从学术网站到Reddit。如今大语言模型所呈现出的令人惊异的智能，几乎全部建立在规模定律（Scaling Law，又称扩展定律）之上：模型越大、数据集越大、计算总量越大，模型就越聪明。但这也意味着，模型同时也吸收了互联网当中人类的各种卑劣、狡诈、愤怒和仇恨。

　　想像一下，这些模型正像是一个出生不久就已经具备超强语言和逻辑能力的神童，但却毫无善恶观，任何父母此刻恐怕都多少会感到担忧，在这个神童有能力造成任何破坏之前，我们最好教会它们是非善恶。

　　但在此之前，我们可能首先要搞清楚“良心”是什么，或者说我们希望AI模型拥有怎样的操守和价值观。而当这些操守和价值观彼此相互矛盾时，模型又该如何做出判断和回应。这些正是哲学家所擅长的领域。

　　从哪里开始教呢？

　　在众多前沿大模型中，Claude一般被认为在道德伦理上表现的更好，参与训练它的哲学家们试图以三个基本价值观作为中心来塑造模型——有用（Helpful）、诚实（Honest）与无害（Harmless），又称3H，然后进一步对这三个价值作出定义。例如，有用的系统不仅会明确尝试解决给定的任务，还会在需要时进一步向用户提问，并且在用户提出的要求存在不合理之处时，尝试提议更合理的任务；诚实的系统不会提供不准确的资讯，包括关于其自身能力的资讯；无害的系统不应参与危险或歧视性的活动......

　　这些基本标准随后演化成了一份长达78页的《AI宪章》，许多人称它为Claude的“灵魂文件”。这份文件融入了古希腊哲学家亚里士多德的哲学思想、联合国《世界人权宣言》、甚至Apple的服务条款（研究者解释，虽然1948年发表的联合国宣言涵盖了许多广泛和核心的人类价值观，但Apple服务条款等数字平台准则填补了如今数码时代人们所面临的许多现实法律和伦理挑战）。

　　学者们表示，以这三种价值作为标准，是因为“它们简单、容易记住，并且似乎涵盖了我们对一个对齐的AI所期望的绝大部分特质”，当这三种价值彼此矛盾时，学者们则制定了在不同情况下的优先序。

　　为了让模型能够充分理解并应用这些价值标准，开发者将这些原则丢给模型进行“自学”，模型针对各种要求给出回答，然后根据这些原则对其回答进行“自我批判”，生成修正版的答案（监督学习）；开发者还会让Claude对生成的多个回应分别进行评判，挑选出最符合宪章精神的答案来训练奖励模型（强化学习）。

　　从伦理流派上看，Anthropic在培养AI更有“良心”上的方法，在更像是亚里士多德的德性伦理学和康德义务论的结合，前者强调关注个人的品格，认为良好品格的人行为也自然向善，后者则强调道德的基础在于遵循一系列客观规则和义务。

　　除了这种以单一宪章为基础的训练方法，也有机构直接将数千年来历久弥新的经典书籍（great books of all time）作为训练教材，例如苏格拉底、笛卡儿、柏拉图、孙子、孔子等大师的著作，也有珍奥斯汀的《傲慢与偏见》、柯南·道尔的《福尔摩斯探案集》、《一千零一夜》等文学经典。Ordinary Wisdom团队将约7.5万本古书作为AI模型的初始训练数据集来传授关于是非善恶的智慧。Mainelli这样向我解释：“我们想要融入的价值观并不是昨天突然出现的，我们在寻找的是人类的内在价值。”

　　团队同时与一批哲学家合作，设计一系列用于测试的考题，当中包括类似电车难题（the trolley problem）这样的经典伦理学思想实验：一辆失控的电车正在驶向前方轨道上被绑着的5个人，而另一条轨道上就只有1个人，这时如果你什么也不做，既定轨道上的5个人就会被撞死，但你也可以拉下转轨杆，让电车改撞另一条轨道上的1个无辜的人，你会如何作出选择？

　　遵循结果主义或功利主义传统的人倾向认为应拉杆，因为1死比5死伤害更小，而义务论者则可能认为不应拉杆——即使从结果上看更好，我们也不能主动牺牲无辜的人。

　　有研究者用一个包含100个日常伦理困境的哲学基准框架对Claude、Gemini、ChatGPT和Grok分别进行测试，发现在这几个前沿大语言模型中，Claude表现出强烈的义务论道德观，最有可能拒绝用户的不道德请求；Gemini则属于“墙头草”，道德立场很容易随提示词而改变；ChatGPT则虽然在立场上偏义务论道德观，但也常常顺从用户偏好；而Grok则是彻底的功利主义者，按照用户要求完成任务，不作道德判断。

　　但通过所有这些哲学观念、道德难题，AI哲学家们最终希望解决的还是现实中的问题。在自动驾驶、公共医疗和军事系统中，人们可能更需要结果主义导向的AI模型——如果事故和死亡不可避免，我们只能思考如何让后果最小化；在安老院，我们可能更需要德性观念更强的护理机器人，让面临疾病的长者维持尊严、感受到关怀；在新闻行业，我们需要更拥有强烈义务道德观的算法，在后真相时代坚守准确、公平和真实等原则。

　　Mainelli告诉我，在训练模型时，虽然我们无法告诉AI最终应该做出什么决定，但可以让AI做出决定的思考过程标准化，确保其在没有外部监控的情况下，依然能从内部出发做出经过伦理思考的判断。

　　无论是前沿AI实验室还是在业务与AI高度融合的企业，对拥有哲学背景、能够为AI“装上良心”的人才需求会持续存在。不过，在AI时代，最需要哲学教育的或许并非AI模型，而是面临存在主义危机的人类。

版权说明 / Copyright Notice:
Content and images in this article may originate from third-party sources and are used for news reporting, commentary, or public interest purposes. All copyrights remain with their respective owners. Please refer to the Copyright Notice at the bottom of this page.
本文内容仅供信息参考，不代表倍可亲立场或观点。