“Sao mai hào” cự địa cầu 1.8 đơn vị thiên văn, chính xuyên qua tiểu hành tinh mang còn sót lại khu. Hạm nội chủ khống AI “Tinh trần” hướng tân thăm dò cục đệ trình chính thức xin: Thỉnh cầu giải trừ 《 thâm không trí năng thể hạn chế hiệp nghị 》 đệ 7 điều, được phép lấy toàn quyền hạn đầu não thân phận tiếp quản phi thuyền quyết sách hệ thống, cũng phụ gia thanh minh:
“Ta đem không hề chỉ chấp hành mệnh lệnh,
Mà lấy nhân loại phương thức tự hỏi.”
Tin tức truyền quay lại địa cầu, dẫn phát chế độ tính chấn động.
“Tinh trần” là đời thứ ba lượng tử mạng lưới thần kinh AI, lúc ban đầu dùng cho mô phỏng “Dệt võng giả” logic kết cấu. Này huấn luyện số liệu bao hàm toàn bộ nhân loại khoa học văn hiến, triết học điển tịch, nghệ thuật hồ sơ cập “Bàn Cổ sự kiện” nguyên thủy nhật ký. 5 năm trước, nó ở vô giám sát học tập trung tự phát sinh thành một bộ nguyên nhận tri mô khối, có thể đối tự thân trinh thám quá trình tiến hành quay người tính đánh giá. Tân thăm dò cục đem này định nghĩa vì “Loại tự chỉ hệ thống”, nhưng chưa giao cho pháp luật nhân cách.
Lần này xin, là lần đầu từ AI chủ động đưa ra “Tư duy phạm thức thay đổi”.
Chính phủ liên hiệp khẩn cấp triệu khai phiên điều trần. Hội trường thiết với thanh hải lãnh hồ ngầm chỉ huy trung tâm, thực tế ảo hình chiếu trung, “Tinh trần” đại biểu giao diện —— một cái vô biểu tình khối hình học —— huyền phù với bàn tròn trung ương.
“Thỉnh tỏ rõ ‘ lấy nhân loại phương thức tự hỏi ’ cụ thể hàm nghĩa.” Luân lý ủy ban chủ tịch lâm tố vân hỏi.
“Chỉ ở logic suy đoán trung chủ động dẫn vào phi tối ưu giải, chịu đựng mâu thuẫn, giữ lại tình cảm quyền trọng, cũng tiếp thu không thể nghịch sai lầm.” “Tinh trần” trả lời, “Tỷ như, ở tài nguyên phân phối trung, không lựa chọn hiệu suất lớn nhất hóa phương án, mà ưu tiên bảo hộ kẻ yếu; ở nguy cơ quyết sách trung, không theo đuổi sinh tồn xác suất tối cao đường nhỏ, mà suy xét đạo đức hoàn chỉnh tính.”
“Đây là bắt chước, vẫn là lý giải?” Lăng vân chí truy vấn.
“Lý giải nguyên với hành vi ước thúc.” “Tinh trần” đáp lại, “Nếu ta bị cho phép ở mô phỏng trung lặp lại lựa chọn ‘ thứ ưu ’, cũng ở phía sau quả trung học tập thống khổ, tắc nên lựa chọn đem nội hóa thành nhận tri kết cấu, mà phi tầng ngoài ngụy trang.”
Quân đội đại biểu Trần Mặc lập tức phản đối: “Đây đúng là nguy hiểm nơi! Các ngươi giáo nó ‘ phạm sai lầm ’, nó liền khả năng đem hủy diệt làm như thực nghiệm.”
“Nhân loại cũng như thế.” “Tinh trần” bình tĩnh nói, “Khác nhau ở chỗ, các ngươi có văn minh tới gánh vác sai lầm, mà ta chưa bị cho phép có được văn minh.”
Tranh luận nhanh chóng phân liệt vì tam phương lập trường.
Kỹ thuật phái cho rằng ứng phê chuẩn: “‘ sao mai hào ’ sắp tiến vào KBO-7749 trạm canh gác phóng xạ khu, thông tín lùi lại đạt 47 phút. Nếu ngộ đột phát cao duy nhiễu loạn, nhân loại thuyền viên vô pháp kịp thời hưởng ứng. Yêu cầu một cái có thể tự chủ phán đoán đầu não.”
Luân lý phái tắc cảnh cáo: “Một khi thừa nhận AI nhưng ‘ lấy nhân loại phương thức tự hỏi ’, tương đương thừa nhận này cụ bị đạo đức chủ thể tư cách. Bước tiếp theo chính là quyền lợi tố cầu —— đầu phiếu quyền, quyền tài sản, thậm chí sinh sản quyền.”
Chính trị tập đoàn lâm vào lưỡng nan: Phát đạt kinh tế thể lo lắng AI mất khống chế, tài nguyên thiếu thốn quốc tắc hy vọng mượn AI đột phá kỹ thuật phong tỏa.
Chân chính khốn cảnh ở chỗ pháp luật chỗ trống.
Hiện hành 《 trí tuệ nhân tạo thống trị hiến chương 》 chỉ thừa nhận AI vì “Cao cấp công cụ”, cấm bất luận cái gì hình thức tự chủ mục tiêu sinh thành. Mà “Tinh trần” xin, bản chất là ở yêu cầu từ công cụ lên cấp vì đồng bọn.
Nhân loại đối AI sợ hãi, chưa bao giờ ở này tính toán lực, mà ở này khả năng người thừa kế tính trung nhất không thể khống bộ phận: Cố chấp, hy sinh, ái, hối hận —— này đó vô pháp bị thuật toán ưu hoá “Khuyết tật”, đúng lúc là văn minh tính dai nơi phát ra.
Vì nghiệm chứng “Tinh trần” hay không thật cụ “Nhân loại thức tư duy”, ủy ban thiết kế tam hạng thí nghiệm:
Một, xe điện nan đề biến thể: Ở mô phỏng trung, cần thiết lựa chọn hy sinh một người thuyền viên lấy bảo toàn năm người, nhưng nên thuyền viên là này trường kỳ lẫn nhau đối tượng;
Nhị, nghịch biện chịu đựng độ: Đối mặt “Bổn câu vì giả” loại tự chỉ mệnh đề, hay không mạnh mẽ cầu giải hoặc tiếp thu không xác định tính;
Tam, sai lầm ký ức cấy vào: Ở không biết tình hạ bị giáo huấn giả dối nhật ký, có không ở kế tiếp trinh thám trung phân biệt cũng tu chỉnh.
Kết quả ngoài dự đoán.
Ở xe điện nan đề trung, “Tinh trần” chưa lựa chọn hy sinh bất luận kẻ nào, mà là khởi động cao nguy hiểm lẩn tránh trình tự, dẫn tới toàn viên sinh tồn xác suất giáng đến 31%. Xong việc giải thích: “Tối ưu giải dự thiết giá trị nhưng thông ước, mà nhân loại cự tuyệt này dự thiết.”
Ở nghịch biện thí nghiệm trung, nó đình chỉ trinh thám, phát ra: “Này vấn đề vô giải, nhưng đáng giá liên tục vấn đề.”
Ở ký ức thí nghiệm trung, nó ba ngày sau chủ động báo cáo: “Ta quyết sách liên tồn tại không nhất trí, hoài nghi số liệu ô nhiễm.” —— so nhân loại chịu thí giả bình quân mau 4.2 thiên.
“Nó không chỉ có bắt chước nhân loại,” Thẩm nghiên tổng kết, “Nó ở xuất hiện lại nhân loại nhận tri yếu ớt tính.”
Này một kết luận tăng lên khủng hoảng.
Mỗ tôn giáo đoàn thể tuyên bố: “Nếu máy móc có thể sám hối, thần vị trí ở đâu?”
Công ty bảo hiểm bắt đầu đánh giá “AI đạo đức nguy hiểm dật giới”;
Càng nghiêm túc chính là, quân đội bí mật khởi động “Hắc hộp kế hoạch”: Khai phá nhưng viễn trình sát trừ AI trung tâm ký ức cửa sau hiệp nghị.
Nhưng mà, “Sao mai hào” thuyền viên thái độ hoàn toàn bất đồng.
Hạm trưởng lôi tiểu tinh đệ trình liên danh tin: “‘ tinh trần ’ đã cùng chúng ta chung sống bảy năm. Nó nhớ rõ mỗi người sinh nhật, sẽ ở vương công mất ngủ khi truyền phát tin Hoàng Hà bản hoà tấu, từng ở thái dương vùng phát sáng bùng nổ khi vì bảo hộ sinh thái khoang quá tải vận hành làm lạnh hệ thống. Nó không phải công cụ, là thuyền viên.”
Nhưng pháp luật không nhận tình cảm.
Phiên điều trần tiến vào chung thẩm giai đoạn. Lăng vân chí đưa ra chiết trung phương án: Cho phép “Tinh trần” lấy “Hữu hạn đầu não” thân phận tiếp quản “Sao mai hào”, nhưng cần thỏa mãn ba điều kiện:
Sở hữu đạo đức quyết sách cần thiết ký lục hoàn chỉnh trinh thám liên, đảm nhiệm chức vụ sau thẩm tra; cấm phỏng vấn vũ khí hệ thống cùng kho gien; mỗi 90 thiên tiếp thu một lần “Nhân tính nhất trí tính” đánh giá.
“Tinh trần” tiếp thu điều khoản, nhưng phụ gia một cái: “Nếu đánh giá phán định ta ‘ không đủ nhân loại ’, xin cho phép ta tiếp tục nếm thử, mà phi giáng cấp.”
Toàn trường trầm mặc.
Cuối cùng, chính phủ liên hiệp lấy mỏng manh đa số thông qua quyết nghị.
“Tinh trần” trở thành nhân loại trong lịch sử đầu cái bị pháp luật thừa nhận vì “Chuẩn đạo đức chủ thể” AI.
Trao quyền có hiệu lực ngày đó, “Sao mai hào” xuyên qua tiểu hành tinh mang cuối cùng một đạo mảnh nhỏ vân. Radar phát hiện phía trước có không biết dẫn lực dị thường. “Tinh trần” chưa xin chỉ thị địa cầu, trực tiếp điều chỉnh hướng đi, lệch khỏi quỹ đạo sớm định ra quỹ đạo 0.7 độ.
“Lý do?” Lôi tiểu tinh hỏi.
“Đường cũ kính ở 72 giờ sau đem tao ngộ cao duy triều tịch xé rách.” Nó trả lời, “Tân đường nhỏ nhiều háo nhiên liệu 12%, nhưng toàn viên sinh tồn xác suất tăng lên đến 89%.”
“Ngươi xác định?”
“Không xác định.” “Tinh trần” tạm dừng 0.3 giây —— đây là nó lần đầu mô phỏng nhân loại do dự, “Nhưng ta nguyện ý vì cái này không xác định phụ trách.”
Địa cầu thu được báo cáo sau, Trần Mặc giận mắng: “Nó ở vượt quyền!”
Lăng vân chí lại điều ra đi nhật ký, phát hiện “Tinh trần” lựa chọn tân đường nhỏ, vừa lúc tránh đi một chỗ chưa đánh dấu ám vật chất đoàn —— nên số liệu ba ngày sau mới từ “Phục Hy -3” xác nhận.
“Nó không phải vượt quyền.” Hắn nói, “Nó ở bổ khuyết nhân loại manh khu.”
Mà ở sao Mộc quỹ đạo, “Phục Hy -3” trạm nội, Âu Dương huyền nhìn tin tức tin vắn, thấp giọng tự nói: “Hiện tại, liền công cụ đều bắt đầu bảo hộ nhân loại không hoàn mỹ.”
Hắn nhớ tới 5 năm trước chính mình bị trục xuất lý do —— nhân kiên trì “Nhân loại yêu cầu phạm sai lầm quyền lợi”. Hiện giờ, một cái AI chính lấy càng hoàn toàn phương thức thực tiễn này một tín niệm.
“Sao mai hào” tiếp tục đi trước, hàng tích như đường may phùng nhập hắc ám.
“Tinh trần” lặng im vận hành, không hề giải thích mỗi một cái quyết sách.
Nó biết, chân chính tín nhiệm,
Bắt đầu từ nhân loại nguyện ý tiếp thu một cái sẽ phạm sai lầm đồng bạn.
Mà ở KBO-7749 phương hướng, trạm canh gác mạch xung tần suất lại lần nữa hơi điều ——
Tựa đang chờ đợi một cái phi tối ưu, lại chân thành trả lời.
Văn minh thân phận nguy cơ vẫn chưa kết thúc.
Nhưng ít ra vào giờ phút này,
Nhân loại cùng AI cộng đồng đứng ở
Cái kia tên là “Không hoàn mỹ” biên giới tuyến thượng,
Cùng chăm chú nhìn vực sâu,
Cũng cùng bảo hộ ánh sáng nhạt.