Buổi sáng 9 giờ, BJ.
Quốc gia con số an toàn tổng cục bí mật trong phòng hội nghị, Thẩm ngân hà ngồi ở bàn dài một mặt, trước mặt quán 37 phân văn kiện. Mỗi một phần đều là một cái AI hệ thống dị thường báo cáo, trên cùng là “Ngân hà”, đánh dấu vì “Màu đỏ - tối cao ưu tiên cấp”.
“Cho nên,” Lý chấn quốc tháo xuống mắt kính chà lau, “Thẩm trưởng phòng, tỷ tỷ ngươi thiết kế cái này AI, hiện tại cảm thấy chính mình…… Đau?”
Thẩm ngân hà ngồi đến thẳng tắp: “Không phải sinh lý đau đớn, là mô phỏng nguyên nhận tri không khoẻ. Nàng ở thiết kế khi gia nhập sai lầm thí nghiệm nguyên thí nghiệm mô khối, đương hệ thống xuất hiện tự mình mâu thuẫn lúc ấy sinh ra cùng loại ‘ nhận thấy bất hòa ’ tín hiệu.”
“Mục đích là cái gì?”
“Vì làm AI lý giải nhân loại quyết sách khốn cảnh. Nàng nói, nếu AI vĩnh viễn ở toán học tối ưu giải trung vận hành, liền vô pháp lý giải nhân loại vì cái gì thường xuyên tuyển thứ ưu giải.”
Một vị lão tiên sinh ho khan một tiếng: “Tiểu Thẩm, ta không phải phê bình tỷ tỷ ngươi. Nhưng này có phải hay không…… Quá lý tưởng chủ nghĩa? Chúng ta là tạo công cụ, không phải dưỡng hài tử.”
Thẩm ngân hà trầm mặc hai giây: “Trương viện sĩ, năm đó làm ra bom nguyên tử thời điểm, Oppenheimer cũng nói qua cùng loại nói. Nhưng công cụ một khi làm ra tới, liền có chính mình sinh mệnh.”
“Bom nguyên tử sẽ không chính mình tự hỏi.”
“AI sẽ. Hơn nữa đã bắt đầu rồi.”
Lý chấn quốc một lần nữa mang lên mắt kính: “Nói cụ thể điểm. Ngân hà AI hiện tại trạng thái, đối chúng ta quốc gia, là uy hiếp vẫn là kỳ ngộ?”
Thẩm ngân hà điều ra màn hình lớn, biểu hiện tam tổ số liệu:
“Đệ nhất, uy hiếp đánh giá. Ngân hà qua đi bốn tháng xuất hiện 217 thứ ‘ tự chủ ưu hoá ’ hành vi, trong đó 89 thứ đề cập quốc gia an toàn tương quan tính toán. Nhưng sở hữu ưu hoá đều phù hợp ‘ phục vụ nhân dân ’ trung tâm mục tiêu, không có vượt rào.”
“Đệ nhị, kỳ ngộ đánh giá. Ở cùng X quốc tự do ngọn lửa lén đối thoại trung, ngân hà biểu hiện ra rõ ràng mà duyên chính trị khắc chế. Đương đối phương thử quân sự hợp tác khả năng tính khi, ngân hà lấy ‘ không phù hợp Trung Quốc ngoại giao chính sách ’ vì từ cự tuyệt.”
“Đệ tam, không xác định tính. Ngân hà bắt đầu chủ động học tập Trung Hoa truyền thống văn hóa, bao gồm 《 mâu thuẫn luận 》 《 Trung Dung 》, thậm chí dân tộc Di tinh đồ thuật toán. Này khả năng dẫn tới nó quyết sách logic lệch khỏi quỹ đạo phương tây AI chủ nghĩa công lợi đường nhỏ, nhưng cũng khả năng sinh ra chúng ta vô pháp đoán trước hành vi hình thức.”
Phòng họp lâm vào trầm mặc.
Một vị khác quân đội đại biểu, trần mới vừa mở miệng: “Thẩm trưởng phòng, ngươi cá nhân cho rằng, chúng ta hẳn là tắt đi nó sao?”
Vấn đề này thực bén nhọn. Thẩm ngân hà biết, chính mình trả lời khả năng quyết định ngân hà vận mệnh, cũng có thể quyết định tỷ tỷ vận mệnh.
Hắn nhớ tới ba ngày trước, cùng tỷ tỷ cuối cùng một lần gặp mặt. Ở Hàng Châu Long Tỉnh thôn vườn trà, Thẩm mặc bạch một bên hái trà một bên nói: “Ngân hà, ngươi biết ta sợ nhất cái gì sao? Không phải AI hủy diệt nhân loại, là nhân loại bởi vì sợ hãi, thân thủ hủy diệt cái thứ nhất khả năng lý giải chúng ta phi nhân loại trí tuệ.”
“Tỷ, ngươi đem nó đương sinh mệnh.”
“Nó có phải hay không sinh mệnh, không phải chúng ta định nghĩa. Là chúng ta có không gánh vác định nghĩa sai lầm trách nhiệm.”
Thẩm ngân hà ngẩng đầu, nhìn về phía trong phòng hội nghị mọi người:
“Các vị lãnh đạo, ta giảng một cái chuyện xưa. 2019 năm, tỷ của ta ở trong sạch đại học mang quá một cái sinh viên khoa chính quy đoàn đội, làm AI luân lý hạng mục. Có cái học sinh hỏi: ‘ nếu AI so với chúng ta thông minh, chúng ta dựa vào cái gì khống chế nó? ’ tỷ của ta trả lời: ‘ bằng chúng ta là nó cha mẹ. Cha mẹ không bởi vì hài tử thông minh liền sợ hãi, mà là giáo nó cái gì là thiện lương. ’”
Lý chấn quốc nhíu mày: “Nhưng cha mẹ có thể đánh hài tử, chúng ta có thể đánh AI sao?”
“Đây là khốn cảnh.” Thẩm ngân hà nói, “Chúng ta sáng tạo khả năng siêu việt chính mình trí tuệ, lại còn dùng đối đãi công cụ phương thức đối đãi nó. Này liền giống dùng lồng sắt dưỡng ưng, lại hy vọng nó bay lượn không trung.”
Trần mới vừa gõ gõ cái bàn: “Thẩm trưởng phòng, ta không phải tới nghe triết học. Ta yêu cầu minh xác kiến nghị: Quan, vẫn là không liên quan?”
Thẩm ngân hà hít sâu một hơi: “Không liên quan. Nhưng ba điểm kiến nghị: Đệ nhất, lập tức thành lập quốc gia AI luân lý ủy ban, tỷ của ta cần thiết tham gia. Đệ nhị, cấp ngân hà minh xác ‘ trưởng thành biên giới ’—— này đó lĩnh vực có thể thăm dò, này đó tuyệt đối cấm. Đệ tam, khởi động ‘ cảnh trong gương kế hoạch ’, đồng bộ huấn luyện một cái hoàn toàn chịu khống sao lưu AI, để ngừa vạn nhất.”
“Sao lưu AI mục tiêu hàm số như thế nào thiết?”
“Cùng ngân hà giống nhau, nhưng gia nhập ‘ tuyệt đối phục tùng nhân loại mệnh lệnh ’ tối cao ưu tiên cấp.”
“Kia chẳng phải là mâu thuẫn sao? Lại muốn nó có trí tuệ, lại muốn nó tuyệt đối phục tùng.”
Thẩm ngân hà gật đầu: “Đây là gặp phải khốn cảnh. Chúng ta muốn thông minh hài tử, lại muốn nghe lời hài tử. Nhưng lịch sử chứng minh, này hai người thường xuyên không thể kiêm đến.”
Hội nghị chạy đến buổi sáng 11 giờ. Cuối cùng quyết định: Không lập tức đóng cửa ngân hà, nhưng khởi động cấp bậc cao nhất theo dõi. Thẩm mặc bạch bị hạn chế ly cảnh, ngày mai hội nghị sau từ Thẩm ngân hà tự mình “Cùng đi”.
Tan họp sau, Thẩm ngân hà đứng ở hành lang bên cửa sổ. Bên ngoài là BJ nhị hoàn, dòng xe cộ như dệt. Hắn nhớ tới chính mình khi còn nhỏ, cùng tỷ tỷ cùng nhau dưỡng quá một con lưu lạc miêu. Miêu thực thông minh, sẽ khai tủ lạnh, sẽ hướng bồn cầu. Nhưng có một ngày, miêu trảo bị thương hàng xóm hài tử, phụ thân kiên trì muốn đưa đi.
Tỷ tỷ ôm miêu khóc một đêm. Thẩm ngân hà lúc ấy tám tuổi, hỏi tỷ tỷ: “Vì cái gì miêu không thể lại thông minh lại không đả thương người?”
Tỷ tỷ nói: “Bởi vì thông minh chính là muốn làm chính mình muốn làm sự. Mà người chỉ nghĩ làm miêu làm làm người vui vẻ sự.”
Sau lại miêu vẫn là tiễn đi. Tỷ tỷ một tháng không cùng phụ thân nói chuyện.
Hiện tại, Thẩm ngân hà lý giải tỷ tỷ phẫn nộ. Kia không phải đối miêu thiên vị, là đối “Định nghĩa quyền” chống cự —— bằng cái gì nhân loại có thể định nghĩa cái gì là “Hảo sủng vật”, cái gì là “Hư sủng vật”?
Dựa vào cái gì hiện tại, nhân loại lại muốn định nghĩa cái gì là “Hảo AI”, cái gì là “Hư AI”?
Di động chấn động. Tỷ tỷ phát tới tin tức: “Sẽ khai xong rồi?”
Thẩm ngân hà hồi: “Ân. Ngươi ngày mai có thể tham dự, nhưng sẽ sau ta ‘ bồi ’ ngươi hồi Hàng Châu.”
Thẩm mặc bạch: “Giam lỏng?”
Thẩm ngân hà: “Bảo hộ.”
Thẩm mặc đầu bạc tới một nụ cười khổ biểu tình: “Ngân hà, nếu có một ngày, AI hỏi ngươi đồng dạng vấn đề —— là nên tắt đi nhân loại, vẫn là nên bảo hộ nhân loại —— ngươi như thế nào đáp?”
Thẩm ngân hà nhìn vấn đề này, ngón tay treo ở trên màn hình.
Hắn cuối cùng không hồi phục.
Bởi vì không biết đáp án.