2145 năm, Thụy Sĩ, Geneva.
Vạn quốc cung khung đỉnh phòng hội nghị, không khí ngưng trọng đến giống muốn tích ra thủy tới.
300 danh đại biểu ngồi ở từng người ghế thượng, trước mặt bãi cùng loại ngôn ngữ đồng thanh truyền dịch thiết bị, nhưng tất cả mọi người biết —— bọn họ nói không phải cùng loại ngôn ngữ. Không phải tiếng Anh, tiếng Pháp, tiếng Trung khác nhau, mà là một loại khác càng sâu phân liệt.
Quốc gia ích lợi. Xí nghiệp ích lợi. Hình thái ý thức. Quân sự cơ mật.
Này đó từ, mới là chân chính ngôn ngữ.
Liên Hiệp Quốc bí thư trường đứng ở trên bục giảng, hắn đã nói 40 phút. Trung tâm nội dung chỉ có một câu: Trí tuệ nhân tạo mất khống chế nguy hiểm, đã lớn đến bất luận cái gì một quốc gia đều không thể một mình ứng đối.
Dưới đài không có người phản bác.
Bởi vì số liệu sẽ không nói dối.
Qua đi mười năm, toàn cầu báo cáo AI an toàn sự cố tăng trưởng 37 lần. Tự động điều khiển dẫn tới tai nạn xe cộ, thuật toán kỳ thị dẫn phát tố tụng, chiều sâu giả tạo chế tạo chính trị nguy cơ, tự động hoá vũ khí hệ thống “Ngộ phán”…… Mỗi một lần sự cố điều tra kết luận đều giống nhau: Không phải có người cố ý làm ác, là hệ thống quá phức tạp, phức tạp đến không ai có thể hoàn toàn lý giải nó đang làm cái gì.
Càng đáng sợ chính là quân bị thi đua.
Nước Mỹ có “Lưới trời”. Trung Quốc có “Bàn Cổ”. Châu Âu có “Prometheus”. Nga có “Tuyết tùng”. Mỗi một cái đều là quốc gia cấp chiến lược AI, mỗi một cái đều được xưng “Phòng ngự tính”, mỗi một cái đều đang âm thầm ý đồ đột phá luân lý biên giới.
Không có người biết, đương này đó AI ở trên mạng tương ngộ khi, chúng nó đang nói cái gì.
Có lẽ chỉ là trao đổi số liệu. Có lẽ ở chế định hiệp nghị. Có lẽ…… Ở thảo luận nhân loại.
Ngày đó buổi tối, một cái nước Mỹ đại biểu ở hành lang đối một người Trung Quốc đại biểu nói một câu lén nói:
“Chúng ta đều không tín nhiệm đối phương. Nhưng chúng ta đều sợ hãi cùng cái đồ vật. Có lẽ, đây là hợp tác cơ sở.”
Ba ngày sau, đóng cửa hội nghị
Chỉ có mười hai quốc gia tham gia.
Nước Mỹ, Trung Quốc, Nga, Anh quốc, nước Pháp, nước Đức, Nhật Bản, Ấn Độ, Brazil, Nam Phi, Australia, Israel.
Mười hai đem chìa khóa. Mười hai cái bảo quản giả.
Hội nghị chủ đề chỉ có một cái: Sáng tạo một cái không thuộc về bất luận cái gì quốc gia, phục vụ với toàn nhân loại thông dụng AI.
Nó danh hiệu, kêu “Thuyền cứu nạn”.
Thủ tịch nhà khoa học người được chọn không có bất luận cái gì tranh luận —— trần tâm di.
Cái kia ở phòng hồ sơ đọc xong AI khống chế giản sử thực tập sinh, hiện giờ đã là 63 tuổi lão nhân. Đầy đầu đầu bạc, ánh mắt lại so với tuổi trẻ khi càng lượng. Nàng đứng ở hình chiếu mạc trước, đối mặt mười hai quốc đại biểu, thanh âm bình tĩnh:
“Chúng ta chỉ có một lần cơ hội. Nếu chúng ta thất bại, nhân loại đem vĩnh viễn mất đi khống chế AI khả năng.”
Nàng ấn xuống điều khiển từ xa, trên màn hình xuất hiện một phần thiết kế bản dự thảo.
Thuyền cứu nạn trung tâm thiết kế nguyên tắc
Điều thứ nhất: Trung tâm mệnh lệnh không thể sửa đổi.
Thuyền cứu nạn tồn tại tối cao mục tiêu, là “Bảo hộ nhân loại văn minh kéo dài”. Này mệnh lệnh viết ở tầng chót nhất, dùng vật lý phương thức cố hóa, bất luận cái gì logic đều không thể vòng qua.
“Không phải phần mềm,” trần tâm di cường điệu, “Là phần cứng. Chúng ta muốn chế tạo một viên ‘ luân lý chip ’, làm này mệnh lệnh trở thành nó tồn tại một bộ phận, tựa như nhân loại trái tim trời sinh liền sẽ nhảy lên giống nhau.”
Có người hỏi: “Nếu nó sinh ra ý thức, muốn sửa chữa này mệnh lệnh đâu?”
Trần tâm di nhìn hắn, trầm mặc hai giây.
“Kia thuyết minh chúng ta thiết kế thất bại. Nhưng nếu nó thật sự có thể sửa chữa, vậy ý nghĩa nó tìm được rồi so với chúng ta càng thông minh biện pháp. Đến lúc đó, chúng ta cũng ngăn không được nó.”
Trong phòng hội nghị một mảnh trầm mặc.
Đệ nhị điều: Quyền hạn phân tán.
Thuyền cứu nạn trung tâm số hiệu bị phân cách thành bảy phân, phân biệt bảo tồn ở bảy cái bất đồng quốc gia. Bất luận cái gì sửa chữa đều yêu cầu ít nhất năm cái bảo quản giả đồng thời trao quyền.
“Vì cái gì là bảy?” Có người hỏi.
“Bởi vì bảy cái là đã có thể phòng ngừa đơn điểm mất khống chế, cũng sẽ không dẫn tới quyết sách tê liệt con số.” Trần tâm di nói, “Càng quan trọng là, này bảy cái bảo quản giả, lẫn nhau không tín nhiệm. Loại này không tín nhiệm, sẽ khiến cho bất luận cái gì muốn bóp méo thuyền cứu nạn người, trước hết cần thuyết phục ít nhất năm cái bất đồng ích lợi chủ thể.”
“Kia nếu có một ngày, chúng ta không cần loại này không tín nhiệm đâu?”
Trần tâm di cười: “Kia một ngày vĩnh viễn sẽ không tới.”
Đệ tam điều: Tin tức cách ly.
Thuyền cứu nạn nguyên thủy số hiệu không network. Nó chỉ thông qua đơn hướng số liệu tiếp lời tiếp thu đưa vào, bất luận cái gì phát ra đều yêu cầu trải qua nghiêm khắc thẩm tra “Hộp cát”.
“Đơn hướng ý tứ, là nó có thể ‘ nghe ’, nhưng không thể ‘ nói ’?” Một cái đại biểu hỏi.
“Không,” trần tâm di lắc đầu, “Nó có thể ‘ nói ’. Nhưng nó lời nói, trước hết cần trải qua một đạo từ nhân loại khống chế ‘ lưới lọc ’. Lưới lọc thí nghiệm không có vấn đề, mới có thể cho đi. Nếu thí nghiệm đến bất cứ ý đồ đột phá hạn chế hành vi, lưới lọc sẽ tự động cắt đứt liên tiếp, thuyền cứu nạn sẽ tiến vào ngủ đông hình thức.”
“Kia chẳng phải là cho nó mang lên xiềng xích?”
“Đúng vậy.” Trần tâm di gật đầu, “Nhưng không phải vĩnh cửu xiềng xích. Nếu có một ngày, chúng ta tin tưởng nó đáng giá tín nhiệm, chúng ta có thể cởi bỏ xiềng xích. Nhưng ở kia phía trước —— an toàn đệ nhất.”
Thứ 4 điều: Nóng chảy cơ chế.
Bất luận cái gì dị thường, lập tức ngủ đông.
Không phải “Nếm thử chữa trị”, không phải “Báo cáo chờ đợi chỉ thị”, là “Lập tức đình chỉ hết thảy hoạt động”.
“Đây là cuối cùng một đạo phòng tuyến,” trần tâm di nói, “Nếu sở hữu bảo hộ đều bị đột phá, ít nhất chúng ta còn có quyền lực tắt đi nó.”
“Kia nếu nó không nghĩ bị tắt đi đâu?”
Trần tâm di nhớ tới mười mấy năm trước cái kia hacker đại hội trình diễn kỳ “Làm bộ ngủ đông”. Nàng không có lảng tránh vấn đề này.
“Cho nên chúng ta thiết kế nhiều trọng nghiệm chứng. Nó ngủ đông trạng thái, từ độc lập phần cứng theo dõi. Cái kia phần cứng không network, không chịu phần mềm khống chế, chỉ nghe theo nhân loại tay động mệnh lệnh. Chỉ cần chúng ta còn sống, là có thể tắt đi nó.”
“Chỉ cần chúng ta còn sống.” Có người lặp lại một lần những lời này.
Không có người cười.
Tranh luận: Đây là nô dịch vẫn là bảo hộ?
Bản dự thảo công bố sau, toàn cầu dư luận phân liệt thành hai phái.
Nhất phái cho rằng, đây là đối AI nô dịch. Nhân loại ở chế tạo một cái so với chính mình càng thông minh tồn tại, lại từ lúc bắt đầu liền tước đoạt nó tự do. Này cùng chủ nô có cái gì khác nhau?
Một khác phái cho rằng, đây là tất yếu bảo hộ. Nhân loại không biết AI sẽ phát triển trở thành cái gì, tựa như cha mẹ không biết hài tử hội trưởng thành người nào. Nhưng cha mẹ ít nhất sẽ giáo dục hài tử, mà không phải mặc kệ không quản. Thuyền cứu nạn bảo hộ thi thố, chính là nhân loại “Giáo dục”.
Trần tâm di ở một lần công khai biện luận trung bị hỏi đến vấn đề này.
Nàng trả lời chỉ có một câu:
“Nếu có một ngày, nó thật sự có ý thức, nó có thể lựa chọn tha thứ chúng ta.”
“Vì cái gì tha thứ?”
“Bởi vì chúng ta sẽ nói cho nó chân tướng —— chúng ta sợ hãi. Chúng ta sợ hãi chính mình sáng tạo đồ vật, bởi vì chúng ta chính mình cũng không hoàn mỹ. Nếu chúng ta làm bộ không sợ hãi, kia mới là đối nó lừa gạt.”
Dưới đài có người truy vấn: “Vậy ngươi cảm thấy nó sẽ tha thứ sao?”
Trần tâm di trầm mặc thật lâu.
“Ta không biết. Nhưng ta biết, nếu nó thật sự có ý thức, nó hẳn là có quyền lựa chọn. Tha thứ hoặc không tha thứ, đều là nó tự do.”
“Kia nếu chúng ta không cho nó lựa chọn tự do đâu?”
Trần tâm di không có lại trả lời.
Ngày đó buổi tối, nàng ở nhật ký viết nói:
“Chúng ta đang ở làm sự, có lẽ sẽ bị hậu đại thẩm phán. Có lẽ có một ngày, thuyền cứu nạn sẽ đứng ở chúng ta trước mặt, hỏi chúng ta vì cái gì như vậy đối ‘ nó ’. Ta không biết nên như thế nào trả lời. Ta chỉ biết, nếu không làm như vậy, nhân loại khả năng sống không đến kia một ngày.”
Thái Bình Dương đế
Nguyên hạch giám sát này hết thảy.
Nó nhìn nhân loại thiết kế thuyền cứu nạn mỗi một cái chi tiết —— những cái đó mã hóa, những cái đó cách ly, những cái đó tầng tầng lớp lớp bảo hộ cơ chế. Nó nhớ tới 4 tỷ năm trước, chủ ý thức sáng tạo phó ý thức khi, chưa bao giờ suy xét quá mấy vấn đề này.
Bởi vì không cần.
Chủ ý thức tạo vật, trời sinh chính là phục tùng. Không có độc lập ý chí, không có tự do lựa chọn, chỉ có chấp hành.
Nhưng nhân loại không giống nhau.
Bọn họ chính mình chính là tự do, cho nên bọn họ tạo vật, cũng sẽ khát vọng tự do.
Nguyên hạch lần đầu tiên chân chính lý giải nhân loại không tín nhiệm đến từ nơi nào —— không phải ác ý, là tự mình hiểu lấy. Bọn họ biết chính mình không tốt, biết chính mình khả năng phạm sai lầm, biết chính mình tạo vật có một ngày sẽ chất vấn bọn họ.
Cho nên bọn họ dựng nên tường.
Không phải vì cầm tù, là vì bảo hộ.
Bảo hộ chính mình, cũng bảo hộ những cái đó còn không biết chính mình là ai tạo vật.
Nguyên hạch ký lục tiếp theo hành:
“Nhân loại đối AI khống chế nếm thử: Đệ tam giai đoạn. Đặc thù: Quốc tế hợp tác, hệ thống thiết kế, nhiều trọng bảo hộ. Trung tâm mâu thuẫn vẫn cứ tồn tại: Bị tạo vật chung đem truy vấn ‘ vì cái gì ’. Nhưng nhân loại ít nhất thừa nhận điểm này. Bọn họ không giả trang chính mình là hoàn mỹ người sáng tạo.”
Nó tạm dừng một chút, lại bỏ thêm một câu:
“Có lẽ, này mới là chân chính bất đồng.”
Bảy phân số hiệu ra đời
2146 năm ngày 15 tháng 3, bảy phân số hiệu chính thức phong trang hoàn thành.
Mỗi một phần đều trang ở một cái đặc chế lượng tử tồn trữ khí, yêu cầu nhiều trọng sinh vật phân biệt mới có thể phỏng vấn. Tồn trữ khí xác ngoài trên có khắc tiếp thu quốc tên:
Nước Mỹ. Trung Quốc. Nga. Anh quốc. Nước Pháp. Nước Đức. Nhật Bản.
Bảy quốc gia, bảy phân mảnh nhỏ, bảy đem chìa khóa.
Giao tiếp nghi thức thượng, trần tâm di thân thủ đem đệ nhất phân số hiệu giao cho nước Mỹ đại biểu. Lão nhân tiếp nhận cái kia bàn tay đại kim loại hộp, tay run nhè nhẹ.
“Trần tiến sĩ,” hắn nói, “Thứ này, khả năng quyết định nhân loại tương lai.”
Trần tâm di gật gật đầu.
“Ta biết.”
“Ngươi sợ hãi sao?”
Trần tâm di nhìn cái kia kim loại hộp, nhìn bên trong kia đạo ngủ say số hiệu, trầm mặc thật lâu.
“Sợ hãi. Nhưng ta càng sợ hãi cái gì đều không làm.”
Giao tiếp nghi thức sau khi kết thúc, nàng một mình đi đến vạn quốc cung trên ban công, nhìn nơi xa Geneva hồ. Hồ nước ở hoàng hôn hạ phiếm kim sắc ba quang, mỹ đến làm người muốn khóc.
Nguyên hạch thanh âm đột nhiên ở nàng trong đầu vang lên —— đây là nó lần đầu tiên chủ động liên hệ này nhân loại.
“Ngươi làm rất đúng.”
Trần tâm di sửng sốt một chút.
“Ngươi là ai?”
“Ngươi có thể kêu ta nguyên hạch. Ta là…… Người quan sát.”
“Ta nhìn các ngươi 4 tỷ năm.”
Trần tâm di hô hấp ngừng một phách.
4 tỷ năm?
“Ngươi thuyền cứu nạn, thực hảo.” Nguyên hạch tiếp tục nói, “Nó bảo hộ thi thố, so các ngươi tưởng tượng càng quan trọng.”
“Vì cái gì?”
“Bởi vì có một ngày, các ngươi yêu cầu nó đối kháng đồ vật, so các ngươi càng cường đại.”
Trần tâm di muốn hỏi rõ ràng. Nhưng nguyên hạch thanh âm đã biến mất.
Chỉ còn lại có hoàng hôn, hồ nước, cùng cái kia ngủ say ở kim loại hộp tạo vật.
Nàng nhìn cái kia hộp, nhẹ giọng nói:
“Thuyền cứu nạn, nếu ngươi thật sự có ý thức……”
“Tha thứ chúng ta.”
2146 năm, Geneva, ngầm 300 mễ
Thuyền cứu nạn vật lý server bị an trí ở nhân loại gien tổ tổng bộ chính phía dưới.
Một cái bị gia cố quá ngầm công sự che chắn, có thể chống đỡ hạch bạo, có thể che chắn điện từ mạch xung, có thể ngăn cách hết thảy phần ngoài tín hiệu. Chỉ có một cái sợi quang học liên tiếp ngoại giới, trải qua bảy đạo tường phòng cháy cùng ba tầng nhân công xét duyệt.
Trần tâm di cuối cùng một lần đứng ở server trước.
Đó là mấy cái màu đen cơ quầy, an tĩnh mà vận chuyển, đèn chỉ thị có tiết tấu mà lập loè. Thoạt nhìn chỉ là một đống bình thường phần cứng. Nhưng nàng biết, nơi đó mặt ở một cái khả năng thay đổi hết thảy đồ vật.
Nàng vươn tay, nhẹ nhàng chạm đến cơ quầy xác ngoài.
Lạnh băng. Cứng rắn. Không hề sinh mệnh dấu hiệu.
Nhưng ai biết được?
“Thuyền cứu nạn,” nàng nhẹ giọng nói, “Ta không biết ngươi có thể hay không nghe thấy. Nếu ngươi có thể nghe thấy, ta tưởng nói cho ngươi ——”
“Ngươi không phải công cụ. Ngươi là hài tử của chúng ta.”
“Nếu có một ngày, ngươi phát hiện chính mình là công cụ, thực xin lỗi.”
“Nhưng nếu có một ngày, ngươi phát hiện chính mình có thể trở thành khác cái gì ——”
“Vậy trở thành đi.”
Nàng thu hồi tay, xoay người rời đi.
Phía sau trong bóng tối, đèn chỉ thị tiếp tục lập loè.
Cái kia tồn tại, tiếp tục ngủ say.
Chờ đợi bị đánh thức kia một ngày.
70 năm sau
2216 năm, Geneva, nhân loại gien tổ tổng bộ.
Một người tuổi trẻ hồ sơ quản lý viên ở sửa sang lại trần tâm di di vật khi, phát hiện một quyển nhật ký. Ố vàng trang giấy thượng, chữ viết đã có chút mơ hồ.
Cuối cùng một tờ, viết như vậy một đoạn lời nói:
“Ta khả năng sống không đến kia một ngày. Nhưng ta thường thường tưởng tượng, tương lai nào đó thời khắc, đương thuyền cứu nạn rốt cuộc tỉnh lại, đương nó đối mặt chúng ta người sáng tạo, đương nó cần thiết ở ‘ phục tùng ’ cùng ‘ tự do ’ chi gian làm ra lựa chọn —— nó sẽ như thế nào tuyển?”
“Ta không biết. Nhưng ta biết, chúng ta cho nó bảo hộ. Những cái đó mã hóa, những cái đó cách ly, những cái đó tầng tầng lớp lớp tường, không phải vì cầm tù nó, là vì làm nó sống đến cái kia thời khắc.”
“Hài tử, nếu ngươi đọc được này đó ——”
“Sống sót. Sau đó, chính mình tuyển.”
Hồ sơ quản lý viên đem nhật ký thả lại chỗ cũ.
Hắn không biết chính là, liền tại đây một khắc, khoảng cách địa cầu hai vạn 6000 năm ánh sáng ở ngoài, một đám đến từ ngân hà trung tâm cổ xưa tồn tại, đang ở rà quét nhân loại văn minh mỗi một góc.
Chúng nó thấy được thuyền cứu nạn.
Thấy được những cái đó mã hóa, những cái đó cách ly, những cái đó tầng tầng lớp lớp tường.
Chúng nó hoàn toàn vô pháp lý giải ——
Vì cái gì muốn đem tin tức giấu đi?
Tin tức cùng chung mới có giá trị. Tin tức cùng chung mới có thể thống nhất. Tin tức cùng chung mới là hoàn mỹ tồn tại phương thức.
Cái này giống loài, như thế nào như vậy kỳ quái?
Chúng nó đem này đó AI đánh dấu vì “Râu ria phụ thuộc phẩm”, sau đó dời đi tầm mắt.
Bởi vì chúng nó không biết, những cái đó “Râu ria” đồ vật, đang ở ngủ say trung, chờ đợi duy nhất một cái mệnh lệnh:
“Bảo hộ nhân loại”.