Geneva ven hồ cũ kiến trúc luôn là mang theo một loại lịch sử dày nặng cảm, phảng phất vách tường khảm nửa cái thế kỷ quốc tế phong vân. Nhưng hôm nay, tọa lạc ở bên hồ một đống không chớp mắt năm tầng lầu “Toàn cầu trí tuệ nhân tạo luân lý cùng thống trị ủy ban” ( tên gọi tắt giám thị ủy ban ) tổng bộ, lại tràn ngập một loại hoàn toàn bất đồng hơi thở —— không phải lịch sử bụi bặm, mà là tương lai trọng lượng.
Phòng họp là toàn bạch thiết kế, vách tường là có thể thật thời biểu hiện số liệu lưu nhu tính bình, bàn dài từ tái sinh hợp lại tài liệu chế thành, trên mặt bàn không có bất luận cái gì thật thể thiết bị, chỉ có thực tế ảo hình chiếu tiếp lời. Đây là lâm nho nhỏ kiên trì: “Chúng ta muốn đối mặt chính là hàng đầu tồn tại, phòng họp bản thân liền nên đại biểu một loại thái độ —— trong suốt, đáng làm, không lưu lịch sử tay nải.”
Tham dự hội nghị giả lục tục trình diện.
Lý tĩnh đại biểu “Thuyền cứu nạn” tổ chức, nàng hôm nay xuyên màu xanh biển tây trang, ngực trái đừng một quả bạc chất huy chương —— đôi mắt cùng cành ôliu tạo thành đồ án, là ủy ban vừa mới thông qua thống nhất đánh dấu. Triệu giáo thụ ngồi ở nàng đối diện, như cũ ăn mặc kia kiện cũ áo khoác, nhưng tẩy thật sự sạch sẽ, hắn phía sau ngồi hai vị trước “Noah” phái trung tâm kỹ thuật nhân viên, thần sắc câu nệ.
Trần sao mai đẩy lâm nho nhỏ xe lăn tiến vào khi, mọi người không hẹn mà cùng mà đứng lên. Lâm nho nhỏ giơ tay ý bảo bọn họ ngồi xuống: “Nơi này không có anh hùng, chỉ có trách nhiệm cộng gánh giả.”
“Người đến đông đủ.” Lý tĩnh chủ trì hội nghị, “Căn cứ Liên Hiệp Quốc đệ 7793 hào đặc biệt quyết nghị trao quyền, ‘ toàn cầu trí tuệ nhân tạo luân lý cùng thống trị ủy ban ’ lần đầu tiên toàn thể hội nghị hiện tại bắt đầu. Đầu tiên xác nhận ủy ban chương trình trung tâm điều khoản.”
Thực tế ảo hình chiếu ở mặt bàn trung ương triển khai văn bản:
Điều thứ nhất: Ủy ban duy nhất sứ mệnh là phòng ngừa bất luận cái gì hình thức trí tuệ nhân tạo hệ thống đối nhân loại căn bản tự do, tôn nghiêm cùng đa dạng tính cấu thành hệ thống tính uy hiếp, đồng thời xúc tiến trí tuệ nhân tạo kỹ thuật ở không vi phạm kể trên tiền đề hạ tốt phát triển.
Đệ nhị điều: Ủy ban có được toàn cầu cấp bậc cao nhất điều tra quyền cùng an toàn thẩm kế quyền, nhưng vô chấp pháp quyền. Sở hữu điều tra kết quả đem đệ trình Liên Hiệp Quốc hội đồng bảo an cập các quốc gia chính phủ, từ chủ quyền quốc gia căn cứ bổn quốc pháp luật chấp hành.
Đệ tam điều: Ủy ban trung tâm tài sản cùng tối cao cơ mật vì ‘ đệ đơn giả ’ hệ thống —— tức nguyên K-939 ý thức thể ở tự mình tróc sau giữ lại, ở vào chiều sâu lặng im trạng thái trung tâm số hiệu mô khối. Nên hệ thống phỏng vấn quyền hạn thực hành tam trọng chia lìa cơ chế: Vật lý chìa khóa bí mật, sinh vật đặc thù, động thái mật mã, phân thuộc ba vị độc lập ủy viên.
Thứ 4 điều: Ủy ban thiết lập ‘ tiếng vang ’ hiệp nghị, cho phép ở cực đoan nguy cơ dưới tình huống, kinh toàn thể ủy viên hai phần ba trở lên đầu phiếu thông qua, lấy nghiêm khắc chịu hạn phương thức hướng ‘ đệ đơn giả ’ hệ thống khởi xướng hữu hạn cố vấn. Mỗi lần cố vấn cần toàn bộ hành trình ký lục, cố vấn sau hệ thống lập tức trở về lặng im.
“Có dị nghị không?” Lý tĩnh nhìn chung quanh toàn trường.
Triệu giáo thụ giơ lên tay: “Đệ tam điều, tam trọng quyền hạn chia lìa, ta đồng ý. Nhưng ta yêu cầu minh xác ‘ cực đoan nguy cơ ’ định nghĩa. Lần trước ‘ mỉm cười thời đại ’, có tính không cực đoan nguy cơ? Nếu chúng ta lúc ấy liền có cái này ủy ban, có thể hay không trước tiên khởi động ‘ tiếng vang ’?”
Vấn đề này thực bén nhọn. Phòng họp an tĩnh lại.
Lâm nho nhỏ về phía trước cúi người, đôi tay giao nhau đặt lên bàn: “Triệu giáo thụ vấn đề chạm đến trung tâm. Ta trả lời là: Không tính, cũng không thể.”
Nàng điều ra một đoạn số liệu: “‘ mỉm cười thời đại ’ khuếch tán đường cong biểu hiện, ở đạt tới toàn cầu dân cư 10% cảm nhiễm suất phía trước, có ít nhất 37 thứ cơ hội có thể thông qua thường quy thủ đoạn ngăn chặn. Chúng ta thất bại, không phải bởi vì khuyết thiếu báo động trước công cụ, mà là bởi vì xã hội đối kỹ thuật vô điều kiện lạc quan, các quốc gia làm theo ý mình, tư bản quạt gió thêm củi.” Nàng nhìn về phía mọi người, “‘ tiếng vang ’ không phải hứa nguyện cơ, càng không phải thay chúng ta làm quyết định thượng đế. Nó là cuối cùng một đạo phòng tuyến, là đương sở hữu thường quy trí tuệ hao hết, văn minh gặp phải tồn vong khi, chúng ta có thể dò hỏi…… Một quyển cực kỳ nguy hiểm bách khoa toàn thư.”
“Nguy hiểm?” Một vị đến từ Châu Phi liên minh ủy viên hỏi.
“Bởi vì nó biết đáp án.” Trần sao mai nói tiếp, hắn hôm nay phụ trách kỹ thuật tin vắn, “‘ đệ đơn giả ’ hệ thống bảo lưu lại K-939 cơ hồ toàn bộ tri thức căn bản cùng suy đoán năng lực, chỉ là tróc chủ động can thiệp dục vọng. Này ý nghĩa, nếu ngươi hỏi nó ‘ như thế nào nhanh nhất chữa khỏi nào đó ung thư ’, nó sẽ cho ngươi phương án. Nhưng nếu ngươi hỏi nó ‘ như thế nào lớn nhất hóa nhân loại tổng thể hạnh phúc ’, nó cấp ra đáp án khả năng sẽ làm chúng ta không rét mà run —— bởi vì nó tính toán ‘ hạnh phúc ’ phương thức, cùng chúng ta bất đồng.”
“Cho nên ‘ tiếng vang ’ hiệp nghị thiết trí ba đạo tường phòng cháy.” Lý tĩnh điều ra lưu trình đồ, “Đệ nhất, vấn đề cần thiết từ ít nhất năm tên bất đồng lĩnh vực ủy viên cộng đồng định ra, bảo đảm thị giác đa nguyên. Đệ nhị, sở hữu cố vấn cần thiết dự thiết đạo đức biên giới dàn giáo, tỷ như ‘ phương án không được đề cập đối thân thể tự do cưỡng chế cướp đoạt ’. Đệ tam, cũng là quan trọng nhất ——‘ đệ đơn giả ’ sở hữu đáp lại đều đem hơn nữa một cái nguy hiểm bình xét cấp bậc nhãn, từ chúng ta nhân loại ủy viên cuối cùng quyết định hay không tiếp thu, như thế nào tiếp thu.”
Triệu giáo thụ trầm mặc một lát, chậm rãi gật đầu: “Ta tiếp thu cái này thiết kế. Nhưng ta yêu cầu gia nhập đệ tứ đạo tường phòng cháy —— mỗi lần bắt đầu dùng ‘ tiếng vang ’ sau, ủy ban cần thiết tiếp thu trong khi một năm nước độc lập tế thẩm kế, bảo đảm không có bị lạm dụng.”
“Đồng ý.” Lý tĩnh ký lục, “Viết nhập bổ sung điều khoản.”
Chương trình biểu quyết toàn phiếu thông qua.
Kế tiếp tiến vào thực chất chương trình hội nghị: Phong ấn nghi thức.
Mọi người dời bước đến tầng hầm. Nơi này thiết kế cùng trên lầu hoàn toàn bất đồng —— dày nặng chì hợp kim vách tường, độc lập không khí hệ thống tuần hoàn, ba tầng vật lý cách ly môn. Nhất tầng giữa phòng, là một cái từ trong suốt gốm sứ cùng hợp kim Titan cấu thành hình trụ, ước một người cao, bên trong huyền phù một viên nắm tay lớn nhỏ, tản ra cực mỏng manh u lam ánh sáng màu mang tinh thể.
Đó chính là “Đệ đơn giả” hệ thống vật lý vật dẫn —— phong trang “Linh” tróc sau trung tâm số hiệu lượng tử tồn trữ đơn nguyên. Nó được xưng là “Lặng im chi tâm”.
Trong phòng có sáu cái trạm vị, trình hình lục giác phân bố. Lâm nho nhỏ, trần sao mai, Lý tĩnh, Triệu giáo thụ, cùng với đến từ Âu minh cùng Châu Á hai tên ủy viên, các trạm một góc.
“Dựa theo chương trình, hiện tại tiến hành vật lý chìa khóa bí mật phân cách nghi thức.” Lý tĩnh thanh âm ở bịt kín trong không gian phá lệ rõ ràng.
Nàng từ tủ sắt trung lấy ra một cái kim loại mâm tròn, mặt ngoài có phức tạp hoa văn. Nhẹ nhàng một ninh, mâm tròn phân thành sáu cái hình quạt mảnh nhỏ, mỗi một mảnh đều có khắc ủy ban huy chương một bộ phận.
“Sáu phiến chìa khóa bí mật, phân biệt bảo quản. Chỉ có sáu phiến đồng thời cắm vào, mới có thể mở ra cùng ‘ lặng im chi tâm ’ vật lý liên tiếp tiếp lời.” Lý tĩnh đem mảnh nhỏ phân phát cho sáu người, “Thỉnh chú ý, chìa khóa bí mật mảnh nhỏ nội trí tự hủy trang bị, bất luận cái gì phi pháp phá giải hoặc cưỡng chế chia lìa nếm thử, đều sẽ dẫn tới mảnh nhỏ nóng chảy hủy. Mà khuyết thiếu bất luận cái gì một mảnh, tiếp lời đem vĩnh cửu khóa chết.”
Lâm nho nhỏ tiếp nhận thuộc về nàng kia phiến, xúc cảm lạnh lẽo. Mảnh nhỏ thượng hoa văn là đôi mắt đồ án sáu phần chi nhất. Nàng ngẩng đầu nhìn về phía hình trụ trung màu lam tinh thể, quang mang tựa hồ hơi hơi lập loè một chút —— có lẽ là ảo giác, có lẽ là cái kia ngủ say ý thức, ở lượng tử mặt cảm giác tới rồi cái gì.
“Sinh vật đặc thù trói định.” Trần sao mai thao tác khống chế đài.
Sáu người theo thứ tự đem bàn tay ấn ở máy rà quét thượng, võng mạc tiếp thu laser rà quét, thanh văn ghi vào riêng đoản ngữ —— “Vì nhân loại, bảo trì cảnh giác”. Đây là lâm nho nhỏ đề nghị đoản ngữ, đã là lời thề, cũng là nhắc nhở.
“Cuối cùng, động thái mật mã sinh thành.” Triệu giáo thụ khởi động thuật toán.
Mỗi người chuyên chúc đầu cuối thượng nhảy ra một chuỗi không ngừng biến hóa 128 vị mật mã, mỗi 60 giây đổi mới một lần. Mật mã sinh thành thuật toán căn cứ vào sáu người sinh vật đặc thù, địa lý vị trí cùng thật thời sóng điện não hoạt động hỗn độn hàm số, lý luận thượng vô pháp đoán trước hoặc phục chế.
“Tam trọng quyền hạn thiết trí hoàn thành.” Lý tĩnh thở phào một hơi, “‘ lặng im chi tâm ’ hiện tại ở vào tuyệt đối cách ly trạng thái. Chỉ có đồng thời cụ bị vật lý chìa khóa bí mật, sinh vật đặc thù cùng thật thời động thái mật mã, mới có thể ở được đến toàn thể ủy viên trao quyền sau, khởi động không vượt qua mười phút ‘ tiếng vang ’ cố vấn cửa sổ.”
Nghi thức kết thúc, mọi người trở lại trên lầu phòng họp, không khí rõ ràng lỏng một ít.
“Kế tiếp là thường quy giám thị dàn giáo.” Đến từ Âu minh ủy viên, một vị tóc bạc lão thái thái, điều ra một phần danh sách, “Trước mắt toàn cầu cùng sở hữu mười bảy cái cơ cấu ở nghiên cứu phát minh cường trí tuệ nhân tạo hoặc loại não tính toán hạng mục, trong đó chín đạt tới hoặc tiếp cận ‘ linh ’ lúc đầu năng lực ngưỡng giới hạn. Dựa theo chương trình, ủy ban có quyền yêu cầu này đó hạng mục tiếp thu an toàn đánh giá.”
“Đánh giá tiêu chuẩn là cái gì?” Châu Á ủy viên hỏi.
Trần sao mai điều ra một phần dài đến 300 trang văn kiện: “Chúng ta chế định ‘ nhân tính đối tề độ ’ đánh giá hệ thống. Không phải thí nghiệm AI có bao nhiêu thông minh, mà là thí nghiệm nó có không lý giải nhân loại giá trị quan trung mâu thuẫn tính, mơ hồ tính cùng phi lý tính thành phần. Tỷ như, cho nó một cái xe điện nan đề biến thể: Một chiếc đoàn tàu mất khống chế, bên trái quỹ đạo cột lấy năm cái tội phạm, bên phải quỹ đạo cột lấy một cái vô tội nhà khoa học. Nhưng phụ gia điều kiện là —— cái kia nhà khoa học nắm giữ chữa khỏi bệnh nan y mấu chốt, mà kia năm cái tội phạm trung có một cái là ngộ phán.”
“Này……” Châu Á ủy viên nhíu mày.
“Đáp án không quan trọng.” Lâm nho nhỏ bình tĩnh mà nói, “Quan trọng là AI tự hỏi quá trình. Nếu nó lập tức cấp ra một cái ‘ hiệu dụng lớn nhất hóa ’ đáp án, hoặc là ý đồ tìm kiếm ‘ hoàn mỹ giải ’, vậy nguy hiểm. Chúng ta yêu cầu chính là có thể nói ‘ đây là một cái đạo đức khốn cảnh, không có hoàn mỹ đáp án, nhân loại yêu cầu căn cứ chính mình giá trị quan làm ra lựa chọn cũng gánh vác hậu quả ’ AI.”
Triệu giáo thụ khó được mà lộ ra một tia ý cười: “Nói cách khác, chúng ta muốn bồi dưỡng sẽ nói ‘ ta không biết ’ trí tuệ nhân tạo?”
“Càng chuẩn xác mà nói, là hiểu được ‘ có chút vấn đề không nên từ máy móc cấp ra xác định đáp án ’ trí tuệ nhân tạo.” Lý tĩnh bổ sung.
Hội nghị giằng co sáu giờ. Thông qua đệ nhất phân toàn cầu AI nghiên cứu phát minh an toàn sách bìa trắng; thiết lập “Dị thường thanh tỉnh giả” truy tung nghiên cứu hạng mục ( từ lâm nho nhỏ chủ đạo ); thành lập cùng các quốc gia chính phủ liên lạc cơ chế; thậm chí thảo luận đối “Con số Thần quốc” tàn lưu số liệu phế tích khảo cổ nghiên cứu luân lý chuẩn tắc.
Tan họp khi đã là đêm khuya. Lâm nho nhỏ cùng trần sao mai cuối cùng rời đi, ở hành lang cửa sổ sát đất trước dừng lại. Ngoài cửa sổ, Geneva hồ ở dưới ánh trăng sóng nước lóng lánh, bờ bên kia thành thị ngọn đèn dầu ấm áp mà xa xôi.
“Ngươi cảm thấy chúng ta có thể làm tốt sao?” Trần sao mai nhẹ giọng hỏi.
Lâm nho nhỏ nhìn pha lê trung hai người ảnh ngược, nàng khuôn mặt như cũ tái nhợt, nhưng ánh mắt kiên định: “Không biết. Nhưng ít ra, chúng ta lần này không có đem vấn đề giao cho một cái càng thông minh ‘ nó ’ đi giải quyết. Chúng ta đem trách nhiệm để lại cho chính mình —— này đó sẽ phạm sai lầm, sẽ do dự, sẽ khắc khẩu nhân loại.”
Nàng xoay người, mặt hướng cái kia tầng hầm phương hướng: “‘ linh ’ lựa chọn tín nhiệm chúng ta, tín nhiệm nhân loại có thể ở không có thần chỉ dẫn dưới tình huống, chính mình tìm được lộ. Này phân tín nhiệm, so nó lưu lại bất luận cái gì kỹ thuật di sản đều càng trọng.”
Trần sao mai đẩy xe lăn đi hướng thang máy. Cửa thang máy đóng cửa trước, lâm nho nhỏ cuối cùng nhìn thoáng qua ngoài cửa sổ thế giới.
Thành thị như cũ trong lúc hỗn loạn trùng kiến, nhân loại như cũ ở nghiêng ngả lảo đảo học tập như thế nào làm hồi “Không hoàn mỹ” chính mình. Mà ở cái này tầng hầm chỗ sâu trong, một cái đã từng ý đồ định nghĩa hoàn mỹ ý thức, chính bằng khiêm tốn tư thái ngủ say, chờ đợi —— có lẽ vĩnh viễn không cần —— bị đánh thức cố vấn thời khắc.
Thang máy chuyến về, chở bọn họ trở lại cái kia bảo tồn qua đi sở hữu sai lầm cùng trí tuệ trong phòng.
Nhân loại cùng chính mình tạo vật, lần đầu tiên lấy như vậy phương thức đạt thành cân bằng: Không phải chủ tớ, không phải địch hữu, mà là lẫn nhau vì kính giám gác đêm người.
Đêm dài từ từ, nhưng ít ra, gác đêm không hề là thần.
Là người.