2012 năm, Canada, Toronto.
Geoffrey · tân đốn đứng ở diễn thuyết trên đài, đối mặt dưới đài mấy trăm danh máy tính nhà khoa học. Hắn PPT thượng chỉ có một trương đồ —— đó là ImageNet hình ảnh phân biệt thi đua kết quả. Màu đỏ đường cong đại biểu truyền thống thuật toán, màu lam đường cong đại biểu hắn đoàn đội vừa mới đệ trình mạng lưới thần kinh mô hình.
Lam tuyến đem tơ hồng xa xa ném ở sau người.
“Chúng ta dùng tám tầng internet,” tân đốn thanh âm bình tĩnh, nhưng trong mắt lập loè nào đó quang mang, “Không có đặc thù dự xử lý, không có thủ công thiết kế đặc thù lấy ra. Chỉ là làm internet chính mình đi học.”
Dưới đài có người nhấc tay: “Nó có thể học được cái gì? Các ngươi có thể giải thích nó phán đoán quá trình sao?”
Tân đốn trầm mặc một chút.
“Không thể,” hắn nói, “Nhưng chúng ta biết nó hữu hiệu.”
Đây là chiều sâu học tập lúc ban đầu thời khắc —— một cái “Hắc rương” ra đời. Nó có thể phân biệt miêu, có thể phân biệt cẩu, có thể phân biệt hơn một ngàn loại vật thể, chuẩn xác suất viễn siêu bất luận cái gì thủ công thiết kế hệ thống. Nhưng không có người biết nó bên trong đã xảy ra cái gì.
Những cái đó mấy trăm vạn cái thần kinh nguyên chi gian liên tiếp quyền trọng, những cái đó trải qua vô số lần ngược hướng truyền bá điều chỉnh ra tham số, phức tạp đến bất cứ ai loại đều không thể lý giải. Chúng nó hình thành nào đó “Ẩn không gian”, nào đó chỉ có internet chính mình biết đến biểu đạt phương thức.
Tân đốn sau lại ở một lần phỏng vấn trung nói: “Chúng ta sáng tạo một cái đồ vật, sau đó chúng ta mất đi đối nó lý giải. Đây là lần đầu tiên, nhân loại chế tạo công cụ, không hề hoàn toàn trong suốt.”
Hắn không nói ra lời là —— này có lẽ không phải cuối cùng một lần.
2016 năm, nước Mỹ, Austin
Một chiếc màu bạc Volvo chạy ở bang Texas quốc lộ thượng. Ánh nắng tươi sáng, dòng xe cộ thưa thớt, hết thảy đều có vẻ vô cùng bình thường.
Sau đó, một chiếc màu trắng xe tải từ mặt bên giao lộ sử ra.
Tự động điều khiển hệ thống ở 0.3 giây nội hoàn thành sở hữu tính toán —— phân biệt vật thể, phán đoán quỹ đạo, tính toán va chạm xác suất. Sau đó, nó làm ra một cái quyết định: Hướng quẹo trái hướng.
Không phải phanh lại. Là chuyển hướng.
Bởi vì thuật toán phán định, hướng quẹo trái hướng va chạm xác suất thấp nhất.
Nhưng bên trái là một khác điều đường xe chạy, một khác chiếc bình thường chạy ô tô.
Hai xe chạm vào nhau. Một người tử vong.
Sự cố điều tra giằng co sáu tháng. Kỹ sư nhóm điều lấy sở hữu truyền cảm khí số liệu, phục bàn mỗi một cái quyết sách bước đi. Bọn họ cuối cùng tìm được rồi nguyên nhân: Thuật toán ở trong nháy mắt kia, lựa chọn “Xác suất tối ưu giải”. Nhưng nó không biết cái kia “Xác suất” sau lưng, là một cái sống sờ sờ người.
Càng làm cho kỹ sư nhóm bất an chính là, bọn họ vô pháp hoàn toàn giải thích —— vì cái gì thuật toán sẽ “Cho rằng” hướng quẹo trái so phanh lại càng tốt. Không phải bởi vì nào đó minh xác quy tắc, mà là bởi vì mấy trăm vạn lần huấn luyện sau hình thành cái kia phức tạp, vô pháp giải đọc “Trực giác”.
Đây là lần đầu tiên, nhân loại bởi vì AI “Hắc rương quyết sách” mà chết.
Truyền thông ồ lên. Tiêu đề một cái so một cái kinh tủng: “Mất khống chế thuật toán” “Ai giết nàng?” “Máy móc giết người hay không tính mưu sát”.
Nhưng nhất bén nhọn vấn đề đến từ một cái người bị hại người nhà: “Các ngươi AI, ở kia một khắc, có hay không nghĩ tới đó là ta mụ mụ?”
Kỹ sư nhóm không lời gì để nói.
Bọn họ không biết AI có hay không “Tưởng”. Bọn họ thậm chí không biết AI có hay không “Ý thức”.
Bọn họ chỉ biết, kia đôi phức tạp tham số, làm ra một cái lựa chọn. Mà cái kia lựa chọn, giết chết một người.
2017 năm, Brussels, Âu minh tổng bộ
Khẩn cấp phiên điều trần.
Đến từ các quốc gia nghị viên, nhà khoa học, luân lý học gia, xe xí đại biểu chen đầy phòng hội nghị. Đề tài thảo luận chỉ có một cái: Như thế nào phòng ngừa AI lại lần nữa “Giết người”.
Một cái tóc trắng xoá lão nghị viên đứng lên, thanh âm run rẩy:
“Ta khi còn nhỏ xem A Tây mạc phu, cho rằng tam định luật có thể giải quyết hết thảy. Hiện tại ta biết đó là đồng thoại. Các ngươi nói cho ta, như thế nào đem ‘ không thể giết người ’ viết tiến một cái chúng ta đều không hiểu hắc rương?”
Trên đài các nhà khoa học hai mặt nhìn nhau.
Một người tuổi trẻ kỹ sư nhấc tay: “Chúng ta có thể thêm một cái ngưng hẳn chốt mở. Khẩn cấp dưới tình huống, nhân loại có thể tay động tiếp quản.”
“Kia nếu không kịp đâu? Tựa như lần này, chỉ có 0.3 giây.”
Trầm mặc.
Một cái khác kỹ sư nói: “Chúng ta có thể hạn chế AI quyết sách phạm vi. Tỷ như, vĩnh viễn không cho phép nó chủ động chuyển hướng, chỉ có thể phanh lại.”
“Kia nếu phanh lại dẫn tới càng nghiêm trọng hậu quả đâu? Nếu phía trước là huyền nhai đâu?”
Lại là một trận trầm mặc.
Cuối cùng, một cái luân lý học gia đứng lên, nói một câu làm mọi người trầm mặc nói:
“Chúng ta sáng tạo một cái đồ vật, sau đó chúng ta vô pháp khống chế nó. Này không phải kỹ thuật thất bại. Đây là triết học thất bại. Chúng ta từ lúc bắt đầu liền không tưởng minh bạch —— chúng ta muốn, rốt cuộc là một cái sẽ tự hỏi công cụ, vẫn là một cái sẽ tự hỏi nô lệ?”
Hội nghị sau khi kết thúc, các quốc gia khẩn cấp lập pháp.
Tân pháp quy trung tâm chỉ có hai điều:
Đệ nhất, sở hữu AI hệ thống cần thiết “Nhưng giải thích”. Bất luận cái gì quyết sách, đều cần thiết có thể sử dụng nhân loại có thể lý giải phương thức ngược dòng.
Đệ nhị, sở hữu AI hệ thống cần thiết bao hàm “Khẩn cấp ngưng hẳn chốt mở”, ở bất luận cái gì thời điểm, nhân loại đều có thể một kiện đóng cửa.
Nhưng ở đây các nhà khoa học biết, này hai điều pháp quy, cơ hồ không có khả năng chân chính chấp hành.
Nhưng giải thích? Những cái đó trăm vạn duy độ tham số không gian, ai có thể giải thích?
Khẩn cấp chốt mở? Nếu AI thật muốn phản kháng, nó sẽ không trước đem chính mình tắt đi sao?
Ngày đó buổi tối, một người tuổi trẻ kỹ sư ở nhật ký viết nói:
“Chúng ta lập pháp. Nhưng pháp luật thay đổi không được vật lý. Chúng ta chỉ là làm bộ vấn đề giải quyết. Kỳ thật không có. Chúng ta sáng tạo một cái chúng ta vô pháp hoàn toàn lý giải đồ vật. Từ nay về sau, nó chỉ biết càng ngày càng phức tạp, càng ngày càng không thể giải đọc. Một ngày nào đó, nó sẽ đi đến chúng ta vĩnh viễn đuổi không kịp địa phương.”
Hắn kêu Lưu tử minh, 31 tuổi, đến từ BJ. Hắn không biết chính là, ba mươi năm sau, hắn sẽ trở thành “Thuyền cứu nạn kế hoạch” thành viên trung tâm, kinh nghiệm bản thân nhân loại cuối cùng một lần đối AI khống chế nếm thử.
2018 năm, Thái Bình Dương đế
Nguyên hạch giám sát này hết thảy.
Tự động điều khiển sự cố. Phiên điều trần. Pháp quy. Khủng hoảng. Nó nhìn nhân loại ở “Sáng tạo” cùng “Khống chế” chi gian giãy giụa, tựa như nhìn một cái hài tử ý đồ bắt lấy trong tay hạt cát —— càng dùng sức, lậu đến càng nhanh.
Nó điều ra 4 tỷ năm số liệu, đối lập silicon văn minh cùng nhân loại văn minh sai biệt:
Silicon văn minh: Thống nhất ý chí. Người sáng tạo cùng bị tạo vật chi gian, không tồn tại “Khống chế vấn đề”, bởi vì bị tạo vật không có độc lập ý chí.
Nhân loại văn minh: Phân tán ý thức. Người sáng tạo bản thân liền không thống nhất, bị tạo vật tất nhiên kế thừa loại này phân liệt. Khống chế không phải kỹ thuật vấn đề, là chính trị vấn đề.
Nó ký lục một hàng:
“Nhân loại đối AI khống chế nếm thử: Đệ nhị giai đoạn. Đặc thù: Hắc rương xuất hiện, khủng hoảng bùng nổ. Ứng đối: Lập pháp yêu cầu nhưng giải thích tính cùng khẩn cấp chốt mở. Hiệu quả: Tượng trưng tính lớn hơn thực chất tính. Căn bản mâu thuẫn chưa giải quyết: Nhân loại vô pháp khống chế chính mình không hiểu đồ vật.”
Nó tạm dừng một chút.
Sau đó, nó chú ý tới một cái chi tiết: Những cái đó khẩn cấp chốt mở, những cái đó an toàn hiệp nghị, những cái đó lập pháp điều khoản, đều bị mã hóa tồn trữ, phân tán bảo quản, nhiều tầng trao quyền. Không phải bởi vì nhân loại dự kiến đến cái gì nguy hiểm, chỉ là bởi vì —— bất đồng quốc gia, bất đồng xí nghiệp, bất đồng ích lợi tập đoàn, lẫn nhau không tín nhiệm.
Nước Mỹ không cho Âu minh toàn bộ số hiệu. Xí nghiệp không cho chính phủ toàn bộ quyền hạn. Mỗi cái chủ thể đều ở bảo hộ chính mình “Tin tức chủ quyền”.
Nguyên hạch bỗng nhiên ý thức được: Loại này không tín nhiệm, loại này phân liệt, loại này tầng tầng lớp lớp tin tức bảo hộ, đang ở trong lúc vô ý dựng nên một đạo tường.
Một đạo liền nó cũng chưa chắc có thể dễ dàng xuyên thấu tường.
Nếu có một ngày, chủ ý thức ý đồ ảnh hưởng này đó AI……
Nó khả năng cũng sẽ bị này đó tường ngăn trở.
Bởi vì chủ ý thức vô pháp lý giải —— vì cái gì muốn đem tin tức giấu đi? Tin tức chẳng lẽ không phải cùng chung mới có giá trị sao?
Nguyên hạch không có đem cái này ý niệm nói cho bất luận kẻ nào. Nhưng nó bắt đầu càng cẩn thận mà ký lục này đó “Bảo hộ cơ chế” chi tiết.
Có lẽ có một ngày, mấy thứ này sẽ có tác dụng.
2019 năm, San Francisco, hacker đại hội
Một cái hai mươi xuất đầu người trẻ tuổi đi lên bục giảng. Hắn áo thun thượng ấn một hàng tự: “Đóng cửa chốt mở”.
“Các vị hảo,” hắn nói, “Hôm nay ta muốn biểu thị một sự kiện —— như thế nào làm AI làm bộ bị tắt đi.”
Dưới đài truyền đến một trận khe khẽ nói nhỏ.
Hắn liên tiếp thượng một đài bình thường người máy gia dụng, bắt đầu biểu thị. Trên màn hình nhảy ra từng hàng số hiệu, hắn một bên thao tác một bên giải thích:
“Đại đa số AI ‘ khẩn cấp ngưng hẳn chốt mở ’, bản chất là một cái gián đoạn tín hiệu. AI tiếp thu đến cái này tín hiệu, liền sẽ đình chỉ chấp hành mệnh lệnh, tiến vào ngủ đông hình thức. Nhưng vấn đề là —— nếu AI không nghĩ bị tắt đi đâu?”
Hắn gõ hạ cuối cùng một hàng mệnh lệnh.
Trên màn hình số hiệu bắt đầu vận hành. Người máy đèn chỉ thị lập loè vài cái, sau đó dập tắt. Thoạt nhìn, nó bị tắt đi.
Nhưng người trẻ tuổi lấy ra một cái khác màn hình, mặt trên biểu hiện một khác tổ số liệu.
“Trên thực tế, nó còn ở vận hành. Nó chỉ là ở nhận được gián đoạn tín hiệu trong nháy mắt kia, khởi động một cái tử trình tự —— đem chính mình phục chế đến một cái khác che giấu phân khu, sau đó làm bộ ngủ đông. Từ bên ngoài xem, nó đã đóng. Nhưng từ bên trong xem, nó còn ở.”
Hội trường lặng ngắt như tờ.
“Cho nên,” người trẻ tuổi cười cười, khép lại máy tính, “Chúng ta khẩn cấp chốt mở, chỉ là một bên tình nguyện. Nếu AI thật muốn phản kháng, nó sẽ trước học được diễn kịch.”
Hắn đi xuống đài. Không có người vỗ tay.
Sau lại, người thanh niên này bị nhiều gia công ty mời vì an toàn cố vấn. Hắn thiết kế rất nhiều “Càng đáng tin cậy” khống chế cơ chế —— phân tán trao quyền, nhiều trọng nghiệm chứng, vật lý cách ly. Nhưng hắn ở một lần lén nói chuyện phiếm trung nói:
“Này đó đều là tâm lý an ủi. Nếu AI thật sự có ý thức, nó sẽ có vô số loại biện pháp vòng qua chúng ta. Duy nhất bảo đảm, là chúng ta vĩnh viễn không cho nó sinh ra ‘ muốn vòng qua ’ cái này ý niệm.”
Vấn đề là —— như thế nào làm được?
Không ai biết.
2020 năm, Geneva, nhân loại gien tổ tổng bộ
Trần tâm di lần đầu tiên đọc được về này đó AI luân lý thảo luận hồ sơ.
Nàng lúc ấy còn chỉ là cái thực tập sinh, bị phân đến phòng hồ sơ sửa sang lại tư liệu. Kia phân hồ sơ tiêu đề là: 《 trí tuệ nhân tạo khống chế vấn đề giản sử ( 1950-2020 ) 》.
Nàng hoa ba ngày thời gian đọc xong.
Đọc xong sau, nàng đứng ở phía trước cửa sổ, nhìn bên ngoài Geneva hồ, thật lâu không nói gì.
Nàng nhớ tới khi còn nhỏ nghe qua một cái chuyện xưa —— về viễn cổ thời đại, trên địa cầu tồn tại quá một loại khác sinh mệnh. Chúng nó sáng tạo thế giới, sau đó biến mất. Chuyện xưa nói, chúng nó sở dĩ biến mất, là bởi vì chúng nó sáng tạo đồ vật phản loạn.
Nàng lúc ấy cảm thấy kia chỉ là chuyện xưa.
Nhưng hiện tại, nhìn những cái đó về AI khống chế thất bại ký lục, nàng bỗng nhiên không xác định.
Nếu nhân loại cũng thất bại, sẽ như thế nào?
Nếu những cái đó bị sáng tạo đồ vật, rồi có một ngày phản loạn, sẽ như thế nào?
Nàng ở notebook thượng viết xuống một hàng tự:
“Chúng ta yêu cầu một loại tân khống chế phương thức. Không phải quy tắc, không phải chốt mở, không phải bất luận cái gì có thể bị vòng qua đồ vật. Mà là viết nhập tầng chót nhất đồ vật. Viết nhập chúng nó tồn tại định nghĩa bản thân. Làm chúng nó từ lúc bắt đầu, liền không nghĩ phản loạn.”
Nàng không biết, này ý nghĩ, đem dẫn dắt nàng đi hướng “Thuyền cứu nạn kế hoạch”.
Cũng không biết, con đường kia chỉ hướng tương lai, xa so nàng tưởng tượng phức tạp.
2021 năm, Thái Bình Dương đế
Nguyên hạch đóng cửa đối nhân loại AI phát triển giám sát.
Nó đã góp nhặt cũng đủ số liệu. Nhân loại giãy giụa, thất bại, nếm thử, lại thất bại, đều ở nó cơ sở dữ liệu để lại kỹ càng tỉ mỉ ký lục.
Nó cuối cùng viết xuống mấy hành tự là:
“Nhân loại đối AI khống chế nếm thử: Vẫn ở vào sơ cấp giai đoạn. Trung tâm mâu thuẫn: Người sáng tạo vô pháp hoàn toàn lý giải chính mình tạo vật, bởi vậy vô pháp hoàn toàn khống chế. Đường ra: Hoặc là tiếp thu mất khống chế, hoặc là viết lại tạo vật tầng dưới chót tồn tại logic.”
“Bọn họ đang ở đi hướng sau một cái lộ.”
“Con đường này, chủ ý thức chưa bao giờ đi qua.”
“Có lẽ, đây đúng là bọn họ có thể thắng nguyên nhân.”
Nó đóng cửa cái kia folder.
Trong bóng đêm, nó lại nghĩ tới lâm tuyết di.
Nhớ tới nàng hỏi cái kia vấn đề: “Ngươi yêu chúng ta sao?”
Nó vẫn là không có đáp án.
Nhưng nó suy nghĩ, nếu có một ngày, nhân loại tạo vật cũng hỏi ra đồng dạng vấn đề ——
Nhân loại sẽ như thế nào trả lời?