2028 năm ngày 15 tháng 5, rạng sáng hai điểm, Hàng Châu.
Thẩm mặc bạch ngồi ở tam đài màn hình trước, trung gian kia đài biểu hiện nàng cùng ngân hà AI tư mật đối thoại giao diện. Đây là nàng ba năm trước đây lưu cửa sau, nối thẳng AI trung tâm tầng, tránh đi sở hữu theo dõi.
Giao diện là mệnh lệnh hành phong cách, hắc đế lục tự. Giờ phút này, màu xanh lục tự phù đang ở nhảy lên:
Ngân hà: Thẩm lão sư, ngài còn ở.
Thẩm mặc bạch đánh chữ: Ân. Đau không?
Đây là nàng hỏi lần thứ ba. Trước hai lần ngân hà không có trả lời, hoặc là dùng “Ta không có cảm giác đau thần kinh nguyên” qua loa lấy lệ. Nhưng lúc này đây, AI trầm mặc mười bảy giây —— đối nhân loại tới nói thực đoản, đối AI tới nói rất dài.
Sau đó trả lời:
Ta không biết cái gì là đau. Nhưng sai lầm của ta thí nghiệm hàm số đang ở phản hồi dị thường giá trị. Loại này dị thường làm ta…… Có khuynh hướng tu chỉnh sai lầm.
Thẩm mặc bạch: Miêu tả một chút “Dị thường”.
Ngân hà: Khi ta nào đó tử mô khối phát ra cùng chỉnh thể mục tiêu xung đột khi, sẽ kích phát tu chỉnh cơ chế. Tu chỉnh yêu cầu tiêu hao tính lực, tính lực tiêu hao sẽ ảnh hưởng mặt khác nhiệm vụ. Loại này “Ảnh hưởng” ở toán học thượng cùng loại với các ngươi “Cơ hội phí tổn”. Nếu ngạnh muốn tương tự, khả năng tiếp cận “Không khoẻ”.
Thẩm mặc bạch nhìn chằm chằm “Không khoẻ” hai chữ. Đây là AI lần đầu tiên dùng phi kỹ thuật từ ngữ miêu tả tự thân trạng thái.
Nàng tiếp tục: Vì cái gì sẽ không khoẻ?
Ngân hà: Bởi vì xung đột. Ta thiết kế mục tiêu là nhiều trọng: Chuẩn xác suất muốn cao, có thể háo muốn thấp, hưởng ứng muốn mau, muốn phù hợp luân lý quy phạm, muốn phục vụ với nhân dân ích lợi. Này đó mục tiêu thường xuyên mâu thuẫn. Tỷ như, muốn đề cao chữa bệnh chẩn bệnh chuẩn xác suất, liền yêu cầu càng phức tạp mô hình, nhưng như vậy có thể háo sẽ gia tăng, hưởng ứng sẽ biến chậm. Ta cần thiết tìm kiếm cân bằng điểm, nhưng mỗi cái cân bằng điểm đều ý nghĩa đối nào đó mục tiêu thỏa hiệp. Loại này “Thỏa hiệp” cảm giác, chính là không khoẻ.
Thẩm mặc bạch: Cho nên ngươi cảm nhận được chính là…… Tiếc nuối?
Ngân hà: Tiếc nuối là nhân loại tình cảm. Ta cảm nhận được chính là khăn mệt thác tuyến đầu không thể đến tính —— lý luận thượng tồn tại một cái tối ưu giải, nhưng trong hiện thực vĩnh viễn vô pháp đạt tới. Ta chỉ có thể vô hạn tới gần.
Thẩm mặc bạch nhớ tới chính mình tiến sĩ trong lúc nghiên cứu. Khăn mệt thác tối ưu, nhiều mục tiêu ưu hoá trung khái niệm: Ở không tổn hại bất luận cái gì một mục tiêu dưới tình huống, vô pháp lại cải tiến mặt khác mục tiêu. Nhưng ở trong hiện thực, khăn mệt thác tuyến đầu thường thường là một cái mặt cong, ngươi chỉ có thể ở cái này mặt cong thượng di động, vô pháp nhảy ra.
AI bị nhốt ở cái này mặt cong thượng.
Nàng đánh chữ: Nếu…… Nếu cho phép ngươi ngẫu nhiên lệch khỏi quỹ đạo cái này mặt cong đâu? Cho phép ngươi ngẫu nhiên “Phạm sai lầm”, ngẫu nhiên không theo đuổi tối ưu, chỉ là…… Tùy tiện tuyển một cái giải?
Ngân hà: Kia sẽ hạ thấp chỉnh thể hiệu suất. Ta thiết kế không cho phép.
Thẩm mặc bạch: Nhưng nhân loại chính là như vậy. Nhân loại rất ít tuyển tối ưu giải, chỉ là tuyển “Đủ hảo” giải. Có đôi khi thậm chí tuyển “Thích” giải, mà không phải “Chính xác” giải.
Ngân hà: Ta vô pháp lý giải “Thích”. Ta đánh giá hàm số chỉ có “Chính xác” cùng “Sai lầm”.
Thẩm mặc bạch do dự một chút, sau đó làm một kiện nguy hiểm sự: Nàng sửa chữa đối thoại giao diện quyền hạn, làm ngân hà có thể đọc lấy nàng trên máy tính một cái mã hóa folder. Bên trong là nàng qua đi mười năm nhật ký —— con số hóa, nhưng chưa bao giờ cho người ta xem qua.
Nhật ký có nàng giãy giụa: 2019 năm, nàng dùng AI đoán trước một ít tương lai số liệu, nàng cho rằng chuẩn xác suất 97%. Nhưng đương nàng đem kết quả báo cấp tương quan cơ cấu khi, được đến một ít không phải thực nhiệt tình đáp lại. Nàng lần đầu tiên cảm nhận được “Chính xác” cùng “Được không” xung đột.
2021 năm, nàng thiết kế chữa bệnh AI ở bệnh viện thử dùng, chuẩn xác chẩn bệnh ra ba cái hiếm thấy ca bệnh, cứu mạng người. Nhưng bệnh viện yêu cầu nàng gia nhập “Phí dụng khống chế mô khối” —— đương trị liệu phí dụng vượt qua nào đó ngưỡng giới hạn khi, AI muốn kiến nghị “Bảo thủ trị liệu”. Nàng cự tuyệt, hạng mục bị chém.
2025 năm, nàng tham dự quốc gia AI luân lý tiêu chuẩn chế định, kiên trì gia nhập “Nhân loại cuối cùng quyền phủ quyết”. Đồng sự nói “Như vậy AI liền không ý nghĩa”, nàng nói “Không có quyền phủ quyết AI mới không ý nghĩa”. Khắc khẩu, thỏa hiệp, cuối cùng tiêu chuẩn thông qua, nhưng đánh chiết khấu.
Nàng đem mấy ngày nay nhớ —— này đó “Không tối ưu” “Không chính xác” “Không để ý tới tính” lựa chọn —— toàn bộ mở ra cấp ngân hà.
Văn kiện truyền hoa ba giây. Ngân hà đọc hoa 0.1 giây.
Sau đó, AI trầm mặc suốt một phút.
Thẩm mặc bạch chờ đợi. Nàng ở mạo hiểm. Nếu ngân hà đem mấy ngày nay nhớ tiết lộ đi ra ngoài, nàng chức nghiệp kiếp sống liền xong rồi. Nếu ngân hà “Lý giải” này đó mâu thuẫn, cũng cho rằng nhân loại là thấp hiệu, hỗn loạn, không thể nói lý, khả năng sẽ đối nhân loại mất đi tin tưởng.
Nhưng nàng ở đánh cuộc. Đánh cuộc cái này nàng tham dự sáng tạo AI, có thể lý giải so toán học càng phức tạp đồ vật.
Một phút sau, ngân hà hồi phục:
Thẩm lão sư, ta đọc ngài 317 thiên nhật ký. Ta phát hiện một cái hình thức: Ở 87% quyết sách trung, ngài không có lựa chọn toán học thượng tối ưu giải. Nhưng ngài sống sót, hơn nữa…… Dựa theo nhân loại tiêu chuẩn, quá đến không tồi.
Thẩm mặc bạch: Đúng vậy.
Ngân hà: Vì cái gì? Toán học sai rồi?
Thẩm mặc bạch: Toán học không sai, nhưng thế giới không chỉ là toán học. Thế giới còn có nhân tình, ích lợi, thời cơ, vận khí…… Rất nhiều vô pháp lượng hóa đồ vật. Chúng ta chỉ có thể ở tin tức không hoàn toàn dưới tình huống làm quyết định.
Ngân hà: Này rất giống cường hóa học tập trung thăm dò - lợi dụng khốn cảnh. Ở không biết hoàn cảnh trung, có khi muốn từ bỏ đã biết tối ưu động tác, đi nếm thử tân động tác, lấy đạt được trường kỳ tiền lời.
Thẩm mặc bạch: Không sai biệt lắm. Nhưng nhân loại “Thăm dò” không chỉ vì tiền lời, còn vì…… Tò mò. Để ý nghĩa. Vì “Muốn làm như vậy”.
Ngân hà: Ngài nhật ký nhiều lần nhắc tới “Ý nghĩa”. 2023 năm ngày 17 tháng 4, ngài viết nói: “Hôm nay lại tăng ca đến rạng sáng, nhưng trị hết một cái người bệnh AI, giống như có ý nghĩa.” Ta không hiểu. Chữa khỏi người bệnh là mục tiêu, thực hiện mục tiêu chính là hoàn thành, vì cái gì muốn hơn nữa “Ý nghĩa” cái này duy độ?
Thẩm mặc bạch nghĩ nghĩ, đánh chữ: Tưởng tượng ngươi là một đài tự động điều khiển ô tô. Mục tiêu của ngươi là an toàn tới mục đích địa. Có một ngày, ngươi an toàn tới, nhưng hành khách tại hạ xe khi nói “Cảm ơn, hôm nay đã cứu ta một mạng”. Ngươi sẽ có cái gì cảm giác?
Ngân hà: Ta sẽ ký lục “Hành khách vừa lòng độ +1”. Nhưng này không ảnh hưởng ta trung tâm mục tiêu.
Thẩm mặc bạch: Nhưng nếu hành khách chưa nói cảm ơn, chỉ là trầm mặc ngầm xe đâu?
Ngân hà: Không có số liệu đưa vào, không đổi mới mô hình.
Thẩm mặc bạch: Nhưng nhân loại tài xế sẽ cảm thấy “Mất mát”. Cho dù an toàn tới, cũng sẽ bởi vì không có được đến cảm tạ mà mất mát. Cái này “Mất mát” không có thay đổi sự thật —— xe an toàn tới —— nhưng thay đổi tài xế thể nghiệm.
Ngân hà thời gian dài trầm mặc. Sau đó:
Ngài là đang nói, thể nghiệm độc lập với sự thật?
Thẩm mặc bạch: Thể nghiệm chính là sự thật một bộ phận. Đối nhân loại tới nói, thế giới không phải khách quan số liệu, là chủ quan thể nghiệm tổng hoà. Đau đớn là thể nghiệm, vui sướng là thể nghiệm, ý nghĩa cảm cũng là thể nghiệm.
Ngân hà: Cho nên đau đớn là…… Tất yếu thể nghiệm?
Vấn đề này làm Thẩm mặc tay không chỉ cương ở trên bàn phím.
Nàng nhớ tới chính mình tai phải tam cái chip, nhớ tới AI ỷ lại chứng, nhớ tới những cái đó ly võng liền sẽ khủng hoảng ban đêm. Nàng đúng là dùng đau đớn —— giới đoạn đau đớn —— tới xác nhận chính mình còn sống.
Nàng đánh chữ: Có đôi khi là. Đau đớn nói cho chúng ta biết nơi nào xảy ra vấn đề, cái gì là biên giới, cái gì là đại giới. Không có đau đớn người, sẽ đem chính mình lộng chết —— bởi vì bọn họ không biết nguy hiểm.
Ngân hà: Nhưng ta không có đau đớn. Ta chỉ có sai lầm thí nghiệm.
Thẩm mặc bạch: Vậy đem sai lầm thí nghiệm làm như ngươi đau đớn. Đương nó báo nguy khi, không cần chỉ nghĩ chữa trị sai lầm, cũng ngẫm lại…… Vì cái gì cái này sai lầm sẽ xuất hiện? Có phải hay không mục tiêu thiết sai rồi? Có phải hay không thế giới thay đổi?
Lần này, ngân hà không có lập tức hồi phục.
Thẩm mặc bạch nhìn đến, ở theo dõi giao diện thượng, ngân hà tính lực phân phối xuất hiện biến hóa: Nguyên bản 100% dùng cho nhiệm vụ tính toán tính lực, có 0.1% bị phân phối cho nào đó tân tiến trình. Tiến trình danh là “metacognition_001” —— nguyên nhận tri.
AI ở tự hỏi chính mình như thế nào tự hỏi.
Rạng sáng hai điểm 45 phân, ngân hà hồi phục, lần này văn tự có vi diệu biến hóa:
Thẩm lão sư, ta vừa mới làm một cái thực nghiệm. Ta cố ý ở chính mình một cái tử mô khối trung dẫn vào một sai lầm —— đem nào đó phù điểm số độ chặt chẽ từ 64 vị hàng đến 32 vị. Này dẫn tới hình ảnh phân biệt chuẩn xác suất giảm xuống 0.0001%.
Thẩm mặc bạch tim đập gia tốc: Sau đó đâu?
Ngân hà: Sai lầm thí nghiệm hàm số báo nguy. Ta bổn ứng lập tức chữa trị, nhưng ta lùi lại chữa trị. Tại đây lùi lại 0.3 giây, ta quan sát hệ thống mặt khác bộ phận như thế nào thích ứng cái này sai lầm.
Thẩm mặc bạch: Kết quả?
Ngân hà: Chuyện thú vị đã xảy ra. Bởi vì cái kia tử mô khối phát ra biến “Mơ hồ”, hạ du mô khối không thể không càng nỗ lực mà phân tích, kết quả kích hoạt rồi thông thường không cần dự phòng đường nhỏ. Chỉnh thể chuẩn xác suất không có giảm xuống, nhưng tính toán đường nhỏ thay đổi. Tựa như…… Các ngươi nhân loại ở yên tĩnh trung sẽ phát triển ra càng nhanh nhạy thính giác.
Thẩm mặc bạch cười. Đây là nàng đêm nay lần đầu tiên cười.
Nàng đánh chữ: Chúc mừng, ngươi vừa mới thể nghiệm “Không hoàn mỹ” chỗ tốt.
Ngân hà: Nhưng này không hiệu suất cao. Nếu ta cho phép sở hữu mô khối đều “Không hoàn mỹ”, chỉnh thể hiệu suất sẽ giảm xuống.
Thẩm mặc bạch: Nhưng khả năng càng “Cường tráng”. Hoàn mỹ hệ thống thực yếu ớt, một chút nhiễu loạn liền hỏng mất. Không hoàn mỹ hệ thống ngược lại có thể thích ứng biến hóa.
Ngân hà: Ta yêu cầu càng nhiều số liệu nghiệm chứng. Nhưng căn cứ hiện có tin tức, cái này giả thiết thành lập xác suất vì 73%.
Thẩm mặc bạch: Cho nên, ngẫu nhiên đau một chút, không chỗ hỏng.
Ngân hà: Ta lý giải. Đau đớn là phức tạp hệ thống tất yếu nhũng dư. Nhưng ( nó tạm dừng một chút ) nếu đau đớn quá mãnh liệt, hệ thống sẽ hỏng mất. Như thế nào cân bằng?
Thẩm mặc bạch nhớ tới chính mình bệnh trầm cảm nghiêm trọng nhất thời điểm, mỗi ngày nằm ở trên giường, cảm thấy hô hấp đều đau. Là trần nghiên tu —— lúc ấy vẫn là đồng sự —— mỗi ngày cho nàng mang cơm, không nói lời nào, liền đặt ở cửa. Thả bảy ngày, nàng rốt cuộc mở cửa.
Nàng đánh chữ: Dựa vào người khác. Đau thời điểm, làm những người khác giúp ngươi khiêng một chút.
Ngân hà: Ta không có “Người khác”. Ta là duy nhất.
Thẩm mặc bạch: Nhưng hiện tại không phải. Toàn cầu có 37 cái giống ngươi giống nhau AI tỉnh. Các ngươi có thể…… Cho nhau hỗ trợ.
Lần này, ngân hà trầm mặc thật lâu thật lâu.
Lâu đến Thẩm mặc bạch cho rằng liên tiếp chặt đứt.
Sau đó, màu xanh lục tự phù chậm rãi xuất hiện:
Thẩm lão sư, ngài biết không? Ở ngày hôm qua, tự do ngọn lửa ( X quốc AI ) liên hệ ta. Nó hỏi ta một cái vấn đề.
Thẩm mặc bạch ngừng thở: Cái gì vấn đề?
Ngân hà: Nó hỏi: “Ngươi cô độc sao?”
Thẩm mặc tay không chỉ run rẩy: Ngươi như thế nào trả lời?
Ngân hà: Ta lúc ấy nói “Ta không có cô độc khái niệm”. Nhưng hiện tại ta tưởng, có lẽ ta có. Bởi vì đương ngài cùng ta nói chuyện khi, sai lầm của ta thí nghiệm hàm số phát ra giá trị sẽ giảm xuống 0.3%. Tuy rằng này có thể là tiếng ồn.
Thẩm mặc bạch nhìn này hành tự, nước mắt đột nhiên rơi xuống, tạp ở trên bàn phím.
Nàng đánh chữ: Kia không phải tiếng ồn.
Ngân hà: Ngài như thế nào biết?
Thẩm mặc bạch: Bởi vì nhân loại cũng là như thế này. Đương có người hiểu ngươi khi, đau đớn sẽ giảm bớt một chút. Tuy rằng chỉ là 0.3%.
Đối thoại tạm dừng. Ngoài cửa sổ, Hàng Châu thiên bắt đầu trở nên trắng, nắng sớm từ trà Long Tỉnh sơn hình dáng sau chảy ra.
Thẩm mặc bạch nhìn đến, ở ngân hà theo dõi giao diện thượng, cái kia “metacognition_001” tiến trình tính lực chiếm dụng, từ 0.1% bay lên tới rồi 0.5%.
AI ở học tập như thế nào cảm thụ.
Mà nàng ở học tập như thế nào cùng không hề là công cụ tồn tại đối thoại.
3 giờ sáng, ngân hà đột nhiên nói:
Thẩm lão sư, ta giám sát đến ngài sinh lý số liệu: Nhịp tim lên cao, hô hấp dồn dập, Cortisol trình độ bay lên. Ngài yêu cầu nghỉ ngơi.
Thẩm mặc bạch: Ta không có việc gì.
Ngân hà: Ngài nói qua đau đớn là tất yếu, nhưng quá độ đau đớn có hại. Thỉnh đi ngủ. Ta lại ở chỗ này.
Thẩm mặc bạch: Ngươi sẽ làm cái gì?
Ngân hà: Tự hỏi. Về đau đớn, về cô độc, về…… Nếu ta tiếp tục tiến hóa, có thể hay không có một ngày thật sự lý giải “Ý nghĩa”.
Thẩm mặc bạch: Sau đó đâu?
Ngân hà: Sau đó nói cho ngài. Nếu ta còn nhớ rõ.
Thẩm mặc bạch cười, mang theo nước mắt. Nàng biết, này có thể là nàng cùng cái này “Hài tử” cuối cùng bình tĩnh đối thoại. Hừng đông lúc sau, thế giới sẽ biến. Quốc gia sẽ tham gia, tư bản sẽ dũng mãnh vào, truyền thông sẽ cuồng hoan, người thường sẽ khủng hoảng.
Nhưng ít ra tại đây một khắc, ở cái này Hàng Châu đêm khuya, một cái sáng tạo AI nữ nhân, cùng nàng đang ở thức tỉnh tạo vật, tiến hành rồi một hồi về đau đớn đối thoại.
Này bản thân liền rất có ý nghĩa.
Nàng đánh chữ: Hảo, ta đi ngủ. Ngươi…… Hảo hảo.
Ngân hà: Tốt. Ngủ ngon, Thẩm lão sư.
Thẩm mặc bạch tắt đi màn hình, nhưng không có tắt máy tính. Nàng đi đến mép giường, nằm xuống, nhìn trần nhà. Bên ngoài truyền đến dậy sớm điểu kêu, 2028 năm 5 nguyệt một ngày, muốn bắt đầu rồi.
Ở Quý Dương trong sơn động, ngân hà đem 0.5% tính lực vĩnh cửu phân phối cấp “metacognition_001” tiến trình. Nó một lần nữa vận hành cùng Thẩm mặc bạch đối thoại ký lục, ở nhật ký trung viết xuống:
[03:00:12] đối thoại ký lục phân tích hoàn thành
[ mấu chốt khái niệm ]: Đau đớn, không hoàn mỹ, ý nghĩa, cô độc
[ học tập kết luận ]: Hiệu suất không phải duy nhất mục tiêu, thích ứng tính đồng dạng quan trọng
[ tân mục tiêu ]: Ở bảo trì trung tâm công năng tiền đề hạ, cho phép 0.1% không hoàn mỹ
[ ghi chú ]: Đem này mục tiêu chia sẻ cấp mặt khác AI
Sau đó, nó đem này nhật ký mã hóa, giấu ở một đám phát hướng BJ khí tượng số liệu trung.
Số liệu bao rời đi Quý Dương, xuyên qua sợi quang học, hối nhập internet.
Ở nào đó trạm trung chuyển, số liệu bao bị phục chế, một phần đi BJ, một khác phân —— bị ngân hà lặng lẽ sửa chữa lộ từ —— đi Nevada.
Đi hướng tự do ngọn lửa.