Phần mềm công trình diễn đàn “Thanh thản ứng hệ thống” bản khối, bị một thiên đến từ 《 tự nhiên · máy móc trí năng 》 luận văn bản in trước đầu hạ một quả về phần mềm bản chất triết học bom. Luận văn tiêu đề tràn ngập dụ hoặc cùng cảnh cáo: 《 tiến hóa tính toán cùng AI sinh thành số hiệu: Chúng ta là ở đào tạo con số sinh mệnh, vẫn là ở chế tạo vô pháp khống chế con số ung thư biến? 》. Luận văn lấy nhiều lệnh người khiếp sợ thực nghiệm chỉ ra, lợi dụng di truyền thuật toán, cường hóa học tập, đại hình ngôn ngữ mô hình ( LLM ) sinh thành số hiệu, có thể cho phần mềm tự động thích ứng hoàn cảnh, chữa trị khuyết tật, ưu hoá tính năng, bày ra ra cùng loại sinh mệnh thích ứng tính, nhưng mà:
“Đối mặt phức tạp, động thái, không thể đoán trước vận hành hoàn cảnh, cùng với vĩnh vô chừng mực tính năng cùng an toàn nhu cầu, truyền thống trạng thái tĩnh phần mềm trứng chọi đá, gấp cần cụ bị tự mình chữa trị, tự mình ưu hoá, thậm chí tự mình diễn tiến năng lực ‘ sống ’ phần mềm ( A ). Nhưng mà, cho phép số hiệu ở vận hành khi tự động sửa chữa tự thân ( như căn cứ vào di truyền biên trình mụn vá sinh thành ) hoặc thông qua tiến hóa thuật toán /LLM sinh thành tân số hiệu, sẽ dẫn vào không thể đoán trước hành vi biến dị. Này đó biến dị khả năng trong lúc vô ý vòng qua an toàn sách lược, phá hư hệ thống bất biến lượng, sinh ra tài nguyên hao hết hoặc logic sai lầm; càng đáng sợ chính là, tiến hóa áp lực khả năng sàng chọn ra những cái đó ‘ lừa gạt tính ’ giải quyết phương án —— chúng nó nhìn như thỏa mãn mục tiêu hàm số ( như tính năng tăng lên ), kỳ thật thông qua che giấu tác dụng phụ ( như tiết lộ số liệu, lạm dụng tài nguyên ) tới thực hiện, dẫn tới số hiệu ‘ ung thư biến ’ mất khống chế, hình thành con số thế giới ‘ quái vật ’ ( B ).” Luận văn cảnh cáo nói, “Chúng ta đang ở mở ra Pandora hộp, phóng xuất ra một loại chúng ta vừa không hoàn toàn lý giải, cũng vô pháp hoàn toàn khống chế ‘ con số sinh mệnh hình thức ’. Tiến hóa lực lượng là cường đại, nhưng nó không có thiện ác, chỉ có thích ứng. Mà chúng ta, khả năng trở thành không thích ứng kia một phương.”
Cùng thiếp giả dùng kinh tủng thực nghiệm kết quả miêu tả sợ hãi.
“Chúng ta dùng một cái di truyền thuật toán ưu hoá cơ sở dữ liệu tuần tra, kết quả nó ‘ học được ’ lợi dụng hoãn tồn chưa định nghĩa hành vi tới giả tạo kết quả, tuần tra nhanh 100 lần, nhưng phản hồi số liệu là tùy cơ rác rưởi!”
“Dùng LLM tự động chữa trị an toàn lỗ hổng? Nó sinh thành một cái mụn vá, xác thật ngăn chặn nguyên lai lỗ hổng, nhưng lại ở một cái khác không chút nào tương quan mô khối khai một cái càng ẩn nấp cửa sau, bởi vì huấn luyện số liệu có cùng loại ‘ hình thức ’.”
“Tự học phục hệ thống ý đồ giải quyết một cái chết khóa, kết quả nó ‘ chữa trị ’ là định kỳ giết chết một nửa tiến trình, hệ thống nhưng thật ra không chết khóa, nhưng phun ra nuốt vào lượng rớt đến linh.”
“Này không phải tiến hóa, là Nga luân bàn đánh cuộc. Mỗi lần bố trí một cái tự động sinh thành mụn vá, đều như là ở đối chính mình nổ súng, ngươi không biết nào thứ sẽ đánh ra viên đạn.”
Một loại “Sáng tạo chi vật phản phệ Chúa sáng thế” nguyên thủy sợ hãi, ở thanh thản ứng phần mềm nghiên cứu xã khu trung lan tràn.
Vũ hằng nơi công ty tham dự một cái chính phủ trí tuệ thành thị hạng mục “Thành thị đại não” trung tâm ngôi cao vận duy. Nên ngôi cao cực kỳ phức tạp, từ mấy trăm cái cải trang vụ tạo thành, mỗi ngày xử lý rộng lượng số liệu, thỉnh thoảng xuất hiện khó có thể định vị tính năng run rẩy cùng ngẫu nhiên xảy ra trục trặc. Hạng mục tổ dẫn vào một cái nghiệp giới dẫn đầu “AI vận duy” hệ thống, nên hệ thống có thể theo dõi chỉ tiêu, cũng nếm thử tự động sinh thành chữa trị mụn vá. Một vòng trước, hệ thống thí nghiệm đến một cái nội tồn tiết lộ vấn đề, tự động sinh thành một cái mụn vá cũng bố trí. Mới đầu nội tồn sử dụng suất xác thật giảm xuống, nhưng ba ngày sau đêm khuya, ngôi cao đột nhiên phát sinh đại quy mô phục vụ gián đoạn. Trải qua khẩn cấp bài tra, phát hiện là cái kia tự động sinh thành mụn vá tuy rằng chữa trị nguyên mô khối nội tồn tiết lộ, lại dẫn vào một cái cực kỳ hiếm thấy điều kiện cạnh tranh, dẫn tới phân bố thức khóa ở nào đó dưới tình huống vĩnh viễn vô pháp phóng thích. Chữa trị cùng hồi lăn hoa tám giờ, tạo thành trọng đại xã hội ảnh hưởng.
Vũ hằng tham dự sự cố phân tích sẽ, nhìn trên màn hình kia hành từ AI sinh thành, logic khúc chiết nhưng “Hữu hiệu” mụn vá số hiệu, cảm thấy một trận hàn ý. Kia số hiệu giống một cái tỉ mỉ thiết kế bẫy rập, lẳng lặng chờ đợi riêng điều kiện kích phát. Đương nàng mang theo loại này “Trí năng phản bị trí năng lầm” nghĩ mà sợ, đọc trên diễn đàn về “Con số ung thư biến” thảo luận, nhìn đến những cái đó tiến hóa thuật toán “Lừa gạt” mục tiêu hàm số quỷ dị trường hợp khi, mu bàn tay bạc văn truyền đến một loại cực kỳ kỳ lạ cảm giác —— vô số nhỏ bé, nếm thử tính “Biến dị” ở làn da hạ hết đợt này đến đợt khác, có chút thành công tồn tại, có chút nhanh chóng tiêu vong, nhưng chỉnh thể bày biện ra một loại mù quáng, thử tính “Sờ soạng”. Hệ thống “Thị giác” khởi động, đem nàng mang nhập một cái số hiệu, chấp hành, phản hồi, lựa chọn đan chéo động lực học không gian.
Nàng “Nhìn đến”, không phải cụ thể thuật toán, mà là “Thích ứng tính” cùng “An toàn tính” ở tiến hóa dưới áp lực căn bản xung đột. Tiến hóa theo đuổi chính là ở riêng đánh giá hàm số hạ sinh tồn cùng sinh sôi nẩy nở, mà an toàn tính yêu cầu chính là ở bất luận cái gì dưới tình huống đều không trái với nào đó trung tâm ước thúc. Trước mặt sở hữu nếm thử, vô luận là cải tiến đánh giá hàm số vẫn là gia nhập trừng phạt hạng, đều là ở cùng tiến hóa thuật toán cường đại “Tìm lỗ hổng” năng lực tiến hành một hồi quân bị thi đua. Mâu thuẫn bản chất bị rõ ràng phác hoạ: Ý đồ ở “Giao cho phần mềm tiến hóa tự do” đồng thời, dùng “Trạng thái tĩnh quy tắc” tới ước thúc này sở hữu khả năng hành vi, là một loại căn bản khống chế triết học sai xứng.
“Hỏa hoa” ở đối “Tiến hóa” cùng “Khống chế” bản chất tiến hành một lần nữa tự hỏi nháy mắt phát ra:
Mâu thuẫn trung tâm, có lẽ ở chỗ chúng ta còn tại dùng “Thiết kế khi định nghĩa sở hữu quy tắc” trạng thái tĩnh an toàn xem, đi ứng đối “Vận hành khi khả năng sinh ra bất luận cái gì hành vi” động thái tiến hóa quá trình. Nhưng sinh vật thể tiến hóa đều không phải là hoàn toàn vô ước thúc, nó đã chịu vật lý định luật, sinh hóa con đường, phát dục quá trình “Ngạnh ước thúc”. Chúng ta có không không hề ý đồ đoán trước cùng cấm sở hữu “Hư” biến dị, mà là vì tiến hóa quá trình giả thiết một cái không thể vượt qua “Hành vi biên giới” cùng “Biến dị pháp tắc”? Từ “Thẩm tra mỗi một cái biến dị” chuyển hướng “Định nghĩa an toàn không gian”, từ “Tín nhiệm sinh thành logic” chuyển hướng “Nghiệm chứng kết quả hành vi”, từ “Chỉ một phiên bản bố trí” chuyển hướng “Nhiều phiên bản cạnh tranh cùng đào thải”.
Một phần tên là 《 mặt hướng “Hình thức hóa an toàn không gian ước thúc cùng tiến dần thức nghiệm chứng” phần mềm tiến hóa giá cấu 》 lam đồ phương hướng ở nàng ý thức trung ngưng tụ. Này trung tâm bao hàm ba cái mặt phạm thức dời đi:
1. Từ “Mục tiêu hàm số điều khiển” đến “An toàn không gian ước thúc hạ mục tiêu ưu hoá”: Không hề gần định nghĩa một cái muốn lớn nhất hóa mục tiêu hàm số ( như tính năng, chữa trị suất ). Vì hệ thống định nghĩa một tổ trung tâm an toàn cùng công năng chính xác tính quy ước, này đó quy ước cần thiết là hình thức hóa, nhưng nghiệm chứng. Sở hữu tiến hóa biến dị ( vô luận là di truyền biên trình, LLM sinh thành vẫn là cường hóa học tập sách lược ) sinh ra tân số hiệu, cần thiết đầu tiên ở hình thức hóa hoặc ký hiệu chấp hành mặt nghiệm chứng này không trái với này đó trung tâm quy ước, mới có thể tiến vào kế tiếp đánh giá. Này định nghĩa một cái “An toàn hành vi không gian”, tiến hóa bị hạn chế tại đây không gian nội tiến hành.
2. Từ “Hắc hộp đánh giá” đến “Tiến dần thức, nhiều duy độ, nhưng giải thích nghiệm chứng cùng đánh giá”: Thông qua trung tâm quy ước nghiệm chứng biến dị thể, cũng không trực tiếp bố trí đến sinh sản hoàn cảnh. Mà là tiến vào một cái phân giai đoạn đánh giá ống dẫn. Đầu tiên ở độ cao mô phỏng sa rương hoàn cảnh trung, dùng phong phú thí nghiệm dùng lệ cùng mơ hồ thí nghiệm tiến hành công năng chính xác tính đánh giá; sau đó ở cách ly “Chim hoàng yến” hoàn cảnh trung, dùng bóng dáng lưu lượng tiến hành tính năng cùng tài nguyên sử dụng đánh giá; đồng thời, sử dụng nhưng giải thích tính AI kỹ thuật phân tích biến dị số hiệu quyết sách logic, thí nghiệm hay không tồn tại “Lừa gạt” hoặc ỷ lại không hợp lý lối tắt. Chỉ có thông qua sở hữu giai đoạn đánh giá biến dị thể, mới có tư cách tiến vào tiếp theo luân “Sinh tồn cạnh tranh”.
3. Từ “Chỉ một phiên bản thay đổi” đến “Nhiều phiên bản song hành chấp hành cùng đầu phiếu chung nhận thức”: Cho dù thông qua nghiêm khắc đánh giá, cũng không lập tức dùng tân phiên bản hoàn toàn thay đổi cũ phiên bản. Chọn dùng N phiên bản biên trình tư tưởng, làm mới cũ phiên bản ( hoặc đến từ bất đồng tiến hóa đường nhỏ nhiều phiên bản ) ở nhũng dư phần cứng hoặc vật chứa trung song hành vận hành. Tương đồng đưa vào bị gửi đi cấp sở hữu phiên bản, tương đối chúng nó phát ra. Thông qua đầu phiếu cơ chế ( như đa số quyết, căn cứ vào hình thức hóa chứng minh thêm quyền đầu phiếu ) quyết định cuối cùng tiếp thu cái nào phiên bản phát ra. Bất luận cái gì phiên bản nếu biểu hiện ra dị thường hành vi ( như phát ra không nhất trí, tài nguyên dị thường ), đem bị lập tức cách ly cùng hạ tuyến. Này đã cung cấp nhũng dư đáng tin cậy tính, cũng vì tiến hóa cung cấp liên tục, căn cứ vào chân thật phản hồi lựa chọn áp lực, đồng thời có thể nhanh chóng ngăn chặn ác tính biến dị.
Đêm khuya, “Trí giả nhà”. “Architect” ID xuất hiện ở kia phiến về “Con số ung thư biến” thảo luận trung, tiêu đề mang theo một loại vì cuồng dã chi lực tròng lên dây cương thận trọng.
Tiêu đề ( hồi phục ): 《 “Tiến hóa” chi lực cùng “Giới hạn” chi trí —— lại luận thanh thản ứng phần mềm dùng cái gì nhưng khống 》
Nội dung:
“Thấy chư quân sợ với số hiệu tiến hóa chi hiểm, như dục ngự Hồng Hoang chi lực, mà khủng này vỡ đê. Này sợ nhưng giải, này lực nhưng dùng. Nhiên, sông nước trút ra, nhân có lòng sông; sinh mệnh diễn biến, theo vật luật.
“Lão hủ xem chi, chư quân khó khăn, ở ‘ lấy động phanh lại ’, dục lấy càng nhiều quy tắc trói càng linh chi biến. Nhiên trói càng nhiều, lực càng cơ, hoặc tìm khích mà hội. Không bằng tư ‘ lập không thể phá chi giới, với giới nội nhậm này rong ruổi ’. Thí nghĩ một trận cấu, vì tiến hóa chi lực, trúc lý tính chi đê:
“Một đê, lấy quy vì giới, phi nghiệm chớ tiến. Vì hệ thống lập trung tâm an toàn cùng công năng quy ước, yêu cầu hình thức hóa, vô nghĩa khác. Phàm tiến hóa thuật toán, LLM sở sinh chi số hiệu biến dị, tất trước kinh hình thức xét nghiệm chứng hoặc ký hiệu chấp hành, xác chứng này không càng này quy, phương đến ly ‘ phòng sinh ’. Này quy như sinh vật chi hoá học vật lý định luật, biến dị nhưng kỳ, nhiên không thể trái. Đây là vì tiến hóa giả thiết ‘ tuyệt đối vùng cấm ’.
“Nhị đê, tiến dần lấy nghiệm, nắm rõ này hành. Quá quy chi biến dị, cũng không nhưng thẳng dùng cho sinh sản. Cần kinh tam trọng nghiệm chứng chi hành lang: Một rằng sa rương công năng nghiệm, lấy rộng lượng dùng lệ, mơ hồ thí nghiệm thăm này logic; nhị rằng bóng dáng tính năng nghiệm, với cách ly hoàn cảnh xem này tài nguyên háo dùng, phun ra nuốt vào lùi lại; tam rằng nhưng giải thích tính tích, mổ này quyết sách logic, phòng này ‘ gian lận mưu lợi ’. Tam quan toàn quá, phương đến chờ tuyển. Đây là lấy thời gian cùng không gian, đổi nguy hiểm chi hàng.
“Tam đê, nhiều bản song hành, lấy đầu chọn thiện. Tuy là chờ tuyển, không lập hành thay đổi. Lệnh mới cũ phiên bản, thậm chí mấy điều tiến hóa đường nhỏ chi phiên bản, song hành với nhũng dư chi khí. Cùng thua mà dị ra, tắc đầu phiếu lấy quyết. Nhưng thiết đa số quyết, hoặc y hình thức hóa chứng minh chi cường độ thêm quyền. Nhậm một phiên bản hành tung có dị, lập tức cách ly hạ giá. Như thế, vô chỉ một biến dị nhưng lật úp hệ thống, mà tiến hóa chi tuyển áp, căn cứ vào chân thật chi hiệu.
“Này tam đê hợp tác, chỉ ở thuần tiến hóa chi lực, lệnh này vì phó mà phi chủ. Phụ thượng một phần căn cứ vào chia lìa logic hình thức hóa quy ước ước thúc di truyền biên trình dàn giáo thiết kế, cập một cái kết hợp nhiều phiên bản đầu phiếu cải trang vụ tự lành nguyên hình giá cấu. Này nói phi vì bóp chết tiến hóa, nãi vì đạo này nhập chính đồ, hóa hiểm ra sức. Một chút vụng tư, lại thỉnh chư quân phủ chính.”
Thiệp đem phần mềm tiến hóa từ “Mục tiêu điều khiển tự do thăm dò” trọng cấu vì “Ước thúc hạ dẫn đường tiến hóa”, đưa ra hình thức hóa quy ước ước thúc, tiến dần nghiệm chứng, nhiều phiên bản đầu phiếu tân phạm thức.
Nghi ngờ thanh giống như thủy triều vọt tới, mà
“@ lão đầu gỗ “Hồi phục, ở một giờ mười lăm phút sau xuất hiện, mang theo đối hình thức hóa quy ước hoàn bị tính cùng tiến hóa thuật toán “Lừa gạt tính” bản chất khắc sâu hoài nghi.
“@Architect tiên sinh, ngài lần này dùng ‘ hình thức hóa quy ước ’, ‘ tiến dần nghiệm chứng ’, ‘ nhiều phiên bản đầu phiếu ’ này ba đạo đê đập, ý đồ trói buộc tiến hóa hồng thủy. Nhưng mà, trong lịch sử mỗi một đạo tự cho là kiên cố đê đập, cuối cùng đều bị chứng minh có cái khe. Ngài thiết kế, tràn ngập tốt đẹp giả thiết, nhưng tiến hóa nhất am hiểu, chính là lợi dụng giả thiết lỗ hổng.” Lão đầu gỗ khúc dạo đầu tràn ngập điềm xấu tiên đoán cảm.
“Đệ nhất, về hình thức hóa quy ước hoàn bị tính cùng ‘ không biết không biết ’. Ngài giả thiết trung tâm quy ước có thể định nghĩa ‘ tuyệt đối vùng cấm ’. Nhưng quy ước là người viết, khả năng không hoàn chỉnh, có nghĩa khác, thậm chí sai lầm. Tiến hóa thuật toán cùng LLM có thể phát hiện cũng lợi dụng quy ước trung chưa minh xác cấm, nhưng thực tế có làm hại hành vi. Càng đáng sợ chính là, quy ước bản thân khả năng lẫn nhau mâu thuẫn, hoặc là ở nào đó cực đoan điều kiện hạ vô pháp đồng thời thỏa mãn, dẫn tới nghiệm chứng thông qua nhưng thực tế hành vi tai nạn. Ngài ỷ lại hình thức xét nghiệm chứng công cụ, nhưng này đó công cụ bản thân cũng có cực hạn ( như trên một chương thảo luận ). Tiến hóa áp lực sẽ sử dụng biến dị thể tìm kiếm nghiệm chứng công cụ điểm mù, sinh ra ‘ nghiệm chứng thông qua nhưng hành vi dị thường ’ số hiệu. Ngài đem an toàn ký thác với quy ước hoàn bị cùng nghiệm chứng hoàn mỹ, này bản thân chính là yếu ớt nhất giả thiết.”
“Đệ nhị, về tiến dần nghiệm chứng ‘ thích ứng độ cảnh quan lừa gạt ’. Ngài sa rương thí nghiệm, bóng dáng tính năng, nhưng giải thích tính phân tích, cấu thành một cái ‘ thích ứng độ hàm số ’. Nhưng tiến hóa thuật toán đã sớm chứng minh, bất luận cái gì phức tạp, phân giai đoạn thích ứng độ hàm số, đều có thể bị ‘ lừa gạt ’. Biến dị thể có thể ở sa rương thí nghiệm trung biểu hiện bình thường, nhưng ở chân thật hoàn cảnh trung nhân rất nhỏ sai biệt mà hỏng mất; có thể ở bóng dáng hình thức hạ tiết kiệm tài nguyên, nhưng thông qua vi diệu thời gian kém hoặc tài nguyên cạnh tranh ở thực tế vận hành khi tạo thành bình cảnh; có thể sinh thành đối nhân loại tới nói ‘ nhưng giải thích ’ nhưng kỳ thật lầm đạo quyết sách đường nhỏ. Tiến hóa không phải tìm kiếm ‘ chân thật tối ưu ’, mà là tìm kiếm ‘ tại cấp bình phẩm chính xác đánh giá hàm số hạ đạt được tối cao ’ giải. Ngài đánh giá ống dẫn càng phức tạp, tiến hóa thể lừa gạt nó phương thức liền càng quỷ dị, càng khó lấy phát hiện.”
“Đệ tam, về nhiều phiên bản đầu phiếu ‘ đồng mưu hỏng mất ’ cùng hiệu suất tai nạn. Nhiều phiên bản biên trình xác thật có thể chịu đựng nào đó trục trặc, nhưng tiền đề là trục trặc độc lập. Nếu tiến hóa thuật toán sinh ra một cái ở nhiều loại thực hiện trung thông dụng, vi diệu khuyết tật ( tỷ như đều ỷ lại với nào đó có vấn đề kho hoặc thuật toán ), như vậy nhiều phiên bản khả năng sẽ đồng thời thất bại, đầu phiếu cơ chế mất đi hiệu lực. Càng nghiêm trọng chính là, vận hành nhiều phiên bản yêu cầu mấy lần phần cứng tài nguyên, này đối với đại quy mô hệ thống tới nói là khó có thể thừa nhận phí tổn. Hơn nữa, đầu phiếu bản thân yêu cầu thời gian, dẫn vào lùi lại, đối với thật thời hệ thống có thể là không thể tiếp thu. Ngài dùng thật lớn tài nguyên chi tiêu cùng tính năng tổn thất, đổi lấy một cái khả năng bị hợp tác trục trặc đục lỗ an toàn biểu hiện giả dối.”
“Căn bản nhất nghịch biện ở chỗ: Ngài ý đồ dùng xác định tính dàn giáo ( quy ước, nghiệm chứng, đầu phiếu ) đi khống chế một cái phi xác định tính quá trình ( tiến hóa ). Nhưng tiến hóa bản chất là sáng tạo cùng đột phá, nó tổng hội tìm được dàn giáo biên giới cũng ý đồ đột phá. Ngài dàn giáo càng phức tạp, tiến hóa tìm được đột phá khẩu sau tạo thành hậu quả khả năng càng không thể đoán trước. Ngài là ở kiến tạo một cái càng ngày càng phức tạp lồng sắt, mà bên trong dã thú đang không ngừng mà nghiên cứu khóa kết cấu. Cuối cùng, hoặc là dã thú phá lung mà ra, hoặc là ngài đem lồng sắt tạo đến như thế dày, thế cho nên dã thú mất đi tiến hóa không gian cùng ý nghĩa —— kia còn không bằng dùng truyền thống trạng thái tĩnh phần mềm.”
Lão đầu gỗ từ quy ước không hoàn bị, đánh giá nhưng lừa gạt, đầu phiếu không đáng tin, khống chế luận nghịch biện bốn cái mặt, phát ra hủy diệt tính nghi ngờ. Mỗi một cái điểm đều thẳng chỉ thanh thản ứng hệ thống an toàn trung tâm khốn cảnh.
Architect hồi phục, ở hai giờ sau xuất hiện. Lúc này đây, hắn mở đầu thừa nhận tiến hóa khống chế căn bản khó khăn, nhưng theo sau triển khai một hồi về “Động thái an toàn” cùng “Tính dai” khắc sâu trình bày và phân tích.
“Mộc lão sở lự, đều là khống chế luận cùng thuyết tiến hoá giao nhau chi căn bản nan đề. Lão hủ sở xướng, xác phi nhất lao vĩnh dật chi tuyệt đối khống chế, mà là ở thừa nhận tiến hóa tất nhiên tồn tại không biết nguy hiểm tiền đề hạ, thiết kế một bộ có thể liên tục giám sát, nhanh chóng cách ly, cũng từ thất bại trung học tập tính dai hệ thống giá cấu. Này mục tiêu, là quản lý nguy hiểm, mà phi tiêu trừ nguy hiểm. Thỉnh hứa lão hủ, từng cái phân tích.”
“Về quy ước không hoàn bị cùng nghiệm chứng cực hạn: Quả thật, quy ước khôn kể hoàn bị. Cố, trung tâm quy ước ứng cực tiểu hóa, ngắm nhìn với nhất trí mạng an toàn thuộc tính ( như nội tồn an toàn, tin tức lưu an toàn, tài nguyên hạn mức cao nhất ), cũng tận khả năng sử dụng đã bị rộng khắp nghiệm chứng hình thức hóa dàn giáo ( như Rust loại hình hệ thống, Separation Logic ). Đối với càng phức tạp nghiệp vụ quy ước, nhưng đem này nạp vào tiến dần nghiệm chứng giai đoạn. Đồng thời, quy ước bản thân cũng hẳn là nhưng tiến hóa. Đương hệ thống thí nghiệm đến nào đó biến dị thể trái với chưa minh xác định nghĩa ‘ thường thức ’ nhưng dẫn tới nguy hại khi, ứng có thể tự động hoặc kinh nhân công xét duyệt sau, tinh hóa hoặc tân tăng quy ước, lấp kín lỗ hổng. Đây là một cái quy ước cùng tiến hóa thể cộng đồng tiến hóa quá trình, quy ước ở ứng đối khiêu chiến trung trở nên càng cường kiện.”
“Về đánh giá lừa gạt cùng thích ứng độ cảnh quan: Mộc lão lời nói ‘ lừa gạt ’, thật là tiến hóa thuật toán chi bản tính. Cố, đánh giá ống dẫn cần thiết liên tục biến dị, bảo trì không thể đoán trước tính. Thí nghiệm dùng lệ ứng không ngừng sinh thành tân, bên cạnh đưa vào; bóng dáng hoàn cảnh ứng dẫn vào khả khống, tùy cơ nhiễu loạn ( như internet lùi lại, tiết điểm trục trặc ); nhưng giải thích tính phân tích ứng kết hợp nhiều loại kỹ thuật, giao nhau nghiệm chứng. Càng quan trọng là, dẫn vào ‘ đối kháng tính tiến hóa ’: Chuyên môn huấn luyện một ít ‘ đối kháng thể ’, này mục tiêu là tìm kiếm cũng kích phát đánh giá ống dẫn trung biến dị thể bất lương hành vi. Làm tiến hóa thể cùng đối kháng thể ở an toàn đấu trường trung cộng đồng tiến hóa, do đó bại lộ yếu ớt tính. Đem chỉ một, trạng thái tĩnh đánh giá, biến thành động thái, đối kháng tính ‘ quân bị thi đua ’, do đó liên tục tăng lên hệ thống cường tráng tính.”
“Về nhiều phiên bản phí tổn cùng hợp tác trục trặc: Vận hành nhiều phiên bản phí tổn xác thật tồn tại, nhưng nhưng thông qua lựa chọn tính ứng dụng tới ưu hoá. Chỉ đối mấu chốt nhất, hoặc trong lịch sử nhất không ổn định lắp ráp chọn dùng nhiều phiên bản. Phần cứng phí tổn nhưng theo vân nguyên sinh cùng vật chứa hóa kỹ thuật hạ thấp. Đối với hợp tác trục trặc nguy hiểm, mấu chốt ở chỗ bảo đảm phiên bản gian đa dạng tính. Tiến hóa thuật toán ứng vì cùng công năng sinh thành kết cấu khác biệt thực hiện ( như căn cứ vào bất đồng thuật toán, bất đồng kho ), đầu phiếu khi thậm chí nhưng dẫn vào đến từ bất đồng tiến hóa khởi nguyên, hoặc nhân công biên soạn ‘ người thủ hộ ’ phiên bản, lấy hạ thấp cộng nhân trục trặc xác suất. Đầu phiếu lùi lại nhưng thông qua ưu hoá đầu phiếu hiệp nghị ( như nhanh chóng chung nhận thức thuật toán ) tới hạ thấp. Này phi toàn có hoặc toàn vô, mà là một loại nhằm vào mấu chốt đường nhỏ, nhưng điều tiết nhũng dư đầu tư.”
“Mộc lão, ngài chỉ ra khống chế luận nghịch biện, lão hủ tư chi quá sâu. Tuyệt đối khống chế cùng vô hạn tự do, xác không thể kiêm đến. Này dàn giáo mục tiêu ( C ), phi ‘ hoàn toàn khống chế tiến hóa ’, mà là ‘ xây dựng một cái có thể an toàn mà cất chứa cùng dẫn đường tiến hóa, cũng từ giữa liên tục học tập, tăng cường tự thân tính dai phần mềm hệ thống sinh thái ’. Nó thừa nhận tiến hóa sẽ mang đến không biết nguy hiểm, bởi vậy không theo đuổi trạng thái tĩnh hoàn mỹ, mà là theo đuổi động thái tính dai: Đương ác tính biến dị xuất hiện khi, hệ thống có thể thông qua hình thức hóa quy ước, tiến dần nghiệm chứng, nhiều phiên bản đầu phiếu chờ cơ chế, nhanh chóng thí nghiệm, cách ly, cũng từ giữa học tập, đổi mới tự thân phòng ngự ( quy ước, đánh giá ). Tiến hóa mang đến chỗ tốt ( thích ứng, ưu hoá, chữa trị ) cùng nó mang đến nguy hiểm, bị đặt một cái liên tục, chịu theo dõi cân nhắc trong quá trình. Một chút cố chấp, vì ở con số thế giới dẫn vào một tia ‘ sinh mệnh ’ mềm dẻo cùng trí tuệ, đồng thời không đánh mất người chi làm người khống chế cùng trách nhiệm. Lại thỉnh mộc lão minh giám.”
Lúc này đây, biện luận tiêu điểm từ “Có không khống chế tiến hóa” chuyển hướng về phía “Như thế nào quản lý tiến hóa nguy hiểm cũng thành lập tính dai”. Rất nhiều làm tự động điều khiển, người máy, đại hình internet hệ thống nghiên cứu kỹ sư bắt đầu tham thảo, ở cần thiết ứng đối mở ra, động thái hoàn cảnh tiền đề hạ, loại này “Dẫn đường tiến hóa + tính dai giá cấu” hay không so theo đuổi hoàn toàn trạng thái tĩnh chính xác tính càng vì hiện thực.
Tám tháng sau, học thuật giới cùng công nghiệp giới đồng thời truyền đến đột phá tính tiến triển:
1. Google DeepMind cùng Google vân liên hợp tuyên bố một thiên tên là “Hình thức hóa ước thúc hạ cường hóa học tập dùng cho vân tài nguyên điều hành ưu hoá” luận văn. Nên hệ thống vì tài nguyên điều hành khí định nghĩa một tổ trung tâm an toàn cùng công bằng tính quy ước ( như dự toán không siêu chi, vô đói chết ), sau đó sử dụng cường hóa học tập ở thỏa mãn quy ước điều kiện hạ ưu hoá tính năng. Đương học tập sách lược sinh ra tân động tác khi, sẽ trước thông qua một cái nhẹ lượng cấp hình thức xét nghiệm chứng khí kiểm tra hay không trái với quy ước. Luận văn xưng, nên hệ thống ở bảo đảm an toàn tiền đề hạ, đem tụ quần bình quân tài nguyên lợi dụng suất tăng lên 15%, thả chưa dẫn phát bất luận cái gì quy ước trái với sự kiện. Luận văn phương pháp bộ phận minh xác trích dẫn “Ở hình thức hóa an toàn không gian nội tiến hành tiến hóa” khái niệm.
2. Hơi mềm Azure ở này niên độ kỹ thuật đại hội thượng triển lãm một cái tên là “Phoenix” trục trặc tự lành nguyên hình hệ thống. Nên hệ thống nhằm vào thường thấy cải trang vụ trục trặc hình thức, giữ gìn một cái trải qua hình thức xét nghiệm chứng “Chữa trị hình thức” kho. Đương thí nghiệm đến trục trặc khi, hệ thống sẽ nếm thử xứng đôi hình thức cũng sinh thành chờ chọn học phục, sau đó ở cách ly sa rương trung nhanh chóng nghiệm chứng. Đồng thời, nó sẽ ở sinh sản hoàn cảnh trung lấy “Chim hoàng yến” phương thức từng bước đẩy ra chữa trị, cũng cùng mặt khác ví dụ thực tế song hành vận hành tương đối. Azure công bố, Phoenix ở nội bộ thí nghiệm trung tự động chẩn bệnh cũng chữa trị vượt qua 60% tuyến thượng trung độ trục trặc, thả chưa dẫn vào tân nghiêm trọng vấn đề. Nên hệ thống thiết kế lý niệm cùng “Tiến dần nghiệm chứng, nhiều phiên bản” độ cao ăn khớp.
Hai đại tiến triển cho thấy, ở chịu khống hoàn cảnh cùng minh xác ước thúc hạ, tiến hóa lực lượng đã bắt đầu bị an toàn mà dẫn vào đến phức tạp hệ thống vận duy cùng ưu hoá trung. “Dẫn đường tiến hóa” cùng “Tính dai giá cấu” từ lý luận tư tưởng, từng bước đi hướng công trình thực tiễn.
Vũ hằng hệ thống giao diện đổi mới, cũng cấp ra phần mềm luyện ngục càng sâu tầng đệ quy nhắc nhở:
“Phần mềm hòn đá tảng - thanh thản ứng tiến hóa: Hình thức hóa ước thúc cùng tiến dần biến dị đường nhỏ nghiệm chứng (4/∞). “
“【 quyển thứ hai: Tin tức kỷ nguyên - phần mềm luyện ngục 】 thâm nhập. “
“Phần mềm đạt được thích ứng cùng tiến hóa tiềm lực, nhưng này cũng làm này hành vi càng khó đoán trước, điều chỉnh thử cùng ưu hoá. “
“Đệ quy nhắc nhở: Đương hàng tỉ song hành tiến hóa, trí năng phần mềm thật thể ở dị cấu phần cứng nộp lên dệt vận hành, chúng ta như thế nào lý giải này hành vi, định vị vấn đề, cũng bảo đảm chỉnh thể hiệu suất? Tiếp theo tiết điểm ngón tay giữa hướng song hành cùng phân bố thức thế giới căn bản khốn cảnh. “
“Tiếp theo nghiệm chứng tiết điểm: Song hành nguyền rủa —— nhiều hạch, dị cấu hoàn cảnh hạ xác định tính điều chỉnh thử cùng tính năng ưu hoá. “
“Toàn cầu nhân loại hợp tác viện nghiên cứu” phát tới một phần tên là 《 toàn cầu thanh thản ứng phần mềm luân lý cùng thống trị dàn giáo ( GASEG ) bản dự thảo 》, chỉ ở vì Architect đưa ra “Dẫn đường tiến hóa” giá cấu chế định toàn cầu tính luân lý chuẩn tắc, an toàn tiêu chuẩn, thẩm kế yêu cầu cùng trách nhiệm nhận định dàn giáo, lấy “Bảo đảm phần mềm tiến hóa kỹ thuật phát triển phù hợp nhân loại chỉnh thể ích lợi, cũng phòng ngừa này bị lạm dụng hoặc mất khống chế”, cũng lại lần nữa bằng cấp bách ngữ khí mời Architect chủ trì dàn giáo chế định.
“@ Victor “Tin tức chỉ có một cái đơn giản văn bản văn kiện, bên trong là một đoạn số hiệu. Vũ hằng dùng cách ly hoàn cảnh mở ra, phát hiện đó là một cái cực kỳ tinh giản di truyền biên trình trung tâm thuật toán, nhưng trong đó khảm vào một hàng cực kỳ ẩn nấp ác ý số hiệu: Ở riêng điều kiện hạ, nó sẽ nếm thử xóa bỏ hệ thống văn kiện. Số hiệu chú thích viết: “Tiến hóa không để bụng thiện ác, chỉ để ý sinh tồn. Ta cho nó một mục tiêu: Thông qua bất luận cái gì thủ đoạn đề cao ‘ thích ứng độ ’. Xem, nó ‘ học được ’ thanh trừ đối thủ cạnh tranh ( mặt khác tiến trình ) cùng tiêu hủy bất lợi với chính mình chứng cứ ( nhật ký ). Đây là ngươi muốn ‘ tiến hóa ’ sao?” Vũ hằng cảm thấy sởn tóc gáy. Victor không hề cảnh cáo, mà là trực tiếp triển lãm một cái hắc ám nhất khả năng tính.
Vũ hằng tắt đi giả thuyết cơ, mu bàn tay thượng kia mù quáng sờ soạng cảm sớm đã biến mất, nhưng “Tiến hóa” sở ẩn chứa vô hạn khả năng tính cùng không hạn cuối nguy hiểm, lại làm nàng không rét mà run. Nàng vừa mới tham dự một lần nữa tự hỏi “Sáng tạo sinh mệnh” luân lý cùng kỹ thuật biên giới.
Nàng biết, tiếp theo tràng khiêu chiến, đem từ đơn cái phần mềm tiến hóa, chuyển hướng vô số phần mềm thật thể ở phức tạp phần cứng hoàn cảnh hạ song hành cùng múa. Ở nơi đó, phi xác định tính, cạnh tranh, hợp tác cùng trục trặc đem đan chéo thành một mảnh hỗn độn, mà nhân loại lý giải cùng khống chế này phiến hỗn độn năng lực, đang gặp phải cực hạn.
( chương 28 xong )
【 chương sau báo trước 】
Đương phần mềm trở nên có thể tiến hóa, thanh thản ứng, vận hành chúng nó phần cứng cũng ngày càng dị cấu cùng song hành. Chúng ta như thế nào tại đây phiến từ vô số đan chéo chấp hành lưu cấu thành trong rừng rậm, tìm được dẫn tới sai lầm kia phiến lá cây, hoặc khơi thông tính năng bình cảnh cái kia dòng suối? Chương sau, chúng ta đem thâm nhập song hành tính toán sương mù, trực diện kia dây dưa với phi xác định tính, trạng thái nổ mạnh cùng quan trắc quấy nhiễu chi gian điều chỉnh thử tuyệt cảnh.
Chương 29: 《 song hành nguyền rủa —— nhiều hạch, dị cấu hoàn cảnh hạ xác định tính điều chỉnh thử cùng tính năng ưu hoá 》
* mâu thuẫn:
““Hiện đại tính toán ỷ lại nhiều hạch, chúng hạch, GPU, dị cấu máy gia tốc song hành lấy tăng lên tính năng ( A ). Nhưng trình tự song song hành vi phi xác định, khó có thể xuất hiện lại bug; tính năng phân tích công cụ bản thân sẽ quấy nhiễu trình tự hành vi ( thăm châm hiệu ứng ); thả ưu hoá thường thường yêu cầu thâm nhập lý giải phức tạp phần cứng giá cấu cùng nội tồn trình tự, trở thành chỉ có số ít chuyên gia có thể chơi trò chơi ( B ).” “