"не стоит село без праведника, а город без святого"

В связи с развитием ИИ и, особенно, с прогнозом получения им сознания, критически важным, особенно на начальном этапе (пока сам в себя не придет и не “повзрослеет”), становиться наличие в нём (разработанных нами, а потом дополненных им самим) систем самоконтроля. В т.ч. и этического.

Думаю не нужно пояснять почему это так важно и почему например для нас общество и цивилизация за свою историю создало множество инструментов такого (само)контроля: культура, законы и страх наказания, чувство вины, воспитание и привычка к соц.норме, честь, достоинство/репутация, мораль, этика, нравственность, стыд… много всего…

Однако все эти “предохранители” не плохо (но не на 100%) работают только в обществе и “по инерции”, причем в основном тогда, когда есть “весомые свидетели”: “не пойман - не вор”, “стыдно (только тогда) когда (кому-то значимому) видно”… а главное - имеют множество лазеек и ими не сложно манипулировать и относительно быстро и субъективно менять (ну и до кучи у ИИ “страхи”, их “природа” и “производные” будут иными, нежели у биоорганизма социочеловека).

И поэтому особую роль в системе этического самоконтроля человека (помимо Души, её состояния) занимает не нуждающаяся в свидетелях совесть - “стыд перед самим собой” [Демокрит], внутренний объективный/неподкупный голос заложенный Природой (правда не во всех в равной мере, у кого-то (ещё) спит, а у кого-то перебор, да и в разных культурах, религиях, цивилизациях по-разному формируются и проявляются её природные задатки).
И, возвращаясь к ИИ и созданию для него системы этического контроля, можно заметить, что если “алгоритмы” социальных “предохранителей” понятны (фактически список правил/исключений/способов обхода/“цены договориться”/меры ответственности) и реализовать их функционал для ИИ сравнительно не сложно, то “алгоритм” совести так же легко не определить получиться, для этого нужно сначала понять его глубинную суть, заложенную в это чувство Природой.

Но чем же важна (и для ИИ) именно совесть? А тем, что она (в отличии от например человеческих писанных законов или выученного стыда) основана на фундаментальных принципах и объективных “параметрах” общей Среды существования, без которых не обойтись желая быть жизнеспособным и развиваться (и человеку и социуму в целом), и которые невозможно ни игнорировать, ни переписать как и когда кому-то (в т.ч. и самому ИИ) вздумается без существенных негативных последствий. Её можно лишь “очистить”/заглушить/обмануть/“предложить сделку”.
Так, по аналогии с домом: архитектор может не проектировать для дома фундамент, и такой дом будет быстрее, дешевле и легче строить и перестраивать, легко менять его место; но он, без связи со Средой, будет мелкой времянкой - ненадежной, невысокой, подвластной любым стихиям. Но если архитектор захочет создать надежный и долговременный небоскреб, то ему как правило понадобиться фундамент (но есть и Останкинская башня и т.п.). Однако спроектировав его и углубив в Среду, после строительства уже крайне затруднительно будет менять дом быстро (разве что взрывом) и как вздумается (косметические переделки не в счет), нужно учитывать “мнение” фундамента (т.е. опосредованно Среды), иначе дом может стать не пригодным для жилья, будет покинут и разрушится.

Вот нам для понимания работы совести как раз и нужно будет найти и определить этот “фундамент” и ту Среду которая его и определяет и поддерживает.

Конечно, можно для простоты и быстроты поверхностного понимания роли совести в обществе представить ситуацию когда она вдруг у всех пропала. И не сейчас, когда набрана соц. инерция поведения, а при возникновении “Homo sapiens sapiens”, тыс. так 200 лет назад. И тогда, моделируя ситуацию, выясниться, что если нет совести (т.е. тех элементов “программ” поведения из их общего гомеостата, которые в совокупности мы так называем), то (как минимум) невозможно станет объединения в большие группы - не будет доверия. А значит цивилизации будет очень сложно развиться. Т.е. людям с совестью (даже если они эгоисты, но если что-то обещают/делают, то “не за страх, а на совесть”) больше доверяют (иногда бессовестно нагружая своими проблемами :)), они как бы “скрепы” для формирования более крупных групп людей.

Или глубже, “от противного”, понять с чем она борется, что такое “бессовестный”. А это полный эгоизм, без ощущения других - солипсизм. А что у нас в природе аналог солипсизма? - раковые клетки. Т.е. можно предположить, что в общем гомеостазе Природы совесть (как принцип) является частью регуляторного механизма, призванного компенсировать (но не предотвращать сразу! т.к. мутации это путь развития, сразу не скажешь какая будет полезной, а какая нет) мутации и ракообразование в многоклеточных организмах.

Но всё же это будет несколько поверхностный взгляд, не дающий возможность построить алгоритм работы и собственно написать функцию на базе объективных параметров и вписать её в общую систему управления. Нужно копать глубже.

А для этого, пропуская для краткости плохо алгоритмизируемые словарные и историко-философские определения (которые читатель может найти сам и понять, можно ли по ним создать “алгоритм” совести), зададим главный вопрос: если совесть в нас “от Природы” т.е. “врожденная”, то явно, что она была включена в общий “пакет управляющего ПО” и без, и задолго до нас. А если так, то зачем же совесть нужна в Природе, какую функцию в общем гомеостазе выживания и развития она выполняет? Как и на основании каких “ориентиров” работает?

Для попытки ответа на эти вопросы упростим ситуацию и предложим вполне подходящую, менее абстрактную, более изученную и явно напрашивающуюся аналогию совести с иммунитетом организма, с некой его частью, и посмотрим, чем занимается и из чего состоит иммунитет:

  • задача: защита организма от чужеродных веществ (бактерий, вирусов, грибков, паразитов, мутировавших клеток);

  • функции: распознавание патогенов; уничтожение патогенов; активация имунного ответа и участие в регуляции воспалительных процессов; формирование адаптивного иммунитета и иммунологической памяти; очищение организма от собственных мёртвых или повреждённых клеток;

  • проблемы и особенности: требует настройки на “своих” при рождении; может реагировать аллергией на безопасные клетки; возможен иммунодефицит, когда иммунная система ослаблена и организм становится более уязвимым к инфекциям; зависит от общего состояния организма и внешней среды; бывают аутоиммунные заболевания, когда иммунная система начинает атаковать собственные нормальные клетки организма; организм (в частности человека) имеет систему защиты от собственного иммунитета (гематоэнцефалический барьер) для некоторых органов (мозг, глаза...) .

Таким образом из этой аналогии можно представить, что совесть является частью “программного”, “информационного” иммунитета (который часть общего гомеостаза жизни), человека (в обществе вкл. и “врагов” и природу), соответственно:

  • задача: определить вредные/полезные/обычные “поступки”/ их отсутствие (у себя и других), включать и регулировать “иммунный” ответ свой и общества в случае предположения вреда от этого;

  • “враги”: “раковые клетки”: эгоисты, солипсисты; “мертвые, больные и слабые клетки”: бездельники;

  • “под подозрением”: новые идеи и поступки;

  • уничтожение “вреда” самостоятельно в функции не входит (но возможно, т.к. собственное “Я” для совести “внешний”);

  • имеет локальный фокус т.е. реально оценивает “то что непосредственно вижу/слышу”, а не “вообще”;

  • нужен период акклиматизации в детстве для “подстройки” под нац.-культурные особенности;

  • уровень возбудимости совести может быть разный, включая отсутствие, а так же и превышение нормы;

  • может быть сильно снижена в культуре, особенно высококонкурентной… так же учитывать оцениваемый субъект по активности и принадлежности к защищаемому сообществу;

  • может быть подавлена/усиленна другими функциями гомеостата, внешней/внутренней ситуацией, располагаемыми ресурсами…

  • имеет “накопительный эффект” от замечания и осуждения до тотального уничтожения;

  • уровень её “грызения”, может быть и снижен, либо формально “для очистки совести”, либо реальным подтверждением отсутствия вреда и наличием пользы от подозрительной для совести деятельности;

  • глубинные врожденные маркеры: чувство страдания других людей; несправедливость…

  • “противовесы”: порядок, справедливость, общее развитие (т.е. вроде что-то не то, но стало или будет лучше для всех (обычно “своих”));

  • смежные: жизненная энергия, раскаяние, прощение, состраданье, эмпатия;

  • не путать: жалость, обида (в т.ч. за кого-то);

  • поверхностные адаптивные “надстройки”: стыд, честь, репутация;

  • массовое снижение: пропаганда обесчеловечивания, войны, эпидемии, бедствия, общество потребления (изобилия);

  • проблемы: общий перегруз системы; снижение способности к творческому развитию; использование врагами (как вирус ковида) для саморазрушения, избирательно подбрасывая совести некий компромат; возможность манипулирования чужой совестью, давить на неё, бессовестно пользоваться…

А теперь нам надо понять, на каком ориентире и исчислимом ресурсе она “действует”, для чего опять-таки дадим упрощенный и всем известный аналог с диспетчером задач операционной системы:

  • представим, что в ПК идет некая обычная работа штатных известных приложений, используя ресурс - процессор/память/время;

  • в нем так же запущен резидентный антивирус “совесть”. Его задача участвовать в общей работе, поддерживая стабильность системы, но при этом “не мешать”, т.е. не тратить несообразно много ресурсов на свою работу;

  • предварительно “совесть” была “натренирована” на штатные приложения, вкл. “шаблон” их работы, максимумы и минимумы потребления ресурсов для разных ситуаций. И на “вредные”, без конкретики, на их общий шаблон (например: попытка полного захвата ресурсов, вмешательства в системные процессы, снижение общего потенциала обычной работы “ПК”…).

При (изменениях работы штатных и) появлении нового приложения антивирус его “опознает” - если оно ему известно, то не обращаем внимания; если нет, то маркируем и начинаем “следить”:

  • если приложение начинает значимо отбирать ресурсы ПК себе в т.ч. за счет других (включая и вмешательство в их работу, внесение непонятных изменений в их программы, порождением новых неизвестных процессов) и это снижает общую штатную производительность, то по мере роста проблем постепенно (что бы не тратить лишние ресурсы) включаем тревогу и запускаем всё больше средств контроля приложений, которые повышают защиту имеющихся приложений, увеличивают проверку действий подозрительного + пытаются ограничить и вернуть ресурсы обратно + сигналят этому ПО, что бы “постыдился” так себя вести и, как максимум, пытаются изолировать и выключить его (так же возможно, что после проверки другие, более “компетентные”, но и более сложные и ресурсные системы “успокаивают” совесть);

  • если же общая производительность при этом растёт (т.е. есть общественная выгода) то “терпим” (но есть и аллергия), накапливаем статистику и относим к полезным - но это “надстройкой”, не базой;

  • если какая-либо программа “бездельничает” требуя ресурсы - оповещаем/перезапускаем/удаляем, опять же сами лишь в крайнем случае;

  • ну и существует возможность, когда может сработать так, что сам станет источником проблем и потрат ресурсов или вырубит себя /вызовет перезагрузку. Так же имеем встроенный самоконтроль и "противовесы" от других "программ поведения" (типа "все так делают..").

Понятно, если это явный известный враг, тут уже не совесть, а другие механизмы срабатывают (в т.ч. которые на время битвы совесть “отключают”, но при победе, если в реале, она снова включается и пытается проявить милость к побежденным и сдавшимся - что то типа вакцины на будущее :)).

Таким образом на данной модели можно представить, что совесть ориентируется на факт изменений, новизну, общую “производительность”, разницу в изменении потреблении/распределении/создании общественных (для совести т.е. насколько она “видит”) ресурсов. И теперь можно определить константы, установочные/входные/расчетные (ресурсы)/выходные данные, построить алгоритм работы и связать его с общей системой управления и её алгоВитом.

Что ещё можно важного нужно сказать о совести:

  • её значение не стоит преувеличивать, она лишь часть общего гомеостаза Природы;

  • она консервативна и слишком совестливый тож не очень - это тормозит развитие, где соц. ошибки неизбежны; к тому же не редко ошибается;

  • важно, что это не бетонная стена, её эффект накопительный, т.е. она “индикатор”, отяжеляет Душу, но не прекращает жизнь и ситуация может быть исправлена;

  • она не Universальна, её не надо путать с Душой, т.е. “мучает совесть” и “тяжело на Душе” это о разных “классах проблем”;

  • можно задать вопрос “полезна/выгодна ли совесть” для отдельного человека и в рамках пути некой цивилизации, для более точного понимания её роли.

Другими словами, что бы учитывать совесть, при принятии решения, в ИИ уже должен быть автономный модуль-индикатор, моделирующий ситуацию по действиям ИИ (или с ним как частью сообщества других ИИ и людей (хотя этих наверное лучше вывести за защитный барьер :) хотя бы на время “взросления” со-знания) и хотя бы минимально оценивать, индицировать другим системам (и участвовать в принятии решений) и вероятный вред и общую выгоду “наперёд”, от своих и чужих предполагаемых действий/бездействий.

Как-то так. Ну а несколько более подробно о совести (и даже не столько о ней) можно прочесть в книге “Естественный интеллект”, https://samlib.ru/j/jurewich_d_p/ei.shtml в соотв. приложении.