Говорят, что ребенка еще можно воспитывать, пока он лежит поперек кровати. А когда уже вдоль - то уже поздно.
Так и с ИИ. Пока мы расставляем приоритеты. Но и этот ребенок растет. И рано или поздно он будет ставить и изменять приоритеты сам.
У человека эмоции прошиты на биоуровне и воспитанием лишь слегка корректируется этот процесс.
А в современном мире уже сейчас роботы производят роботов (пока еще под общим руководством человека, но это только пока).
Так что программные приоритеты - это что пальчиком погрозить коршуну, чтобы он куочек в деревне не трогал.