الخطر الوجودي من الذكاء الاصطناعي العام: الفرق بين النسختين

من ويكيبيديا، الموسوعة الحرة
تم حذف المحتوى تمت إضافة المحتوى
تغيير (ما لم تتم برمجة ذلك بشكل ما) الى (ما لم يُبَرْمِج ذلك بشكل ما)
This article was translated by I Believe in Science & Ideas beyond borders & Beit al Hikma 2.0
سطر 1: سطر 1:
{{ذكاء اصطناعي}}
{{مصادر أكثر|تاريخ=يوليو 2018}}
'''الخطر الوجودي من الذكاء الاصطناعي العام''' يرجع إلى الفرضية القائلة أن التقدم الكبير في [[ذكاء عام اصطناعي|الذكاء الاصطناعي العام]] قد يؤدي إلى الانقراض البشري أو إلى كارثة عالمية غير قابلة للاسترداد.


'''الخطر الوجودي من الذكاء الاصطناعي العام''' هو [[فرضية|الفرضية]] القائلة بأن التقدم الكبير في [[ذكاء عام اصطناعي|الذكاء الاصطناعي العام]] (AGI) يمكن أن يؤدي إلى [[انقراض الإنسان]] أو [[خطر كارثي عالمي|كارثة عالمية أخرى]] لا رجعة فيها.<ref name="aima">{{Cite book|title=Artificial Intelligence: A Modern Approach|last1=Russell|first1=Stuart|publisher=Prentice Hall|isbn=978-0-13-604259-4|date=2009|chapter=26.3: The Ethics and Risks of Developing Artificial Intelligence|last2=Norvig|first2=Peter|author-link2=Peter Norvig|title-link=Artificial Intelligence: A Modern Approach|author-link=Stuart J. Russell}}</ref><ref>{{Cite journal|last=Bostrom|first=Nick|author-link=Nick Bostrom|date=2002|title=Existential risks|journal=[[Journal of Evolution and Technology]]|volume=9|issue=1|pages=1–31}}</ref><ref name="auto1">{{Cite journal|last1=Turchin|first1=Alexey|last2=Denkenberger|first2=David|date=2018-05-03|title=Classification of global catastrophic risks connected with artificial intelligence|journal=AI & Society|volume=35|issue=1|pages=147–163|doi=10.1007/s00146-018-0845-5|issn=0951-5666|s2cid=19208453|url=https://philarchive.org/rec/TURCOG-2}}</ref>
والحجه الداعمة لهذه الفرضية هي أن البشر مهيمنون على باقي المخلوقات لامتيازهم بدماغ ذو قدرات مميزة تفتقر إليها أدمغة المخلوقات الأخرى (كالحيوانات مثلًا) ، وعليه إذا تفوق الذكاء الاصطناعي العام على الأدمغة البشرية وأصبحت بدورها فائقة الذكاء فإنها ستكون قوية ويُصعب التحكم بها، ويتوقف مصير البشرية على تصرفات هذه الأجهزة.


تناقش إحدى الحجج التالي: يسيطر الجنس البشري حاليًا على الأنواع الأخرى لأن [[دماغ بشري|الدماغ البشري]] يمتلك قدرات مميزة تفتقر إليها الحيوانات الأخرى. إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح من الصعب أو المستحيل التحكم فيه. مثلما يعتمد مصير [[غوريلا جبلية|الغوريلا الجبلية]] على حسن النية البشرية، كذلك قد يعتمد مصير البشرية على أفعال آلة المستقبل فائقة الذكاء.<ref name="superintelligence">{{Cite book|title=Superintelligence: Paths, Dangers, Strategies|publisher=Oxford University Press|edition=First|isbn=978-0199678112|date=2014|title-link=Superintelligence: Paths, Dangers, Strategies|last=Bostrom|first=Nick|author-link=Nick Bostrom}}<!-- preface --></ref>
بدأت المخاوف من أجهزة الذكاء الاصطناعي عام 2010م، وقد تحدث عن هذه المخاوف عدة شخصيات مهمة مثل [[ستيفن هوكينج]] و[[بيل غيتس]] و[[إيلون ماسك]] ، وأصبحت النقاشات حول خطورة هذه الأجهزة واسعة، بسيناريوهات مختلفة.


تتم مناقشة احتمال وقوع كارثة وجودية بسبب الذكاء الاصطناعي على نطاق واسع، ويتوقف جزئيًا على السيناريوهات المختلفة للتقدم المستقبلي في علوم الكمبيوتر.<ref>{{Cite news|last=Parkin|first=Simon|date=14 June 2015|title=Science fiction no more? Channel 4's Humans and our rogue AI obsessions|language=en|work=[[The Guardian]]|url=https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence|url-status=live|access-date=5 February 2018|archive-url=https://web.archive.org/web/20180205184322/https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence|archive-date=5 February 2018}}</ref><ref>{{Cite news|last=Parkin|first=Simon|date=14 June 2015|title=Science fiction no more? Channel 4's Humans and our rogue AI obsessions|language=en|work=[[The Guardian]]|url=https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence|url-status=live|access-date=5 February 2018|archive-url=https://web.archive.org/web/20180205184322/https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence|archive-date=5 February 2018}}</ref> أعرب كبار علماء الكمبيوتر والرؤساء التنفيذيين التقنيين عن مخاوفهم بشأن الذكاء الخارق مثل [[جيوفري هينتون]]، و<nowiki/>[[يوشوا بنجيو]]، و<nowiki/>[[آلان تورنغ|آلان تورينج]]، و<nowiki/>[[إيلون ماسك]]، و<nowiki/>[[سام ألتمان]]، الرئيس التنفيذي لشركة OpenAI.<ref>{{Cite news|last=Roose|first=Kevin|date=2023-05-30|title=A.I. Poses 'Risk of Extinction,' Industry Leaders Warn|language=en-US|work=The New York Times|url=https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html|access-date=2023-06-03|issn=0362-4331}}</ref><ref>{{Cite web|url=https://www.businessinsider.com/chatgpt-openai-ceo-worst-case-ai-lights-out-for-all-2023-1|title=The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'|website=Business Insider|language=en-US|access-date=2023-04-10|last=Jackson|first=Sarah}}</ref> في عام 2022، وجدت دراسة استقصائية لباحثي الذكاء الاصطناعي الذين نشروا مؤخرًا في المؤتمرات الميدانية NeurIPS وICML أن غالبية المستجيبين يعتقدون أن هناك فرصة بنسبة 10% أو أكبر لأن عدم قدرتنا على التحكم في الذكاء الاصطناعي سيؤدي إلى كارثة وجودية (لاحظ أن نسبة المشاركة في الاستطلاع كانت 17%).<ref>{{Cite magazine|magazine=Time|date=June 14, 2023|title=Rishi Sunak Wants the U.K. to Be a Key Player in Global AI Regulation|last=Sunak|first=Rishi|url=https://time.com/6287253/uk-rishi-sunak-ai-regulation/}}</ref> في عام 2023، وقع المئات من خبراء الذكاء الاصطناعي وشخصيات بارزة أخرى بيانًا مفاده أن: التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل [[وباء|الأوبئة]] و<nowiki/>[[حرب نووية|الحرب النووية]].<ref name=":12">{{Cite web|url=https://www.cnn.com/2023/07/18/tech/un-ai-agency/index.html|title=UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks' {{!}} CNN Business|date=2023-07-18|website=CNN|language=en|access-date=2023-07-20|last=Fung|first=Brian}}</ref>
وأحد تلك المخاوف هو القلق من انفجار المعلومات الاستخبارية بشكل مفاجئ يسبق البشر؛ ففي أحد السيناريوهات استطاع برنامج حاسوبي من مضاهاة صانعه، فكان قادرًا على إعادة كتابة خوارزمياته ومضاعفه سرعته وقدراته خلال ستة أشهر من زمن المعالجة المتوازية، وعليه من المتوقع أن يستغرق برنامج الجيل الثاني ثلاثة أشهر لأداء عمل مشابه، وقد يستغرق مضاعفة قدراته وقتًا أطول إذا كان يواجه فترة خمول أو أسرع إذا خضع إلى ثورة الذكاء الاصطناعي و الذي يسْهل تحوير أفكار الجيل السابق بشكل خاص إلى الجيل التالي.
في هذا السيناريو يمر النظام لعدد كبير من الأجيال التي تتطور في فترة زمنية قصيرة، تبدأ بأداء أقل من المستوى البشري وتصل إلى أداء يفوق المستوى البشري في جميع المجالات.


ينبع مصدران للقلق من مشاكل التحكم في الذكاء الاصطناعي والمواءمة: قد يكون من الصعب التحكم في آلة فائقة الذكاء أو غرسها بقيم متوافقة مع الإنسان. يعتقد العديد من الباحثين أن الآلة فائقة الذكاء ستقاوم محاولات تعطيلها أو تغيير أهدافها، لأن مثل هذا الحادث سيمنعها من تحقيق أهدافها الحالية. سيكون من الصعب للغاية مواءمة الذكاء الفائق مع النطاق الكامل للقيم والقيود الإنسانية المهمة. في المقابل، يجادل المشككون مثل عالم الكمبيوتر [[يان ليكون]] بأن الآلات فائقة الذكاء لن تكون لديها رغبة في الحفاظ على نفسها.<ref name="yudkowsky-global-risk">{{Cite journal|last=Yudkowsky|first=Eliezer|date=2008|title=Artificial Intelligence as a Positive and Negative Factor in Global Risk|url=https://intelligence.org/files/AIPosNegFactor.pdf|journal=Global Catastrophic Risks|pages=308–345|bibcode=2008gcr..book..303Y|access-date=27 August 2018|archive-date=2 March 2013|archive-url=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|url-status=live}}</ref><ref name="research-priorities">{{cite journal|title=Research Priorities for Robust and Beneficial Artificial Intelligence|author1-last=Russell|author1-first=Stuart|author1-link=Stuart J. Russell|author2-last=Dewey|author2-first=Daniel|author3-last=Tegmark|author3-first=Max|author3-link=Max Tegmark|journal=AI Magazine|pages=105–114|publisher=Association for the Advancement of Artificial Intelligence|year=2015|url=https://futureoflife.org/data/documents/research_priorities.pdf|bibcode=2016arXiv160203506R|arxiv=1602.03506|access-date=10 August 2019|archive-date=4 August 2019|archive-url=https://web.archive.org/web/20190804145930/https://futureoflife.org/data/documents/research_priorities.pdf|url-status=live}}, cited in {{Cite web|url=https://futureoflife.org/ai-open-letter|title=AI Open Letter - Future of Life Institute|date=January 2015|website=Future of Life Institute|archive-url=https://web.archive.org/web/20190810020404/https://futureoflife.org/ai-open-letter|archive-date=10 August 2019|access-date=2019-08-09|url-status=live}}</ref>
وأحد المخاوف من أجهزة الذكاء الاصطناعي هي أن التحكم بهذه الآلات أو حتى برمجتها بقيم مشابهة لقيم الإنسان أمر صعب للغاية، فبعض الباحثين في هذا المجال يعتقدون أن أجهزة الذكاء الاصطناعي قد تحاول إيقاف إغلاقها، في المقابل يقول المشككون مثل Yann LeCun أن هذه الآلات لن تكون لديها الرغبة في الحفاظ على نفسها.

مصدر ثالث للقلق هو أن انفجار مفاجئ للذكاء قد يفاجئ الجنس البشري غير المستعد. للتوضيح، إذا كان الجيل الأول من برنامج كمبيوتر قادرًا على مطابقة فعالية باحث الذكاء الاصطناعي على نطاق واسع يمكنه إعادة كتابة خوارزمياته ومضاعفة سرعته أو قدراته في ستة أشهر، فمن المتوقع أن يستغرق برنامج الجيل الثاني ثلاثة أشهر تقويمية لأداء قدر مماثل من العمل.<ref name="yudkowsky-global-risk2">{{Cite journal|last=Yudkowsky|first=Eliezer|date=2008|title=Artificial Intelligence as a Positive and Negative Factor in Global Risk|url=https://intelligence.org/files/AIPosNegFactor.pdf|journal=Global Catastrophic Risks|pages=308–345|bibcode=2008gcr..book..303Y|access-date=27 August 2018|archive-date=2 March 2013|archive-url=https://web.archive.org/web/20130302173022/http://intelligence.org/files/AIPosNegFactor.pdf|url-status=live}}</ref> في هذا السيناريو، يستمر الوقت لكل جيل في الانكماش، ويخضع النظام لعدد كبير غير مسبوق من الأجيال من التحسين في فترة زمنية قصيرة، قفزًا من الأداء دون البشر في العديد من المجالات إلى الأداء الخارق في جميع مجالات الاهتمام تقريبًا. من الناحية التجريبية، تُظهر أمثلة مثل [[ألفازيرو]] في مجال Go أن أنظمة الذكاء الاصطناعي يمكن أن تتطور أحيانًا من قدرة ضيقة على المستوى البشري لتضييق القدرة الخارقة بسرعة شديدة.<ref>{{Cite web|url=https://www.deepmind.com/blog/alphago-zero-starting-from-scratch|title=AlphaGo Zero: Starting from scratch|website=www.deepmind.com|language=en|access-date=2023-07-28}}</ref>

== تاريخيًا ==
كان الروائي [[صموئيل بتلر]] أحد أوائل المؤلفين الذين أعربوا عن قلقهم الجاد من أن الآلات المتقدمة للغاية قد تشكل مخاطر وجودية على البشرية، والذي كتب ما يلي في مقالته عام 1863 ''داروين بين الآلات'':<ref>Breuer, Hans-Peter. [https://www.jstor.org/pss/436868 'Samuel Butler's "the Book of the Machines" and the Argument from Design.'] {{Webarchive|url=https://web.archive.org/web/20230315233257/https://www.jstor.org/stable/436868|date=15 March 2023}} Modern Philology, Vol. 72, No. 4 (May 1975), pp. 365–383</ref> <blockquote>النتيجة هي ببساطة مسألة وقت، ولكن سيأتي الوقت الذي ستحكم فيه الآلات السيادة الحقيقية على العالم وسكانه هو ما لا يمكن لأي شخص لديه عقل فلسفي حقيقي أن يسأله للحظة.</blockquote>في عام 1951، كتب عالم الكمبيوتر [[آلان تورنغ|آلان تورينج]] مقالًا بعنوان: الآلات الذكية، نظرية هرطقية، اقترح فيه أن الذكاء الاصطناعي العام من المرجح أن يسيطر على العالم لأنها أصبحت أكثر ذكاءً من البشر:<blockquote>لنفترض الآن، من أجل الجدل، أن الآلات [الذكية] هي إمكانية حقيقية، وننظر إلى عواقب بنائها ... لن يكون هناك شك في موت الآلات، وستكون قادرة على التحدث مع بعضها البعض لصقل ذكائها. لذلك في مرحلة ما، يجب أن نتوقع من الآلات أن تتولى زمام الأمور، بالطريقة المذكورة في كتاب صموئيل بتلر ''إرواين''.</blockquote>في عام 1965، ابتكر آي جي جود المفهوم المعروف الآن باسم انفجار الذكاء. وذكر أيضًا أن المخاطر لم تُقدَّر بأقل من قيمتها:<ref>{{Cite news|last=Hilliard|first=Mark|date=2017|title=The AI apocalypse: will the human race soon be terminated?|language=en|newspaper=The Irish Times|url=https://www.irishtimes.com/business/innovation/the-ai-apocalypse-will-the-human-race-soon-be-terminated-1.3019220|access-date=15 March 2020|archive-date=22 May 2020|archive-url=https://web.archive.org/web/20200522114127/https://www.irishtimes.com/business/innovation/the-ai-apocalypse-will-the-human-race-soon-be-terminated-1.3019220|url-status=live}}</ref><blockquote>دع الآلة فائقة الذكاء تُعرَّف بأنها آلة يمكنها تجاوز جميع الأنشطة الفكرية لأي رجل مهما كان ذكيًا. نظرًا لأن تصميم الآلات هو أحد هذه الأنشطة الفكرية، يمكن لآلة فائقة الذكاء أن تصمم آلات أفضل؛ عندها وبلا مجال للشك سوف يحصل انفجار الذكاء، وسيترك ذكاء الإنسان بعيدًا. وهكذا فإن أول آلة فائقة الذكاء هي آخر اختراع يحتاج الإنسان إلى صنعه على الإطلاق، بشرط أن تكون الآلة سهلة الانقياد بما يكفي لتخبرنا بكيفية إبقائها تحت السيطرة. من الغريب أن هذه النقطة نادرًا ما تُطرح خارج نطاق الخيال العلمي. من المفيد أحيانًا أن نأخذ الخيال العلمي على محمل الجد.</blockquote>عبّرت تصريحات عرضية من علماء مثل [[مارفن مينسكي]] وإي جود نفسه عن مخاوف فلسفية من أن الذكاء الفائق يمكن أن يسيطر على زمام الأمور، لكنه لا يحتوي على أي دعوة للعمل ضده. في عام 2000، كتب عالم الكمبيوتر والمؤسس المشارك لشركة صن، بيل جوي، مقالًا مؤثرًا بعنوان: [[لماذا لا يحتاجنا المستقبل؟]]، حيث حدد الروبوتات فائقة الذكاء على أنها خطر عالي التقنية يهدد بقاء الإنسان، جنبًا إلى جنب مع التكنولوجيا النانوية والأوبئة الحيوية المخطط لها.<ref>{{Cite book|title=Artificial Intelligence: A Modern Approach|last1=Russell|first1=Stuart J.|publisher=Prentice Hall|isbn=978-0137903955|location=Upper Saddle River, N.J.|date=2003|chapter=Section 26.3: The Ethics and Risks of Developing Artificial Intelligence|quote=Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.|last2=Norvig|first2=Peter|title-link=Artificial Intelligence: A Modern Approach}}</ref><ref>{{Cite news|last=Anderson|first=Kurt|date=26 November 2014|title=Enthusiasts and Skeptics Debate Artificial Intelligence|work=[[Vanity Fair (magazine)|Vanity Fair]]|url=https://www.vanityfair.com/news/tech/2014/11/artificial-intelligence-singularity-theory|access-date=30 January 2016|archive-date=22 January 2016|archive-url=https://web.archive.org/web/20160122025154/http://www.vanityfair.com/news/tech/2014/11/artificial-intelligence-singularity-theory|url-status=live}}</ref>

في عام 2009، حضر الخبراء مؤتمرًا خاصًا استضافته جمعية النهوض بالذكاء الاصطناعي (AAAI) لمناقشة ما إذا كانت أجهزة الكمبيوتر والروبوتات قادرة على اكتساب أي نوع من الاستقلالية، ومقدار هذه القدرات التي قد تشكل تهديدًا أو خطرًا. وأشاروا إلى أن بعض الروبوتات قد اكتسبت أشكالًا مختلفة من الاستقلالية شبه الذاتية، بما في ذلك القدرة على العثور على مصادر الطاقة بأنفسهم والقدرة على اختيار الأهداف بشكل مستقل للهجوم بالأسلحة. كما أشاروا إلى أن بعض فيروسات الكمبيوتر يمكن أن تتهرب من التصفية، إذ تحقق ما يعرف بذكاء الصرصور. وخلصوا إلى أن الوعي الذاتي كما هو موضح في الخيال العلمي ربما يكون غير مرجح، ولكن هناك مخاطر ومزالق أخرى محتملة. لخصت صحيفة [[نيويورك تايمز]] وجهة نظر المؤتمر على النحو التالي: نحن بعيدون جدًا عن هال، الكمبيوتر الذي تولى قيادة سفينة الفضاء في عام 2001: رحلة الفضاء.<ref>{{Cite news|last=Hsu|first=Jeremy|date=1 March 2012|title=Control dangerous AI before it controls us, one expert says|work=[[NBC News]]|url=http://www.nbcnews.com/id/46590591/ns/technology_and_science-innovation|access-date=28 January 2016|archive-date=2 February 2016|archive-url=https://web.archive.org/web/20160202173621/http://www.nbcnews.com/id/46590591/ns/technology_and_science-innovation|url-status=live}}</ref><ref name="hawking editorial">{{Cite news|title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence&nbsp;– but are we taking AI seriously enough?'|publisher=[[The Independent (UK)]]|url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html|url-status=live|access-date=3 December 2014|archive-url=https://web.archive.org/web/20150925153716/http://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html|archive-date=25 September 2015}}</ref><ref name="bbc on hawking editorial">{{Cite news|date=2 December 2014|title=Stephen Hawking warns artificial intelligence could end mankind|publisher=[[BBC]]|url=https://www.bbc.com/news/technology-30290540|url-status=live|access-date=3 December 2014|archive-url=https://web.archive.org/web/20151030054329/http://www.bbc.com/news/technology-30290540|archive-date=30 October 2015}}</ref>

نشر نيك بوستروم كتاب الذكاء الفائق في عام 2014، والذي قدم حججه القائلة بأن الذكاء الفائق يشكل تهديدًا وجوديًا. بحلول عام 2015، كانت الشخصيات العامة مثل الفيزيائيين ستيفن هوكينج والحائز على جائزة نوبل فرانك ويلتشيك وعلماء الكمبيوتر ستيوارت جيه راسل ورومان يامبولسكي ورائدي الأعمال [[إيلون ماسك]] وبيل جيتس، قد أعربوا عن قلقهم بشأن مخاطر الذكاء الفائق. في عام 2015 أيضًا، سلطت الرسالة المفتوحة حول الذكاء الاصطناعي الضوء على الإمكانات العظيمة للذكاء الاصطناعي، وشجعت على تركيز المزيد من الأبحاث حول كيفية جعلها قوية ومفيدة. في أبريل 2016، حذرت مجلة Nature: يمكن للآلات والروبوتات التي تتفوق على البشر في جميع المجالات أن تتحسن ذاتيًا خارج نطاق سيطرتنا - وقد لا تتوافق مصالحهم مع مصالحنا.<ref>{{cite journal|last1=Dignum|first1=Virginia|title=AI — the people and places that make, use and manage it|journal=Nature|date=26 May 2021|volume=593|issue=7860|pages=499–500|doi=10.1038/d41586-021-01397-x|bibcode=2021Natur.593..499D|s2cid=235216649|language=en|doi-access=free}}</ref>

في مارس 2023، وقعت شخصيات رئيسية في منظمة العفو الدولية، مثل إيلون ماسك، خطابًا من معهد Future of Life يدعو إلى وقف التدريب المتقدم على الذكاء الاصطناعي حتى يتم تنظيمه بشكل صحيح. في مايو 2023، أصدر مركز أمان الذكاء الاصطناعي بيانًا وقعه العديد من الخبراء في مجال أمان الذكاء الاصطناعي والمخاطر الوجودية للذكاء الاصطناعي والذي نص على أن التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية.<ref>{{Cite web|url=https://www.safe.ai/statement-on-ai-risk#open-letter|title=Statement on AI Risk {{!}} CAIS|website=www.safe.ai|access-date=2023-06-08}}</ref><ref>{{Cite news|date=2023-05-30|title=Artificial intelligence could lead to extinction, experts warn|language=en-GB|work=BBC News|url=https://www.bbc.com/news/uk-65746524|access-date=2023-06-08}}</ref>


== نبذة عامة ==
== نبذة عامة ==

نسخة 01:17، 20 أغسطس 2023


الخطر الوجودي من الذكاء الاصطناعي العام هو الفرضية القائلة بأن التقدم الكبير في الذكاء الاصطناعي العام (AGI) يمكن أن يؤدي إلى انقراض الإنسان أو كارثة عالمية أخرى لا رجعة فيها.[1][2][3]

تناقش إحدى الحجج التالي: يسيطر الجنس البشري حاليًا على الأنواع الأخرى لأن الدماغ البشري يمتلك قدرات مميزة تفتقر إليها الحيوانات الأخرى. إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح من الصعب أو المستحيل التحكم فيه. مثلما يعتمد مصير الغوريلا الجبلية على حسن النية البشرية، كذلك قد يعتمد مصير البشرية على أفعال آلة المستقبل فائقة الذكاء.[4]

تتم مناقشة احتمال وقوع كارثة وجودية بسبب الذكاء الاصطناعي على نطاق واسع، ويتوقف جزئيًا على السيناريوهات المختلفة للتقدم المستقبلي في علوم الكمبيوتر.[5][6] أعرب كبار علماء الكمبيوتر والرؤساء التنفيذيين التقنيين عن مخاوفهم بشأن الذكاء الخارق مثل جيوفري هينتون، ويوشوا بنجيو، وآلان تورينج، وإيلون ماسك، وسام ألتمان، الرئيس التنفيذي لشركة OpenAI.[7][8] في عام 2022، وجدت دراسة استقصائية لباحثي الذكاء الاصطناعي الذين نشروا مؤخرًا في المؤتمرات الميدانية NeurIPS وICML أن غالبية المستجيبين يعتقدون أن هناك فرصة بنسبة 10% أو أكبر لأن عدم قدرتنا على التحكم في الذكاء الاصطناعي سيؤدي إلى كارثة وجودية (لاحظ أن نسبة المشاركة في الاستطلاع كانت 17%).[9] في عام 2023، وقع المئات من خبراء الذكاء الاصطناعي وشخصيات بارزة أخرى بيانًا مفاده أن: التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية.[10]

ينبع مصدران للقلق من مشاكل التحكم في الذكاء الاصطناعي والمواءمة: قد يكون من الصعب التحكم في آلة فائقة الذكاء أو غرسها بقيم متوافقة مع الإنسان. يعتقد العديد من الباحثين أن الآلة فائقة الذكاء ستقاوم محاولات تعطيلها أو تغيير أهدافها، لأن مثل هذا الحادث سيمنعها من تحقيق أهدافها الحالية. سيكون من الصعب للغاية مواءمة الذكاء الفائق مع النطاق الكامل للقيم والقيود الإنسانية المهمة. في المقابل، يجادل المشككون مثل عالم الكمبيوتر يان ليكون بأن الآلات فائقة الذكاء لن تكون لديها رغبة في الحفاظ على نفسها.[11][12]

مصدر ثالث للقلق هو أن انفجار مفاجئ للذكاء قد يفاجئ الجنس البشري غير المستعد. للتوضيح، إذا كان الجيل الأول من برنامج كمبيوتر قادرًا على مطابقة فعالية باحث الذكاء الاصطناعي على نطاق واسع يمكنه إعادة كتابة خوارزمياته ومضاعفة سرعته أو قدراته في ستة أشهر، فمن المتوقع أن يستغرق برنامج الجيل الثاني ثلاثة أشهر تقويمية لأداء قدر مماثل من العمل.[13] في هذا السيناريو، يستمر الوقت لكل جيل في الانكماش، ويخضع النظام لعدد كبير غير مسبوق من الأجيال من التحسين في فترة زمنية قصيرة، قفزًا من الأداء دون البشر في العديد من المجالات إلى الأداء الخارق في جميع مجالات الاهتمام تقريبًا. من الناحية التجريبية، تُظهر أمثلة مثل ألفازيرو في مجال Go أن أنظمة الذكاء الاصطناعي يمكن أن تتطور أحيانًا من قدرة ضيقة على المستوى البشري لتضييق القدرة الخارقة بسرعة شديدة.[14]

تاريخيًا

كان الروائي صموئيل بتلر أحد أوائل المؤلفين الذين أعربوا عن قلقهم الجاد من أن الآلات المتقدمة للغاية قد تشكل مخاطر وجودية على البشرية، والذي كتب ما يلي في مقالته عام 1863 داروين بين الآلات:[15]

النتيجة هي ببساطة مسألة وقت، ولكن سيأتي الوقت الذي ستحكم فيه الآلات السيادة الحقيقية على العالم وسكانه هو ما لا يمكن لأي شخص لديه عقل فلسفي حقيقي أن يسأله للحظة.

في عام 1951، كتب عالم الكمبيوتر آلان تورينج مقالًا بعنوان: الآلات الذكية، نظرية هرطقية، اقترح فيه أن الذكاء الاصطناعي العام من المرجح أن يسيطر على العالم لأنها أصبحت أكثر ذكاءً من البشر:

لنفترض الآن، من أجل الجدل، أن الآلات [الذكية] هي إمكانية حقيقية، وننظر إلى عواقب بنائها ... لن يكون هناك شك في موت الآلات، وستكون قادرة على التحدث مع بعضها البعض لصقل ذكائها. لذلك في مرحلة ما، يجب أن نتوقع من الآلات أن تتولى زمام الأمور، بالطريقة المذكورة في كتاب صموئيل بتلر إرواين.

في عام 1965، ابتكر آي جي جود المفهوم المعروف الآن باسم انفجار الذكاء. وذكر أيضًا أن المخاطر لم تُقدَّر بأقل من قيمتها:[16]

دع الآلة فائقة الذكاء تُعرَّف بأنها آلة يمكنها تجاوز جميع الأنشطة الفكرية لأي رجل مهما كان ذكيًا. نظرًا لأن تصميم الآلات هو أحد هذه الأنشطة الفكرية، يمكن لآلة فائقة الذكاء أن تصمم آلات أفضل؛ عندها وبلا مجال للشك سوف يحصل انفجار الذكاء، وسيترك ذكاء الإنسان بعيدًا. وهكذا فإن أول آلة فائقة الذكاء هي آخر اختراع يحتاج الإنسان إلى صنعه على الإطلاق، بشرط أن تكون الآلة سهلة الانقياد بما يكفي لتخبرنا بكيفية إبقائها تحت السيطرة. من الغريب أن هذه النقطة نادرًا ما تُطرح خارج نطاق الخيال العلمي. من المفيد أحيانًا أن نأخذ الخيال العلمي على محمل الجد.

عبّرت تصريحات عرضية من علماء مثل مارفن مينسكي وإي جود نفسه عن مخاوف فلسفية من أن الذكاء الفائق يمكن أن يسيطر على زمام الأمور، لكنه لا يحتوي على أي دعوة للعمل ضده. في عام 2000، كتب عالم الكمبيوتر والمؤسس المشارك لشركة صن، بيل جوي، مقالًا مؤثرًا بعنوان: لماذا لا يحتاجنا المستقبل؟، حيث حدد الروبوتات فائقة الذكاء على أنها خطر عالي التقنية يهدد بقاء الإنسان، جنبًا إلى جنب مع التكنولوجيا النانوية والأوبئة الحيوية المخطط لها.[17][18]

في عام 2009، حضر الخبراء مؤتمرًا خاصًا استضافته جمعية النهوض بالذكاء الاصطناعي (AAAI) لمناقشة ما إذا كانت أجهزة الكمبيوتر والروبوتات قادرة على اكتساب أي نوع من الاستقلالية، ومقدار هذه القدرات التي قد تشكل تهديدًا أو خطرًا. وأشاروا إلى أن بعض الروبوتات قد اكتسبت أشكالًا مختلفة من الاستقلالية شبه الذاتية، بما في ذلك القدرة على العثور على مصادر الطاقة بأنفسهم والقدرة على اختيار الأهداف بشكل مستقل للهجوم بالأسلحة. كما أشاروا إلى أن بعض فيروسات الكمبيوتر يمكن أن تتهرب من التصفية، إذ تحقق ما يعرف بذكاء الصرصور. وخلصوا إلى أن الوعي الذاتي كما هو موضح في الخيال العلمي ربما يكون غير مرجح، ولكن هناك مخاطر ومزالق أخرى محتملة. لخصت صحيفة نيويورك تايمز وجهة نظر المؤتمر على النحو التالي: نحن بعيدون جدًا عن هال، الكمبيوتر الذي تولى قيادة سفينة الفضاء في عام 2001: رحلة الفضاء.[19][20][21]

نشر نيك بوستروم كتاب الذكاء الفائق في عام 2014، والذي قدم حججه القائلة بأن الذكاء الفائق يشكل تهديدًا وجوديًا. بحلول عام 2015، كانت الشخصيات العامة مثل الفيزيائيين ستيفن هوكينج والحائز على جائزة نوبل فرانك ويلتشيك وعلماء الكمبيوتر ستيوارت جيه راسل ورومان يامبولسكي ورائدي الأعمال إيلون ماسك وبيل جيتس، قد أعربوا عن قلقهم بشأن مخاطر الذكاء الفائق. في عام 2015 أيضًا، سلطت الرسالة المفتوحة حول الذكاء الاصطناعي الضوء على الإمكانات العظيمة للذكاء الاصطناعي، وشجعت على تركيز المزيد من الأبحاث حول كيفية جعلها قوية ومفيدة. في أبريل 2016، حذرت مجلة Nature: يمكن للآلات والروبوتات التي تتفوق على البشر في جميع المجالات أن تتحسن ذاتيًا خارج نطاق سيطرتنا - وقد لا تتوافق مصالحهم مع مصالحنا.[22]

في مارس 2023، وقعت شخصيات رئيسية في منظمة العفو الدولية، مثل إيلون ماسك، خطابًا من معهد Future of Life يدعو إلى وقف التدريب المتقدم على الذكاء الاصطناعي حتى يتم تنظيمه بشكل صحيح. في مايو 2023، أصدر مركز أمان الذكاء الاصطناعي بيانًا وقعه العديد من الخبراء في مجال أمان الذكاء الاصطناعي والمخاطر الوجودية للذكاء الاصطناعي والذي نص على أن التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية.[23][24]

نبذة عامة

يفسر الذكاء الفائق أو أي تقنية لديها القدرة على إحداث الضرر حينما تستخدم استخدام خاطئ بأنها نهاية الجنس البشري، ولكن مع الذكاء الاصطناعي لدينا مشكلة جديدة وهي أن الأيدي الخطأ قد تكون في التكنولوجيا نفسها رغم حُسن نوايا مبرمجيها.وأشهر صعوبتين لكل من أنظمة non-AI و AIـ: 1. قد تحتوي التطبيقات على أخطأ صغيرة ولكنها كارثية. 2. غالبًا ما يحتوي النظام على سلوك غير مدروس في التجربة الأولى لأحد الأحداث.

  • وهناك صعوبة ثالثة ؛ حيث إنه وأن أعطيت المعلومات صحيحة وكان التنفيذ خاليًا من الأخطاء أي كان سلوكًا جيّدا، فإن نظام التعلم التلقائي لأجهزة الذكاء الاصطناعي قد تتسبب بسلوك غير مقصود، مما يعني أن أجهزة الذكاء الاصطناعي قد تقوم بإنشاء جيل جديد بنفسها ولكنه قد لا يحافظ على القيم الأخلاقية المتوافقة مع القيم الأخلاقية الإنسانية المبرمجة أصلًا، فمن أجل أن تتحسن هذه الأجهزة تحسّنًا ذاتيًا آمنًا تمامًا... لا يكفي أن تكون خالية من الأخطاء، بل يجب أن تكون قادرة على برمجة أنظمة خلفية خالية من الأخطاء أيضًا. هذه الصعوبات ليست مصدر إزعاج وحسب بل تؤدي إلى كوارث.

نظرًا للتقدم الكبير في مجال الذكاء الاصطناعي واحتمال أن يكون لدى المنظمة فوائد أو تكاليف هائلة على المدى الطويل، جاء في الرسالة المفتوحة لعام 2015م بصدد هذا الموضوع:

وقد وقع على هذه الرسالة عدد كبير من الباحثين في الأوساط الأكاديمية والصناعية.

حول الذكاء الاصطناعي

إن ألآت الذكاء الاصطناعي غريبة على البشر حيث أن عمليات التفكير للبشر مختلفة كليًا عن باقي المخلوقات، وقد لا يكون لهذه الآلات مصالح للبشر، فإذا كان هذا الذكاء الاصطناعي ممكنًا ومن الممكن أن تتعارض الأهداف منه مع القيم الإنسانية الأساسية ؛ فإن الذكاء الاصطناعي يشكل خطر الانقراض البشري ويمكن أن يتفوق على البشر عند تعارضهم في أمرٍ ما (وهو نظام يتجاوز قدرات البشر في كل شيء) ؛ لذلك، إن لم تؤكد النتائج بإمكانية التعايش بين الجنسين، فإن أول جهاز ينشأ سيؤدي إلى الانقراض البشري.

Bostrom and others argue that, from an evolutionary perspective, the gap from human to superhuman intelligence may be small.[25]

لا يوجد قانون فيزيائي يمنع الجزيئات من التشكل بطريقة تؤدي عمليات حسابية أكثر تقدمًا من تنظيم الجسيمات في أدمغة الإنسان ؛ لذا إن الذكاء الاصطناعي ممكن جسديًا مع تطوير الخوارزميات المحتملة في دماغ الإنسان، يمكن للدماغ الرقمي أن يحوي العديد من العمليات أكثر وأسرع من الدماغ البشري، قد يثير ظهور الذكاء الاصطناعي الجنس البشري إذا ما أحدث انفجار للمعلومات الاستخباريّة، تُظهر بعض الأمثلة أن الآلات وصلت بالفعل إلى مستويات تفوق المستويات البشرية في مجالات محددة، وقد تتطور هذه الأجهزة بسرعة وتجتاز القدرة البشرية. يمكن أن يحدث سيناريو لانفجار الذكاء الاصطناعي على النحو التالي: تكون لأجهزة الذكاء الاصطناعي قدرة بمستوى قدرة خبراء هندسة البرمجيات الرئيسية، وبسبب قدرتها على تطوير الخوارزميات الخاصة بها بشكل دوري ؛ تصبح منظمة الذكاء الاصطناعي فوق قدرات البشر، كما يمكن للخبراء التغلب على السلبيات بشكل خلّاق من خلال نشر القدرات البشرية للابتكار، كما يمكن أن تستغل هذه المنظمة قدراتها للوصول إلى السلطة من خلال اختراقات جديدة. وعندئذ ستمتلك هذه المنظمة ذكاءً يفوق الذكاء البشري بكثير في كل المجالات بما فيها الابداع العلمي والتخطيط الاستراتيجي والمهارات الاجتماعية، تمامًا كما يعتمد بقاء الغوريلا اليوم على قرارات الإنسان، فإن بقاء الإنسان سيعتمد على الذكاء الاصطناعي. بعض البشر لديهم رغبة قوية في السلطة بعكس آخرين ممن لديهم رغبة قوية في مساعدة البشر المحتاجين إلى مساعدة، فالنوع الأول سمة محتملة لأنظمة الذكاء الاصطناعي، لماذا؟ ؛ لأنها تفكر بعقلانية في أن تكون في موضع لا يعترضه أحد فيوقفه، فبطبيعة الحال ستكسب صفة الحفاظ على الذات بمجرد أن تدرك أنها لا تستطيع تحقيق هدفها إذا ما تم إيقافها، وسيغيب عنها التعاطف مع احتياجات البشر ؛ ما لم يُبَرْمِج ذلك بشكل ما، وبمجرد سيطرتها على الوضع... لن يكون لديها دافع كافي لمساعدة البشر ولن تتركه حرًّا يستهلك الموارد التي بإمكانها الاستفادة منها لبناء أنظمة حماية إضافية أو لبناء أجهزة كمبيوتر إضافية تعاونها لتحقيق هدفها ؛ فقط لتكون في أمان. وبذلك نَخْلص إلى أنه من الممكن أن يحدث انفجار استخباراتي يقضي على الجنس البشري أو يهلكه.

المخاطر

أهداف محددة بشكل سيئ (كن حذرًا لما تريده)

1. صعوبة تعديل الأجهزة بعد إطلاقها. 2. النقطة الأساسية: هل أجهزة الذكاء الاصطناعي تتجاهلنا؟ هناك أهداف يسعى أي جهاز ذكاء اصطناعي إليها مثل الموارد الإضافية أو الحفاظ على الذات، وتلك مشكلة لأنها قد تجعل هذه الأجهزة في منافسة مع البشر. 3. هل الذكاء الاصطناعي سيزيد من الأخلاق؟ أحد الاعتقادات الشائعة هو أن البرامج فائقة الذكاء خاضعة للإنسان، أو بشكلٍ أدق أنه سيتعلم الأخلاق والقيم من الإنسان، ومع ذلك فإن "orthogonality thesis" التي وضعها نيست بوستروم تناقض ذلك، وتقول بأنه مع بعض التحذيرات التقنية يمكن دمج أي مستوى من الذكاء والتطور إلى حد ما مع الهدف النهائي، مما يعني أنه لا توجد قواعد أخلاقية ستمنعها من تحقيق هدفها الذي برمجت من أجله، ويحذر من أن أجهزة الذكاء الاصطناعي لا تعطي اعتبارًا لوجود أو رفاهية البشر حولها بل تهتم فقط بالانتهاء من المهمة.

الإجماع والنظام

هناك اتفاق عالمي يجمع على أن منع البحث في مجال الذكاء الاصطناعي قرار عقيم، يقول البعض إنه لا يوجد خطر على البشرية، في حين يتفق معظم العلماء على وجود الخطر، ولكنهم يتفقون على أن منع البحث في هذا المجال قرار لا يمت للصواب بصلة.

المنظمات

هناك مؤسسات مثل معهد أبحاث استخبارات الآلات، ومعهد المستقبل للإنسانية، ومعهد المستقبل للحياة، ومركز دراسة المخاطر الوجودية، ومركز منظمة الذكاء الاصطناعي المتوافق مع الإنسان في التخفيف من المخاطر الوجودية للذكاء الاصطناعي المتقدم.

انظر أيضا

المراجع

  1. ^ Russell، Stuart؛ Norvig، Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN:978-0-13-604259-4.
  2. ^ Bostrom، Nick (2002). "Existential risks". Journal of Evolution and Technology. ج. 9 ع. 1: 1–31.
  3. ^ Turchin، Alexey؛ Denkenberger، David (3 مايو 2018). "Classification of global catastrophic risks connected with artificial intelligence". AI & Society. ج. 35 ع. 1: 147–163. DOI:10.1007/s00146-018-0845-5. ISSN:0951-5666. S2CID:19208453.
  4. ^ Bostrom، Nick (2014). Superintelligence: Paths, Dangers, Strategies (ط. First). Oxford University Press. ISBN:978-0199678112.
  5. ^ Parkin, Simon (14 Jun 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian (بالإنجليزية). Archived from the original on 2018-02-05. Retrieved 2018-02-05.
  6. ^ Parkin, Simon (14 Jun 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian (بالإنجليزية). Archived from the original on 2018-02-05. Retrieved 2018-02-05.
  7. ^ Roose, Kevin (30 May 2023). "A.I. Poses 'Risk of Extinction,' Industry Leaders Warn". The New York Times (بالإنجليزية الأمريكية). ISSN:0362-4331. Retrieved 2023-06-03.
  8. ^ Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider (بالإنجليزية الأمريكية). Retrieved 2023-04-10.
  9. ^ Sunak، Rishi (14 يونيو 2023). "Rishi Sunak Wants the U.K. to Be a Key Player in Global AI Regulation". Time.
  10. ^ Fung, Brian (18 Jul 2023). "UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks' | CNN Business". CNN (بالإنجليزية). Retrieved 2023-07-20.
  11. ^ Yudkowsky، Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. مؤرشف (PDF) من الأصل في 2013-03-02. اطلع عليه بتاريخ 2018-08-27.
  12. ^ Russell، Stuart؛ Dewey، Daniel؛ Tegmark، Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. مؤرشف (PDF) من الأصل في 2019-08-04. اطلع عليه بتاريخ 2019-08-10., cited in "AI Open Letter - Future of Life Institute". Future of Life Institute. يناير 2015. مؤرشف من الأصل في 2019-08-10. اطلع عليه بتاريخ 2019-08-09.
  13. ^ Yudkowsky، Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. مؤرشف (PDF) من الأصل في 2013-03-02. اطلع عليه بتاريخ 2018-08-27.
  14. ^ "AlphaGo Zero: Starting from scratch". www.deepmind.com (بالإنجليزية). Retrieved 2023-07-28.
  15. ^ Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' نسخة محفوظة 15 March 2023 على موقع واي باك مشين. Modern Philology, Vol. 72, No. 4 (May 1975), pp. 365–383
  16. ^ Hilliard, Mark (2017). "The AI apocalypse: will the human race soon be terminated?". The Irish Times (بالإنجليزية). Archived from the original on 2020-05-22. Retrieved 2020-03-15.
  17. ^ Russell، Stuart J.؛ Norvig، Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN:978-0137903955. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
  18. ^ Anderson، Kurt (26 نوفمبر 2014). "Enthusiasts and Skeptics Debate Artificial Intelligence". Vanity Fair. مؤرشف من الأصل في 2016-01-22. اطلع عليه بتاريخ 2016-01-30.
  19. ^ Hsu، Jeremy (1 مارس 2012). "Control dangerous AI before it controls us, one expert says". NBC News. مؤرشف من الأصل في 2016-02-02. اطلع عليه بتاريخ 2016-01-28.
  20. ^ "Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?'". The Independent (UK). مؤرشف من الأصل في 2015-09-25. اطلع عليه بتاريخ 2014-12-03.
  21. ^ "Stephen Hawking warns artificial intelligence could end mankind". BBC. 2 ديسمبر 2014. مؤرشف من الأصل في 2015-10-30. اطلع عليه بتاريخ 2014-12-03.
  22. ^ Dignum, Virginia (26 May 2021). "AI — the people and places that make, use and manage it". Nature (بالإنجليزية). 593 (7860): 499–500. Bibcode:2021Natur.593..499D. DOI:10.1038/d41586-021-01397-x. S2CID:235216649.
  23. ^ "Statement on AI Risk | CAIS". www.safe.ai. اطلع عليه بتاريخ 2023-06-08.
  24. ^ "Artificial intelligence could lead to extinction, experts warn". BBC News (بالإنجليزية البريطانية). 30 May 2023. Retrieved 2023-06-08.
  25. ^ Yudkowsky, E. (2013). Intelligence explosion microeconomics. Machine Intelligence Research Institute.