Успех прикладного ИИ и когнитивного моделирования, описанных в предыдущих разделах этой статьи, кажется несомненным. Однако искусственный интеллект общего назначения (ИОН), или сильный ИИ, то есть искусственный интеллект, который стремится повторить интеллектуальные способности человека, остается спорным и недосягаемым. Преувеличенные заявления об успехах, публикуемые как в профессиональных журналах, так и в популярной прессе, подрывают его репутацию. В настоящее время даже воплощенная система, демонстрирующая общий интеллект таракана, оказывается недостижимой, не говоря уже о системе, способной соперничать с человеком. Сложность масштабирования скромных достижений ИИ невозможно переоценить. Десятилетия исследований в области символического ИИ не привели к убедительным доказательствам того, что система символов может продемонстрировать человеческий уровень общего интеллекта; коннекционисты не могут смоделировать нервные системы даже простейших беспозвоночных; а критики нового ИИ считают просто мистическим мнение, что высокоуровневое поведение, включающее понимание языка, планирование и рассуждения, каким-то образом возникнет из взаимодействия базовых форм поведения, таких как избегание препятствий, контроль взгляда и манипулирование объектами.
Однако отсутствие существенного прогресса может свидетельствовать не о невозможности AGI, а о ее сложности. Давайте обратимся к самой идее AGI. Может ли компьютер мыслить? Ноам Хомский считает, что обсуждать этот вопрос бессмысленно, поскольку решение о том, распространять ли общепринятое слово «думать» на машины, по сути, произвольно. Хомский утверждает, что не существует фактического вопроса о том, является ли такое решение правильным или неправильным — точно так же, как не существует вопроса о том, является ли правильным наше решение сказать, что самолеты летают, или наше решение не говорить, что корабли плавают. Однако это кажется слишком упрощенным. Важный вопрос заключается в следующем: уместно ли вообще говорить, что компьютеры думают, и если да, то каким условиям должен удовлетворять компьютер, чтобы его можно было так описать?
Некоторые авторы предлагают тест Тьюринга в качестве определения интеллекта. Однако сам Тьюринг отмечал, что компьютер, который должен быть назван интеллектуальным, может, тем не менее, провалить тест, если он не способен успешно имитировать человека. Например, ChatGPT постоянно ссылается на свой статус большой языковой модели и поэтому вряд ли пройдет тест Тьюринга. Если интеллектуальная сущность может провалить тест, то он не может служить определением интеллекта. Даже сомнительно, что прохождение теста действительно покажет, что компьютер разумен, как отметили в 1956 году теоретик информации Клод Шеннон и пионер ИИ Джон Маккарти. Шеннон и Маккарти утверждали, что в принципе можно сконструировать машину, содержащую полный набор готовых ответов на все вопросы, которые дознаватель мог бы задать за определенный промежуток времени теста. Как и в случае с Пэрри, эта машина будет выдавать ответы на вопросы интервьюера путем поиска подходящих ответов в гигантской таблице. Это возражение, кажется, показывает, что в принципе система, не обладающая интеллектом, может пройти тест Тьюринга.
На самом деле у ИИ нет реального определения интеллекта, даже в случае с недочеловеком. Крысы разумны, но чего именно должен достичь искусственный интеллект, чтобы исследователи могли утверждать, что он достиг уровня крыс? В отсутствие достаточно точного критерия того, когда искусственная система считается разумной, нет объективного способа определить, преуспела или провалилась исследовательская программа ИИ. Один из результатов неспособности ИИ выработать удовлетворительный критерий интеллекта заключается в том, что всякий раз, когда исследователи достигают одной из целей ИИ — например, программы, которая может резюмировать газетные статьи или обыграть чемпиона мира по шахматам, — критики могут сказать: «Это не интеллект!» Марвин Мински отвечает на проблему определения интеллекта тем, что, как и Тьюринг до него, считает, что интеллект — это просто наше название для любого умственного процесса решения проблем, который мы еще не понимаем. Мински сравнивает интеллект с понятием «неисследованные районы Африки»: он исчезает, как только мы его обнаруживаем.