No Image

обработка естественного языка

15 просмотров
04 декабря 2023

Обработка естественного языка (НЛП), в информатике — использование операций, систем и технологий, позволяющих компьютерам обрабатывать письменную и устную речь и реагировать на нее таким образом, который отражает человеческие способности. Для этого модели обработки естественного языка (NLP) должны использовать вычислительную лингвистику, статистику, машинное обучение и модели глубокого обучения.

Ранние модели НЛП были закодированы вручную и основывались на правилах, но не учитывали исключения и нюансы в языке. Например, сарказм, идиомы и метафоры — это нюансы, которым человек учится на собственном опыте. Для того чтобы машина успешно разбирала язык, ее нужно сначала запрограммировать на различение таких понятий. За этими ранними разработками последовало статистическое НЛП, которое использует вероятность присвоения определенных значений различным частям текста. Современные системы НЛП используют модели и методы глубокого обучения, которые помогают им «учиться» в процессе обработки информации. Однако нельзя сказать, что такие системы «понимают» то, что они разбирают; скорее, они используют сложное программирование и вероятность для генерации человекоподобных ответов.

Яркими примерами современного НЛП являются языковые модели, которые используют искусственный интеллект (ИИ) и статистику для предсказания конечной формы предложения на основе имеющихся фрагментов. Одной из популярных языковых моделей стала GPT-3 от американской исследовательской лаборатории искусственного интеллекта OpenAI, выпущенная в июне 2020 года. Среди первых крупных языковых моделей GPT-3 мог решать математические задачи школьного уровня и создавать компьютерные программы. GPT-3 легла в основу программы ChatGPT, выпущенной OpenAI в ноябре 2022 года. ChatGPT почти сразу же вызвал беспокойство ученых, журналистов и других людей из-за опасений, что невозможно отличить человеческую речь от сгенерированной ChatGPT.

Другими примерами машин, использующих НЛП, являются системы GPS с голосовым управлением, чат-боты для обслуживания клиентов и программы для перевода языков. Кроме того, компании используют НЛП для улучшения понимания и обслуживания потребителей путем автоматического заполнения поисковых запросов и мониторинга социальных сетей.

НЛП сопряжено с определенными трудностями, особенно потому, что алгоритмы машинного обучения и им подобные часто проявляют предвзятость, скрытую в контенте, на котором обучаются модели. Например, на просьбу описать врача модели НЛП могут с большей вероятностью ответить «Он — врач», чем «Она — врач», что свидетельствует о присущей им гендерной предвзятости. Предвзятость в НЛП может иметь последствия в реальном мире. Например, в 2015 году НЛП-программа Amazon для проверки резюме с целью отбора кандидатов на работу была признана дискриминационной по отношению к женщинам, поскольку женщины были недостаточно представлены в исходном обучающем наборе, собранном из сотрудников. Более того, при использовании вероятностных моделей НЛП, таких как ChatGPT, могут возникать «галлюцинации», когда модель избегает сообщения пользователю о том, что она чего-то не знает, отвечая вместо этого вероятным, но фактически неточным текстом, основанным на подсказках пользователя.

Комментировать
15 просмотров
Комментариев нет, будьте первым кто его оставит

Это интересно
No Image Технологии
0 комментариев
No Image Технологии
0 комментариев
No Image Технологии
0 комментариев
No Image Технологии
0 комментариев