Как найти эмоциональную окраску

Сентимент-анализ. Определяем эмоциональные сообщения на Хабре

Анализ тональности текста (или сентимент-анализ) – одна из задач, с которыми работают специалисты Data Science. С помощью такого анализа можно изучить массив сообщений и иных данных и определить, как они эмоционально окрашены – позитивно, негативно или нейтрально.

Рассмотрим, как это работает – проанализируем ряд статей на основании датасета Linis Crowd. Предлагаем определить, какие модели наиболее перспективны, например, для разработки всевозможных сервисов мониторинга. В качестве предметной области выберем статьи технического характера (например, на Хабре), что может быть полезно для реализации автоматического сбора мнений.

Тональность – выявление в текстах эмоционально окрашенной лексики, а также эмоциональной оценки мнений, высказанных авторами. 

Для оценки тональности, в первую очередь, нужно “перевести” сообщение с естественного языка на компьютерный. Для этого есть различные способы, которые уже давно подробно описаны в научной литературе (посмотреть отдельные примеры можно в конце этой статьи). Один из наиболее простых методов – определить лексическую тональность слов, составляющих сообщение, без учета контекста.

Для одного из внутренних проектов исследовательского характера мы разобрали, с помощью каких инструментов можно решить задачу по сентимент-анализу. Делимся этапами анализа и полученными результатами, которые могут быть полезны для тех специалистов, которые сейчас находятся на первых этапах знакомства с этой областью знаний. 

Что мы делали

Задача: определить тональность текстов технического характера на Хабре. Ожидаемый результат – оценка тональности с точностью около 70-80%, как правило, наблюдаемой при анализе естественного языка.

Для решения этой задачи зачастую используют следующие основные алгоритмы:

• Статистический метод. Для его использования необходимы заранее размеченные по тональности коллекции (корпуса) текстов. Они служат для обучения модели, с помощью которой и происходит определение тональности текста или фразы.

• Метод, основанный на словарях и правилах. Для этого нужно заранее составить словари позитивных и негативных слов и выражений. Этот метод может использовать как списки шаблонов, так и правила соединения тональной лексики внутри предложения, основанные на грамматическом и синтаксическом разборе.

В нашем случае мы выбрали статистический метод, основанный на модели машинного обучения с учителем. Его преимущество – возможность масштабировать задачу в рамках небольшого обучаемого корпуса данных. Нам нужно было добиться того, чтобы пользователь мог добавить в IT-систему ссылку на новость, а система определила бы эмоциональную окраску сообщения. Для этого мы составили классификацию:

-1 – текст с отрицательной окраской

Пример:

0 – нейтральный; 

Пример:

1 – положительный текст; 

Пример:

При этом для выполнения анализа нужно было решить 2 дополнительные задачи:

• Подбор русскоязычного датасета с размеченной тональностью для обучения системы. В ходе исследования мы убедились, что таких датасетов не очень много, и после их оценки приняли решение использовать корпус Linis Crowd.

• Создать алгоритм для автоматической подготовки датасета, чтобы дать на обучение модели сформулированные тексты в рамках заданной предметной области. Для этого был использован скрипт на python, который подбирает нужный текст из корпуса текстов по имеющимся ключевым словам на техническую тематику.

Что мы использовали

• Поскольку в рамках исследовательской задачи у нас не было жестких требований к полученному веб-приложению, мы выбрали легковесный фреймворк Flask, который позволяет быстро разработать веб-приложение без лишнего функционала.

• Библиотека nltk для исключения стоп-слов русского языка. На ее основе мы создали свой словарь с исключением слов, не влияющих на тональность.

• Для векторизации текста и удобной работы с моделями машинного обучения мы использовали открытую библиотеку Fasttext. Она является модификацией привычного всем в мире эмбединга Word2Vec и хорошо подходит для морфологически богатых языков, в том числе русского языка, рассматриваемого в задаче. Полученные из векторов тексты мы отправляли в модель и после этого выполняли расчет тональности. Для этого мы выбираем первые 500 слов, которые прошли обработку с исключением.

Принцип работы Fasttext поясняют следующие примеры (источник):

Модели анализа

Для классификации текстов по тональности мы использовали следующие модели – наиболее простые и высокоскоростные, что было предпочтительно для нашего исследования.

1) Наивный байесовский классификатор

Основан на алгоритме с байесовского классификатора, где для классифицируемого объекта вычисляются функции правдоподобия каждого из классов, по которым, в свою очередь, определяют апостериорные вероятности классов. Объект относится к тому классу, для которого апостериорная вероятность максимальна. Для работы модели вводится допущение о независимых признаках.

Источник

Параметры, которые мы применили:

alpha = 0.3; fitprior = True; classprior = None

2) Случайный лес

Данный алгоритм является модификацией применения решающих деревьев, где для задач классификации решение выносится согласно выбору большинства деревьев.

Схема работы:

• Выбирается подвыборка обучающего корпуса размера samplesize, при этом она может быть с возвращением. Далее строится дерево, и здесь для каждого дерева нужна своя подвыборка.

• Для построения каждого расщепления в дереве просматриваем max_features случайных признаков (для каждого нового расщепления — свои случайные признаки).

• Выбираем наилучшие признак и расщепление по нему (по заранее заданному критерию). Дерево строится, как правило, до исчерпания выборки (пока в листьях не останутся представители только одного класса). При этом в современных реализациях есть параметры, которые ограничивают высоту дерева, число объектов в листьях и число объектов в подвыборке, при котором проводится расщепление. 

Подробнее с работой алгоритма можно познакомиться в источнике. 

Параметры, которые мы применили: 

nestimators = 200; maxdepth = 3; random_state = 0

3) Рекуррентная нейронная сеть 

Вид нейронных сетей, где связи между элементами образуют направленную последовательность. 

Архитектура сети включает слой Embedding, который преобразует данные в 64-мерный вектор, слой LSTM (128 узлов) и слой Dense (10 узлов).

Источник

Датасет

Для реализации обучения с учителем мы взяли открытый датасет Linis Crowd, который содержит 29 тысяч размеченных текстов – наиболее крупный датасет для неформальных текстов на русском языке. Для обучения модели были использованы размеченные тексты с разделением на заданные по задачам исследования классы.

В нашем исследовании датасет был ограничен  в рамках предметной области путем выборки текстов из корпуса по ключевым словам.

Время обработки

По результатом тестов выяснилось, что решение моделей по определению тональности слабо влияет на время выполнение запроса. Основную нагрузку вносит использование fasttext для эмбеддинга входящего текста, занимающее в районе 5 – 10 секунд с использованием вычислений на CPU. При работе с GPU показатели стали в диапазоне 0.7 – 1.

Показатели точности

 Для тестирования мы разделили модели со следующим соотношением:

• Обучающая выборка – 60%. 

• Валидационная проверка – 20% 

• Тестирование – 20% с балансировкой датасета. 

Как отмечено ранее, в начале исследования мы рассчитывали на оценку тональности с точностью на уровне 70-80%. 

Выводы

По итогам исследования мы получили следующие оценки точности: 

• Наивный байесовский классификатор (88,32%)

• Случайный лес (78,91%)

• Рекуррентная нейронная сеть. RNN (83,26%)

Таким образом, наиболее перспективные результаты – 88,32% – показал наивный байесовский классификатор. Получение показателей выше, чем 80%, можно считать успешным при работе с естественными языками.

Спасибо за внимание! Надеемся, что описанный пример был для вас полезен. 

А если вы хотите больше узнать о сентимент-анализе, рекомендуем несколько статей по теме: 

1. http://datareview.info/article/analiz-tonalnosti-teksta-kontseptsiya-metodyi-oblasti-primeneniya/

2. https://habr.com/ru/company/palitrumlab/blog/262595/

3. https://compress.ru/article.aspx?id=23115

4. https://habr.com/ru/company/mailru/blog/417767/

5. https://habr.com/ru/company/mailru/blog/516214/

6. https://habr.com/ru/company/mailru/blog/516726/

7. https://habr.com/ru/company/mailru/blog/516730/

Все слова в общепринятой лексике русского языка можно подразделить на 2 группы: эмоционально окрашенные слова и эмоционально нейтральные. 

Своей речью человек может выразить личное отношение к людям, вещам или действиям с помощью этих групп слов.

Эмоционально нейтральные слова

Наиболее тематически стилистическим слоем лексики языка являются общеупотребительные (нейтральные) слова. Используются они свободно, без определенных ограничений. Их употребление возможно как в разговорной речи, так и в письменной.

Эмоционально нейтральные слова используются для четкого определения действительности, без какой-либо ее личностной оценки (положительной, отрицательной). К примеру: класс, доска, новый, сильный, стоять, мало, сын, семь.

Их характеризует устойчивость основных значений. Большая часть этих слов в современном языке обозначает сейчас то же самое, что и во времена древней письменности.

Состав этих слов постоянно пополняется новыми общеизвестными понятиями, многие из которых имеют зарубежное происхождение.

Эмоционально окрашенные слова

Наравне со стилистически нейтральными словами, в разговорной речи встречаются слова, которые отличаются своей эмоциональной окраской. 

К примеру: сестренка, избушка, братик, зимушка, колечко, любушка, дворик. Это своеобразное выражение чувств как положительного, так и отрицательного характера.

К примеру: дом (нейтральная оценка) – домик (добрая оценка) – домишко (предвзятое отношение).

Слова, которые выражают отношение к чему-либо, называются эмоционально окрашенными. Ими люди как обозначают фактическую характеристику объектов, так и проявляют к ним свое личностное отношение:

• бутуз — не обычный ребенок, а небольшой, упитанный малыш (шутливая форма);

• лошаденка — не обычная лошадь, а бесполезная (с пренебрежением);

• колымажка — не стандартная телега, а неудобная и массивная (с иронией и пре­небрежительностью);

• лохмы — не обычные волосы, а неухоженные и не расчесанные (с презрением).

Используя суффиксы в тексте, можно добавить слову оценочную характеристику:

• сынуля (ласково о сыне);

• детина (негативное обращение к подростку).

Чтобы выражать разные оттенки чувств, в русском языке распространено использование суффиксов для оценивания:

• уменьшительно-ласкательные: -еньк-, -ущк-, -ишк-, -ек-, -ик- (доченька, домик, ножка, носик, зимушка, сыночек, котик);

• осуждающие с оттенком пренебрежения: -ан-, -ян- (грубиян, мужлан);

• увеличительные: -ищ- (ножища, ручища). 

В грамматике эмоциональное отношение к чему-либо можно выражать, используя приставки эмоциональной оценки: превеликий, премудрый, премилый. 

Существуют синонимы, отличающиеся друг от друга своей эмоциональной окраской:

• глаза – нейтральное слово, просто данность;

• очи – устаревшее, поэтическое;

• гляделки – пренебрежительное, просторечное.

Значение слов в этом случае может быть специфическим. 

Экспрессивность может выступать отличительной чертой эмоционально окрашенных синонимов. Это выражается степенью выразительности обозначения. 

Например, в выражении «множество гостей», есть возможность заменить «множество» экспрессивными синонимами: масса, тьма, бездна, уйма, толпа.

Слова с эмоциональной окраской составляют большую часть нашего словарного оборота и являются незаменимой составляющей стихотворений.

Обозначение в словарях

Не только разговорная речь богата эмоциональными словами, в словарях их обозначают определенными отметками: просторечное, высокое, ирониче­ское, бранное, разговорное и пр.

К при­меру:

• лизоблюд, -а, м. (устар.) – прислуживающий кому-либо, двуличный человек;
• лодырь, -я, м. (разг.). – ленивый, неработающий. Гонять лодыря (прост.)— прохлаждаться;
• напрочь (прост.) – навсегда, навечно. Завершить, вырвать с корнем;
• дерзать (разг.) – стараться чего-то достигнуть.

Предложения и их эмоциональная окраска (интонация)

Каждое предложение передает какую-то мысль. При этом предложения также выражают эмоции говорящего или могут произноситься нейтрально.

По эмоциональной окраске предложения бывают:

Восклицательные предложения передают сильные эмоции говорящего, его чувства и отношения к происходящему: радость, взволнованность, огорчение, отчаяние, страх и т.д. В конце восклицательных предложений ставится восклицательный знак.

Например: Подожди! Откуда ты это достал?!

Восклицательными могут быть разные предложения по цели высказывания: повествовательные, вопросительные и побудительные. При этом они произносятся с подъёмом голоса, а слово, выражающее чувство, выделяется особо.

Какой теплый сегодня день! (повествовательное восклицательное предложение)

Как ты мог этого не заметить?! (вопросительное восклицательное предложение)

Посмотри внимательнее! (побудительное восклицательное предложение)

Например: Сегодня теплый день. Ты чувствуешь дуновение ветерка? Уже вечереет.

Невосклицательными могут быть разные предложения по цели высказывания: повествовательные, вопросительные, побудительные.

Я люблю чернику. (повествовательное невосклицательное предложение)

Ты любишь чернику? (вопросительное невосклицательное предложение)

Собери мне, пожалуйста, чернику. (побудительное невосклицательное предложение)

Поделись с друзьями в социальных сетях:

Источник

Таблица эмоций, чувств и аффектов с определениями

Эмоции и чувства

Эмоции гнева

Чувства гнева

Состояния гнева

Эмоции страха

Чувства страха

Состояния страха

Эмоции грусти

Чувства грусти

Состояния грусти

Эмоции радости

Чувства радости

Радостные настроения (Реакции / Состояния)

Настроения

Настроение – достаточно продолжительный эмоциональный процесс невысокой интенсивности, образующий эмоциональный фон для протекающих психических процессов. По эмоциональному тону может быть ровным, пониженным, повышенным, тревожным и др.

Аффекты

Аффект – эмоциональный процесс взрывного характера, характеризующийся кратковременностью и высокой интенсивностью. Сопровождается резко выраженными двигательными проявлениями и изменениями в работе внутренних органов.

События

Смирение — это трезвое видение самого себя. Смирение, можно условно разделить на три категории (для удобства восприятия), но по сути — это одно качество в трех различных проявлениях

Смирение по отношению к Богу — это видение своих грехов, надежда только на Божие милосердие, но не на собственные заслуги, любовь к Нему, соединенная с безропотным перенесением жизненных невзгод и трудностей

Смирение по отношению к другим людям — отсутствие гнева и раздражения даже на тех, кто, казалось бы, вполне заслуживает этого

Смирение по отношению к самому себе — человек, обладающий смирением по отношению к самому себе, не смотрит за недостатками других, зато прекрасно видит собственные. Более того, в любом конфликте, если он действительно виноват, он винит только себя, и на любое справедливое обвинение или даже оскорбление, вызванное его действием (бездействием), в свой адрес, такой человек готов произнести искреннее: «прости».

Слова выражающие чувства

Слова, выражающие злость:
рассерженный, раздраженный, ожесточенный, недовольный, взбешенный, сердитый, неистовый, враждебный, разгневанный, возмущенный, разъяренный.

Слова, выражающие любовь:
нежный, влюбленный, заботливый, обаятельный, пылкий, добрый, восхитительный, страстный, чувствительный, мягкий.

Слова, выражающие удивление:
пораженный, изумленный, поставленный в тупик, сбитый с толку, смущенный, потрясенный, озадаченный, ошеломленный, в недоумении, в шоке, оглушенный.

Слова, выражающие растерянность:
сконфуженный, озабоченный, разочарованный, смущенный, стесненный, расстроенный, опозоренный, пораженный, возбужденный, застенчивый, униженный, нервный, ошеломленный, робкий.

Слова, выражающие страх:
напуганный, взволнованный, встревоженный, озабоченный, угрожающий, испуганный, ужаснувшийся, беспокоившийся, остолбеневший, панический, дрожащий, запуганный, тревожный, обеспокоенный.

Слова, выражающие отвращение:
оскверненный, отвратительный, неприязненный, отталкивающий, тошнотворный.

Слова, выражающие вред:
ужасный, жульнический, гнетущий, безнадежный, мрачный, страшный, брошенный, надоедливый, пренебрегаемый, несправедливый, отвергнутый, возмущенный, испорченный, презренный, неуважаемый, униженный, раненный.

Слова, выражающие унижение:
преданный, пораженный, расплющенный, униженный, приниженный, глупый, беспомощный, неадекватный, неспособный, худший, оскорбленный, надоедливый, бессильный, недооцененный, непригодный, недостойный, бесполезный.

Слова, выражающие счастье:
блаженный, очаровательный, оживленный, восхищенный, восторженный, ликующий, победный, сказочный, головокружительный, довольный, удовлетворенный, возвышенный, веселый, радостный, обеспеченный, угодивший.

Слова, выражающие одиночество:
покинутый, одинокий, скучающий, осиротелый, несчастный, уволенный, опустошенный, исключенный, заброшенный, оставленный, игнорируемый, оставленный, игнорируемый, изолированный, обманутый, унылый, потерянный, отвергнутый, презренный, униженный.

Слова, выражающие грусть:
унылый, удрученный, подавленный, печальный, мрачный, суровый, угнетенный, угрюмый, гнетущий, безрадостный, приниженный, грустный, невеселый, жалкий, замкнутый, огорченный, скорбный, обеспокоенный, изнуренный.

Слова, выражающие полезность:
приятный, дружелюбный, благотворный, заботливый, совместный, сочувствующий, творческий, радушный, добрый, любезный, услужливый, поддерживающий, полезный.

Слова, характеризующие деятельность:
оживленный, храбрый, проворный, энергичный, активный, сильный, резвый, отважный, вдохновленный, бойкий, бодрый, мощный, крепкий, горячий, веселый, проворный, трепещущий, решительный, живой.

Источник

Какие есть эмоциональные окраски

Что такое эмоционально экспрессивная лексика

Стилистические функции

Существует большая пропасть между восприятием романа или повести, научно-популярной статьи, официальных бумаг. Это происходит не только за счёт наличия интересного, увлекательного сюжета. Язык литературного произведения близок к привычному нам разговорному стилю.

Использование метафор с экспрессивной окраской играет важную роль при написании монологов и диалогов литературных героев. Без применения этого обширного ресурса русского языка текст художественного произведения напоминал бы скорее стенографию бытового диалога персонажей.

Виды эмоционально окрашенных слов

пренебрежительные (крохобор, малевать);

По типу оценки

По части речи

Русский язык отличается богатством экспрессивной лексики. Эмоционально-экспрессивная окраска свойственна словам разных частей речи.

Междометия называют самым эмоциональным пластом слов. Поэтому употребление экспрессивной лексики в жизни встречается повсеместно. Междометия не предусматривают какой-либо информационной нагрузки. Они предназначены для обозначения эмоционально сильного места в написанном в разговорном стиле произведении.

Однозначные слова

Многозначные слова

С суффиксами эмоциональной оценки

Матушка-гусынюшка,
Нянюшка-графинюшка,
Не упало ли добро?

Примеры использования эмоционально экспрессивной лексики

В разговорной лексике

Главные черты разговорной лексики – эмоционально экспрессивная окрашенность, непринуждённая манера общения. К ней относятся слова, разные по стилистической окраске, способу выражения.

В семантике некоторых выражений (например, баламут) уже заложена оценочность.

Оценочный оттенок других создаётся сложением основ, использованием суффиксов (домина, сынуля). Особая эмоциональная окраска может быть и у слов фамильярных (сыночек, дедуля и т. д.).

Границы между разговорной и просторечной лексикой подвижны и зыбки. К последней относятся слова, не встречающиеся в обыденном лексиконе большинства культурных людей (отродясь, авось, давеча). В эмоциональном плане просторечная лексика выглядит грубоватой.

Многим словам свойственна сильная экспрессия, резко отрицательное отношение к какому-либо явлению.

В литературе

Богатство русской эмоционально-оценочной лексики трудно переоценить. В произведении Максима Горького для обозначения глаз человека используется резкое, грубое слово: «Погоди, книгожора, лопнут зенки-то». Именно использование эмоционально окрашенной лексики позволило автору добиться желаемого эффекта. Слово «зенки» свидетельствует о неодобрительной оценке говорящего. Оно характеризуется как просторечное, грубое.

Обозначение в словарях

Советы для писателей по употреблению эмоционально окрашенных слов

В книжной лексике активно используются высокие слова, которые придают речи торжественность. Она богата и эмоционально-экспрессивными словами, способными выражать как отрицательную, так и одобрительную оценку тех или иных понятий.

При работе под текстом автор может менять его эмоциональный настрой, тем самым воздействуя на восприятие читателя. Экспрессивно оценочные слова – важный инструмент в руках писателя. Они помогают растрогать или рассмешить читателя, сформировать негативное отношение к какому-либо явлению, вызвать воодушевление. Грамотный подход предусматривает использование нескольких вариантов речи в рамках одного произведения – например, риторически-торжественной, шутливой лексики. В противовес им используются слова в нейтральном контексте (выражения, которые лишены яркой стилистической окраски).

Умелое употребление эмоционально-экспрессивной лексики важно для формирования индивидуального авторского стиля. Способность грамотно пользоваться такими приёмами отличает мастеров слова от начинающих авторов, в полной мере не чувствующих настроения героев, контекста. Редактура текста опытным специалистом поможет избежать ошибок на этом этапе. Услуги издательской платформы «ЛитРес: Самиздат» — оптимальное решение для воплощения самых смелых авторских замыслов.

Источник