=&0=&: найдите время для самоанализа и самоанализа. Подумайте о своих интересах, ценностях и о том, что действительно заряжает вас энергией и мотивирует. Рассмотрите свой прошлый опыт, как положительный, так и отрицательный, чтобы понять, что резонирует с вами и в чем заключаются ваши сильные стороны.Определите свои сильные стороны: определите свои уникальные сильные стороны и таланты. Подумайте о действиях или задачах, в которых вы чувствуете себя уверенно, компетентно и в состоянии потока. Подумайте о том, чтобы получить обратную связь от тех, кто хорошо вас знает, чтобы получить разные точки зрения на ваши сильные стороны.Исследуйте свои увлечения: занимайтесь деятельностью, которая разжигает вашу страсть и любопытство. Обратите внимание на то, что приносит вам радость, удовлетворение и чувство цели. Следите за своими интересами и исследуйте различные хобби, предметы или карьерные пути, которые соответствуют вашим увлечениям.Ставьте значимые цели: ставьте значимые цели, соответствующие вашим ценностям и увлечениям. Наличие четких целей может дать вам направление и чувство цели. Ставьте как краткосрочные, так и долгосрочные цели, которые бросают вам вызов и вдохновляют.Примите установку на рост: развивайте установку на рост, которая охватывает проблемы, неудачи и непрерывное обучение. Воспринимайте неудачи как возможности для роста, а неудачи — как временные препятствия на пути к успеху. Примите образ мышления, который фокусируется на постоянном совершенствовании и личном развитии.Ищите поддержку и руководство: окружите себя поддерживающей сетью людей, которые верят в вас и могут предложить руководство и наставничество. Ищите образцы для подражания или наставников, которые нашли свое собственное место силы и могут поделиться идеями и советами, основанными на их опыте.Экспериментируйте и рискуйте: будьте открыты для новых экспериментов и выхода из зоны комфорта. Идите на просчитанный риск, соответствующий вашим увлечениям и целям. Используйте возможности для роста и обучения, даже если они кажутся сложными или незнакомыми.Прислушивайтесь к своей интуиции: обратите внимание на свою интуицию и внутренний голос. Доверяйте своим инстинктам и руководствуйтесь интуицией, принимая решения или используя возможности. Настройка на свою интуицию может помочь вам найти свое место силы.Практикуйте заботу о себе: позаботьтесь о своем физическом, психическом и эмоциональном благополучии. Отдайте предпочтение занятиям по уходу за собой, которые заряжают и омолаживают вас. Когда вы находитесь в состоянии равновесия и благополучия, становится легче использовать свою личную силу.
Помните, что поиск места силы — это путешествие, которое может включать исследование, самопознание и адаптацию. Будьте терпеливы к себе и примите этот процесс. Ваше место силы может развиваться и меняться с течением времени, когда вы растете и открываете новые аспекты себя. Будьте непредубежденными, оставайтесь верными своим ценностям и идите по тому пути, который кажется вам подлинным и приносящим удовлетворение.Подробнее ...
В программе, с помощью которой качаете (торрент-клиент) правый клик мышью на строке закачки и в меню выбрать “открыть папку”. Откроется папка в которую сохраняется данный файл. Если вы используете μtorrent – там же в меню – “дополнительно””загружать в…” можно сменить путь сохранения, если вы решили переместить файлы закачки в другое место.Подробнее ...
Узнать номер расчётного счёта онлайн можно с помощью банковских и других сервисов проверки. Чтобы получить больше данных, используйте несколько доступных способов. Если требуются платёжные реквизиты для совершения любых операций или нужно проверить, не заблокированы ли счета, достаточно одного варианта.Подробнее ...
По умолчанию в главном меню программы отображаются только часто используемые пункты, остальные скрыты. Включите их в меню “Сервис” —> “Настройка… ” —> закладка “Параметры” —> галочка “Всегда показывать полные меню”. Там же поставьте галочку “Отображать подсказки для кнопок”. см. тут!!!! ============================================================ Для отображения панелей инструментов используется диалоговое окно Настройка (выберите в меню Вид команду Панели инструментов, а затем — команду Настройка) . Для просмотра дополнительных кнопок нажмите кнопку Другие кнопки в конце панели инструментов. ) тутПодробнее ...
Приветствую, дорогие читатели! Вы понятия не имеете, что это значит? Неважно! В данном гайде мы подробно узнаем о Мире древних. Так что, все свои чакры концентрируем на данный гайд. Подробнее ...
Поиск текстов, не соответствующих тематике и нахождение похожих статей
Время на прочтение
5 мин
Количество просмотров 28K
У меня есть сайт со статьями схожей тематики. На сайте было две проблемы: спамерские сообщения и дубликаты статей, причём дубликаты часто являлись не точными копиями.
Данный пост повествует о том, как я решил эти проблемы.
Дано:
общее количество статей 140 000;
количество спама: примерно 16%;
количество не чётких дубликатов: примерно 63%;
Задача: избавиться от спама и дубликатов, а так же не допустить их дальнейшего появления.
Часть 1. Классификация на спам/не спам
Все статьи на моём сайте относятся к одной и той же тематике и, как правило, спамерсие/рекламные сообщения прилично отличаются по содержанию. Я решил вручную отсортировать некоторое количество статей. И на их основе построить классификатор. Для классификации будем считать косинусное расстояние между вектором проверяемой статьи и векторами двух групп (спам/не спам). К какой группе проверяемая статья ближе, к той и будем относить статью.
Сначала надо вручную классифицировать статьи. Набросал для этого форму с чекбоксами и собрал за несколько часов 650 статей спама и 2000 не спама.
Все посты очищаются от мусора – шумовых слов, которые не несут полезной нагрузки (причастия, междометия и пр). Для этого я собрал из разных словарей, которые нашёл в интернете, свой словарь шумовых слов.
Чтобы минимизировать количество различных форм одного слова, можно использовать стеммиг Портера. Я взял готовую реализацию на Java отсюда. Спасибо, Edunov
Из слов классифицированных статей, очищенных от шумовых слов и прогнанных через стемминг надо собрать словарь.
Из словаря удалим слова, которые встречаются только в одной статье.
Для каждой классифицированной вручную статьи считаем количество вхождений каждого слова из словаря. Получатся векторы, похожие на следующие:
Усиливаем в каждом векторе веса слов, считая для них TF-IDF. TF-IDF считается отдельно для каждой группы спам/не спам.
Сначала считаем TF (term frequency — частота слова) для каждой статьи. Это отношение количества вхождений конкретного слова к общему числу слов в статье:
где ni есть число вхождений слова в документ, а в знаменателе — общее число слов в данном документе.
Дальше считаем IDF (inverse document frequency — обратная частота документа). Инверсия частоты, с которой некоторое слово встречается в документах группы (спам/не спам). IDF уменьшает вес слов, которые часто употребляются в группе. Считается для каждой группы.
где
|D| — количество документов в группе;
di⊃ti — количество документов, в которых встречается ti (когда ni≠0).
Считаем TF-IDF:
Большой вес в TF-IDF получат слова с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах.
Для каждой группы формируем по одному вектору, считая среднее арифметическое каждого параметра внутри группы:
Чтобы проверить статью на спам, надо получить для нее количество вхождений слов из словаря. Посчитать для этих слов TF-IDF для спама и не спама. Получится два вектора (на изображении TF-IDF не спам и TF-IDF спам). IDF для расчётов, берём тот, который считали для классифицирующей выборки.
Для каждого вектора считаем косинусное расстояние с векторами для спама и не спама, соответственно. Косинусное расстояние – это мера похожести двух векторов. Скалярное произведение векторов и косинус угла θ между ними связаны следующим соотношением:
Имея два вектора A и B, получаем косинусное расстояние – cos(θ)
Код на Java
public static double cosine(double[] a, double[] b) {
double dotProd = 0;
double sqA = 0;
double sqB = 0;
for (int i = 0; i < a.length; i++) {
dotProd += a[i] * b[i];
sqA += a[i] * a[i];
sqB += b[i] * b[i];
}
return dotProd/(Math.sqrt(sqA)*Math.sqrt(sqB));
}
В результате получается диапазон от -1 до 1. -1 означает, что вектора полностью противоположны, 1, что они одинаковы.
Какое из полученных значений (для спама и не спама) будет ближе к 1, к той группе и будем относить статью.
При проверке схожести на не спам получилось число 0.87:
на спам – 0.62:
Следовательно, считаем, что статья – не спам.
Для тестирования я вручную отобрал ещё 700 записей. Точность результатов была 98%. При этом то, что классифицировалось ошибочно даже мне было сложно отнести к той или иной категории.
Часть 2. Поиск нечётких дубликатов
После очистки от спама осталось 118 000 статей.
Для поиска дубликатов я решил использовать инвертированный индекс (Inverted index). Индекс представляет собой структуру данных, где для каждого слова указывается, в каких документах оно содержится. Соответственно, если у нас есть набор слов, можно легко сделать запрос документов, содержащих эти слова.
Пример с Вики. Допустим, у нас есть следующие документы:
T[0] = "it is what it is"
T[1] = "what is it"
T[2] = "it is a banana"
Для этих документов построим индекс, указав, в каком документе содержится слово:
Микроволновая печь давно является неотъемлемой частью кухонной бытовой техники. Она значительно упрощает хлопоты на кухне и стала незаменимым помощником для каждой хозяйки. Однако, даже у такого прибора могут возникнуть неисправности, требующие срочного ремонта. К одной из распространенных проблем относится возникновение искрения внутри микроволновки.Подробнее ...
Сальдо – это разница между доходом и расходом за выбранный интервал времени. В бухгалтерском учете – это разница между дебетом и кредитом по выбранному счету и за определенный промежуток времени. Подробнее ...
