Рубрика: Разное

Бронштейн М.П. Как был взвешен атом //Квант. — 1970. — № 2. — С. 26-35.

По специальной договоренности с редколлегией и редакцией журнала “Квант”

Предисловие

К концу прошлого века в физике и химии утвердилась, как тогда говорили, гипотеза об атомах и молекулах — мельчайших частицах, из которых составлены все тела окружающего нас мира. В химии атомная гипотеза позволила понять и очень удобно описывать химические реакции: всякая реакция — это просто соединение атомов в молекулы или, наоборот, разложение молекул на атомы или группы атомов. Из анализа состава различных молекул химики сумели выяснить, что атомы разных элементов обладают различными массами. Им даже удалось узнать, во сколько раз один атом тяжелее или легче другого; уже к началу второй половины XIX столетия были известны так называемые атомные веса всех открытых к тому времени химических элементов, то есть числа, показывающие, во сколько раз атом данного химического элемента тяжелее самого легкого из атомов – водорода. Знаменитый русский химик Д. И. Менделеев, расположив химические элементы в порядке возрастания атомных весов, показал в 1869 году, что они образуют определенную систему, в которой свойства элементов периодически повторяются (периодическая система). В физике гипотеза об атомах и молекулах играла не менее важную роль. Она позволила физикам составить себе ясное представление о множестве самых различных явлений. Она помогла понять, что такое тепло и холод, почему тела при нагревании расширяются, почему всякое вещество может быть твердым, жидким и газообразным и многое другое. Чтобы все это понять, нужно было только дополнительно предположить, что атомы и молекулы непрерывно и беспорядочно движутся и что между ними действуют силы притяжения и отталкивания. Но при всем этом атомы оставались только некоторым представлением в головах людей. Их не только никто не видел, потому что они очень малы, но никто не знал, насколько они малы, каковы массы атомов, сколько атомов в том или ином теле. Нельзя сказать, чтобы не делались попытки все это как-то узнать. Но эти попытки не приводили к убедительным результатам. У некоторых ученых появилась даже уверенность в том, что об атомах и молекулах ничего и нельзя будет узнать, потому что их на самом деле не существует. Эти ученые полагали, что атомы — это нечто вроде меридианов и параллелей на географической карте: ими удобно пользоваться, но реально в природе их нет. Физики, однако, не теряли надежду доказать реальность атомов и молекул, взвесить их, сосчитать их число, определить их размеры. Подробнее ...

Нахождение минимального слова в строке предполагает нахождение его двух характеристик: это указатель на начало слова в строке и длина самого слова.

Для хранения этих характеристик лучше всего создать структуру из двух членов данных и использовать отдельную функцию, которая для любой строки будет находить минимальное слово.

Ниже приведена демонстрационная программа, которая показывает, как это можно сделать

#include <stdio.h> #include <ctype.h> struct Position { char *p; size_t n; }; Position min_word(const char *s) { Position min = { NULL, 0 }; while (*s) { while (isblank((unsigned char)*s)) ++s; if (*s) { Position current = { ( char * )s, 0 }; while (*s && !isblank((unsigned char)*s)) { ++current.n; ++s; } if (min.p == NULL || current.n < min.n) min = current; } } return min; } int main(void) { char s[] = "Hello hi chiao"; Position min = min_word(s); printf("The minimum word in the string is %*.*s with length of %zun", min.n, min.n, min.p, min.n); return 0; } Подробнее ...

Valheim

Not enough ratings

Что надо делать когда пишет is not valid in the current context

Это руководство объясняет тем игрокам которые использовали консоль но в один момент консоль отказалась работать и писала
is not valid in the current context
так вот как исправить проблему: Подробнее ...

Лучший ответ

Nighthawk

Высший разум

(118781)


11 лет назад

Что бы игра была на весь экран, зайдите в “Мои документы”/My Games/Skyrim и в файле SkyrimPrefs.ini смените значения bFull Screen=0 на bFull Screen=1, а ниже выставьте разрешение, например iSize H=1080 iSize W=1920 Подробнее ...

Как найти свое место силы?

Помните, что поиск места силы — это путешествие, которое может включать исследование, самопознание и адаптацию. Будьте терпеливы к себе и примите этот процесс. Ваше место силы может развиваться и меняться с течением времени, когда вы растете и открываете новые аспекты себя. Будьте непредубежденными, оставайтесь верными своим ценностям и идите по тому пути, который кажется вам подлинным и приносящим удовлетворение. Подробнее ...

В программе, с помощью которой качаете (торрент-клиент) правый клик мышью на строке закачки и в меню выбрать “открыть папку”. Откроется папка в которую сохраняется данный файл. Если вы используете μtorrent – там же в меню – “дополнительно””загружать в…” можно сменить путь сохранения, если вы решили переместить файлы закачки в другое место. Подробнее ...

Узнать номер расчётного счёта онлайн можно с помощью банковских и других сервисов проверки. Чтобы получить больше данных, используйте несколько доступных способов. Если требуются платёжные реквизиты для совершения любых операций или нужно проверить, не заблокированы ли счета, достаточно одного варианта. Подробнее ...

Олег Чищевой

Мыслитель

(9477)


12 лет назад

По умолчанию в главном меню программы отображаются только часто используемые пункты, остальные скрыты. Включите их в меню “Сервис” —> “Настройка… ” —> закладка “Параметры” —> галочка “Всегда показывать полные меню”. Там же поставьте галочку “Отображать подсказки для кнопок”. см. тут!!!!
============================================================
Для отображения панелей инструментов используется диалоговое окно Настройка (выберите в меню Вид команду Панели инструментов, а затем — команду Настройка) . Для просмотра дополнительных кнопок нажмите кнопку Другие кнопки в конце панели инструментов. ) тут Подробнее ...

04.07.2017, 21:01

#1

[RPG-servers] ThaumCraft – Мир древних.

ThaumCraft – Мир древних.

Сервера: TechnoMagic, Divine и RPG

Приветствую, дорогие читатели! Вы понятия не имеете, что это значит? Неважно! В данном гайде мы подробно узнаем о Мире древних. Так что, все свои чакры концентрируем на данный гайд. Подробнее ...

Поиск текстов, не соответствующих тематике и нахождение похожих статей

Время на прочтение
5 мин

Количество просмотров 28K

У меня есть сайт со статьями схожей тематики. На сайте было две проблемы: спамерские сообщения и дубликаты статей, причём дубликаты часто являлись не точными копиями.

Данный пост повествует о том, как я решил эти проблемы.

Дано:

• общее количество статей 140 000;
• количество спама: примерно 16%;
• количество не чётких дубликатов: примерно 63%;

Задача: избавиться от спама и дубликатов, а так же не допустить их дальнейшего появления.

Часть 1. Классификация на спам/не спам

Все статьи на моём сайте относятся к одной и той же тематике и, как правило, спамерсие/рекламные сообщения прилично отличаются по содержанию. Я решил вручную отсортировать некоторое количество статей. И на их основе построить классификатор. Для классификации будем считать косинусное расстояние между вектором проверяемой статьи и векторами двух групп (спам/не спам). К какой группе проверяемая статья ближе, к той и будем относить статью.

Сначала надо вручную классифицировать статьи. Набросал для этого форму с чекбоксами и собрал за несколько часов 650 статей спама и 2000 не спама.

Все посты очищаются от мусора – шумовых слов, которые не несут полезной нагрузки (причастия, междометия и пр). Для этого я собрал из разных словарей, которые нашёл в интернете, свой словарь шумовых слов.

Чтобы минимизировать количество различных форм одного слова, можно использовать стеммиг Портера. Я взял готовую реализацию на Java отсюда. Спасибо, Edunov

Из слов классифицированных статей, очищенных от шумовых слов и прогнанных через стемминг надо собрать словарь.

Из словаря удалим слова, которые встречаются только в одной статье.

Для каждой классифицированной вручную статьи считаем количество вхождений каждого слова из словаря. Получатся векторы, похожие на следующие:

Усиливаем в каждом векторе веса слов, считая для них TF-IDF. TF-IDF считается отдельно для каждой группы спам/не спам.

Сначала считаем TF (term frequency — частота слова) для каждой статьи. Это отношение количества вхождений конкретного слова к общему числу слов в статье:

где n_i есть число вхождений слова в документ, а в знаменателе — общее число слов в данном документе.

Дальше считаем IDF (inverse document frequency — обратная частота документа). Инверсия частоты, с которой некоторое слово встречается в документах группы (спам/не спам). IDF уменьшает вес слов, которые часто употребляются в группе. Считается для каждой группы.

где

• |D| — количество документов в группе;
• d_i⊃t_i — количество документов, в которых встречается t_i (когда n_i≠0).

Считаем TF-IDF:

Большой вес в TF-IDF получат слова с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах.

Для каждой группы формируем по одному вектору, считая среднее арифметическое каждого параметра внутри группы:

Чтобы проверить статью на спам, надо получить для нее количество вхождений слов из словаря. Посчитать для этих слов TF-IDF для спама и не спама. Получится два вектора (на изображении TF-IDF не спам и TF-IDF спам). IDF для расчётов, берём тот, который считали для классифицирующей выборки.

Для каждого вектора считаем косинусное расстояние с векторами для спама и не спама, соответственно. Косинусное расстояние – это мера похожести двух векторов. Скалярное произведение векторов и косинус угла θ между ними связаны следующим соотношением:

Имея два вектора A и B, получаем косинусное расстояние – cos(θ)

Код на Java

public static double cosine(double[] a, double[] b) {
    double dotProd = 0;
    double sqA = 0;
    double sqB = 0;
    for (int i = 0; i < a.length; i++) {
        dotProd += a[i] * b[i];
        sqA += a[i] * a[i];
        sqB += b[i] * b[i];
    }
    return dotProd/(Math.sqrt(sqA)*Math.sqrt(sqB));
}

В результате получается диапазон от -1 до 1. -1 означает, что вектора полностью противоположны, 1, что они одинаковы.

Какое из полученных значений (для спама и не спама) будет ближе к 1, к той группе и будем относить статью.

При проверке схожести на не спам получилось число 0.87:

на спам – 0.62:

Следовательно, считаем, что статья – не спам.

Для тестирования я вручную отобрал ещё 700 записей. Точность результатов была 98%. При этом то, что классифицировалось ошибочно даже мне было сложно отнести к той или иной категории.

Часть 2. Поиск нечётких дубликатов

После очистки от спама осталось 118 000 статей.

Для поиска дубликатов я решил использовать инвертированный индекс (Inverted index). Индекс представляет собой структуру данных, где для каждого слова указывается, в каких документах оно содержится. Соответственно, если у нас есть набор слов, можно легко сделать запрос документов, содержащих эти слова.

Пример с Вики. Допустим, у нас есть следующие документы:

T[0] = "it is what it is"
T[1] = "what is it"
T[2] = "it is a banana"

Для этих документов построим индекс, указав, в каком документе содержится слово:

"a":      {2}
"banana": {2}
"is":     {0, 1, 2}
"it":     {0, 1, 2}
"what":   {0, 1}

Все слова «what», «is» и «it» находятся в документах 0 и 1:

{0,1} ∩ {0,1,2} ∩ {0,1,2} = {0,1} Подробнее ...