SDS-2.2, Scalable Data Science
Russian Word Count
By Yevgen Ryeznik
And how to upload files into databricks distributed file system.
Archived YouTube video of this live unedited lab-lecture:
In 1965, a Russian writer Mikhail Aleksandrovich Sholokhov (1905-1984) was awarded the Nobel Prize for Literature for the book "And Quiet Flows the Don" (Tikhij Don).
This is a book about life and fate of Don Cossacks during the Russian Revolution, the civil war and the period of collectivization.
There existed a suspicion that the book had been written by a different writer.
In 2007, Norwegian mathematician Nils Lid Hjort (https://en.wikipedia.org/wiki/Nils*Lid*Hjort) made a statistical analysis of Sholokhov texts which gave full support to Sholokhov.
In this notebook, I attempt to obtain some frequency tables used in this analysis.
- We use an online library "http://www.lib.ru/"
- txt file "http://www.lib.ru/PROZA/SHOLOHOW/sudbache.txt\_Ascii.txt" -- "Fate of a Man"
- txt file "http://www.lib.ru/PROZA/SHOLOHOW/tihijdon12.txt\_Ascii.txt" -- "And Quiet Flows the Don" (vol 1-2)
- txt file "http://www.lib.ru/PROZA/SHOLOHOW/tihijdon34.txt\_Ascii.txt" -- "And Quiet Flows the Don" (vol 3-4)
rm -rf books
mkdir books && cd books
wget "http://www.lib.ru/PROZA/SHOLOHOW/sudbache.txt_Ascii.txt"
wget "http://www.lib.ru/PROZA/SHOLOHOW/tihijdon12.txt_Ascii.txt"
wget "http://www.lib.ru/PROZA/SHOLOHOW/tihijdon34.txt_Ascii.txt"
cat tihijdon12.txt_Ascii.txt tihijdon34.txt_Ascii.txt > tihijdon.txt
rm tihijdon12.txt_Ascii.txt
rm tihijdon34.txt_Ascii.txt
iconv -f KOI8-R -t utf8 sudbache.txt_Ascii.txt > sudba_cheloveka.txt
iconv -f KOI8-R -t utf8 tihijdon.txt > tihij_don.txt
rm sudbache.txt_Ascii.txt
rm tihijdon.txt
ls
cd books
ls
sudba_cheloveka.txt tihij_don.txt
dbutils.fs.mkdirs("dbfs:/datasets/books")
dbutils.fs.cp("file:/databricks/driver/books", "dbfs:/datasets/books", recurse=true)
display(dbutils.fs.ls("dbfs:/datasets/books"))
| path | name | size |
|---|---|---|
| dbfs:/datasets/books/sudba_cheloveka.txt | sudba_cheloveka.txt | 118871.0 |
| dbfs:/datasets/books/tihij_don.txt | tihij_don.txt | 5249071.0 |
// We read a file sudba_cheloveka.txt using sc.textFile.
// The actual text starts from 24th line, so we have to skip them
val sudba_cheloveka = sc.textFile("dbfs:/datasets/books/sudba_cheloveka.txt")
.zipWithIndex()
.filter(_._2 >= 24L)
.map(_._1)
.cache()
// 1) sentences are separated either with ? or ! or .
// we replace these sighs with &
// 2) there are possible simbols inside a sentences: ",", ":", ";","-"
// we replace them with empty string ""
val text_lines = sudba_cheloveka.map((line:String) => line
.replaceAll("""([?!.])""", "&")
.replaceAll("""([,:;-])""", "")
.replaceAll("\\s+", " ")
)
// collect all the test lines in Array[String] => we get sentences
val sentences = text_lines.collect.mkString(" ").replaceAll("\\s+", " ").split("&")
sudba_cheloveka: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[28] at map at command-2729835315514685:6 text_lines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[29] at map at command-2729835315514685:13 sentences: Array[String] = Array(" Первая послевоенная весна была на Верхнем Дону на редкость дружная и напористая", " В конце марта из Приазовья подули теплые ветры и уже через двое суток начисто оголились пески левобережья Дона в степи вспухли набитые снегом лога и балки взломав лед бешено взыграли степные речки и дороги стали почти совсем непроездны", " В эту недобрую пору бездорожья мне пришлось ехать в станицу Букановскую", " И расстояние небольшое всего лишь около шестидесяти километров но одолеть их оказалось не такто просто", " Мы с товарищем выехали до восхода солнца", " Пара сытых лошадей в струну натягивая постромки еле тащила тяжелую бричку", " Колеса по самую ступицу проваливались в отсыревший перемешанный со снегом и льдом песок и через час на лошадиных боках и стегнах под тонкими ремнями шлеек уже показались белые пышные хлопья мыла а в утреннем свежем воздухе остро и пьяняще запахло лошадиным потом и согретым деготьком щедро смазанной конской сбруи", " Там где было особенно трудно лошадям мы слезали с брички шли пешком", " Под сапогами хлюпал размокший снег идти было тяжело но по обочинам дороги все еще держался хрустально поблескивавший на солнце ледок и там пробираться было еще труднее", " Только часов через шесть покрыли расстояние в тридцать километров подъехали к переправе через речку Еланку", " Небольшая местами пересыхающая летом речушка против хутора Моховского в заболоченной поросшей ольхами пойме разлилась на целый километр", " Переправляться надо было на утлой плоскодонке поднимавшей не больше трех человек", " Мы отпустили лошадей", " На той стороне в колхозном сарае нас ожидал старенький видавший виды "виллис" оставленный там еще зимою", " Вдвоем с шофером мы не без опасения сели в ветхую лодчонку", " Товарищ с вещами остался на берегу", " Едва отчалили как из прогнившего днища в разных местах фонтанчиками забила вода", " Подручными средствами конопатили ненадежную посудину и вычерпывали из нее воду пока не доехали", " Через час мы были на той стороне Еланки", " Шофер пригнал из хутора машину подошел к лодке и сказал берясь за весло Если это проклятое корыто не развалится на воде часа через два приедем раньше не ждите", " Хутор раскинулся далеко в стороне и возле причала стояла такая тишина какая бывает в безлюдных местах только глухою осенью и в самом начале весны", " От воды тянуло сыростью терпкой горечью гниющей ольхи а с дальних прихоперских степей тонувших в сиреневой дымке тумана легкий ветерок нес извечно юный еле уловимый аромат недавно освободившейся изпод снега земли", " Неподалеку на прибрежном песке лежал поваленный плетень", " Я присел на него хотел закурить но сунув руку в правый карман ватной стеганки к великому огорчению обнаружил что пачка "Беломора" совершенно размокла", " Во время переправы волна хлестнула через борт низко сидевшей лодки по пояс окатила меня мутной водой", " Тогда мне некогда было думать о папиросах надо было бросив весло побыстрее вычерпывать воду чтобы лодка не затонула а теперь горько досадуя на свою оплошность я бережно извлек из кармана раскисшую пачку присел на корточки и стал по одной раскладывать на плетне влажные побуревшие папиросы", " Был полдень", " Солнце светило горячо как в мае", " Я надеялся что папиросы скоро высохнут", " Солнце светило так горячо что я уже пожалел о том что надел в дорогу солдатские ватные штаны и стеганку", " Это был первый после зимы понастоящему теплый день", " Хорошо было сидеть на плетне вот так одному целиком покорясь тишине и одиночеству и сняв с головы старую солдатскую ушанку сушить на ветерке мокрые после тяжелой гребли волосы бездумно следить за проплывающими в блеклой синеве белыми грудастыми облаками", " Вскоре я увидел как изза крайних дворов хутора вышел на дорогу мужчина", " Он вел за руку маленького мальчика судя по росту лет пятишести не больше", " Они устало брели по направлению к переправе но поравнявшись с машиной повернули ко мне", " Высокий сутуловатый мужчина подойдя вплотную сказал приглушенным баском Здорово браток", " Здравствуй", " Я пожал протянутую мне большую черствую руку", " Мужчина наклонился к мальчику сказал Поздоровайся с дядей сынок", " Он видать такой же шофер как и твой папанька", " Только мы с тобой на грузовой ездили а он вот эту маленькую машину гоняет", " Глядя мне прямо в глаза светлыми как небушко глазами чутьчуть улыбаясь мальчик смело протянул мне розовую холодную ручонку", " Я легонько потряс ее спросил Что же это у тебя старик рука такая холодная", " На дворе теплынь а ты замерзаешь", " С трогательной детской доверчивостью малыш прижался к моим коленям удивленно приподнял белесые бровки", " Какой же я старик дядя", " Я вовсе мальчик и я вовсе не замерзаю а руки холодные снежки катал потому что", " Сняв со спины тощий вещевой мешок устало присаживаясь рядом со мною отец сказал Беда мне с этим пассажиром", " Через него и я подбился", " Широко шагнешь он уже на рысь переходит вот и изволь к такому пехотинцу приноравливаться", " Там где мне надо раз шагнуть я три раза шагаю так и идем с ним враздробь как конь с черепахой", " А тут ведь за ним глаз да глаз нужен", " Чуть отвернешься а он уже по лужине бредет или леденику отломит и сосет вместо конфеты", " Нет не мужчинское это дело с такими пассажирами путешествовать да еще походным порядком", " Он помолчал немного потом спросил А ты что же браток свое начальство ждешь", " Мне было неудобно разуверять его в том что я не шофер и я ответил Приходится ждать", " С той стороны подъедут", " Да", " Не знаешь скоро ли подойдет лодка", " Часа через два", " Порядком", " Ну что ж пока отдохнем спешить мне некуда", " А я иду мимо гляжу свой братшофер загорает", " Дай думаю зайду перекурим вместе", " Одномуто и курить и помирать тошно", " А ты богато живешь папироски куришь", " Подмочил их стало быть", " Ну брат табак моченый что конь леченый никуда не годится", " Давайка лучше моего крепачка закурим", " Он достал из кармана защитных летних штанов свернутый в трубку малиновый шелковый потертый кисет развернул его и я успел прочитать вышитую на уголке надпись "Дорогому бойцу от ученицы 6го класса Лебедянской средней школы"", " Мы закурили крепчайшего самосада и долго молчали", " Я хотел было спросить куда он идет с ребенком какая нужда его гонит в такую распутицу но он опередил меня вопросом Ты что же всю войну за баранкой", " Почти всю", " На фронте", " Да", " Ну и мне там пришлось браток хлебнуть горюшка по ноздри и выше", " Он положил на колени большие темные руки сгорбился", " Я сбоку взглянул на него и мне стало чтото не по себе", "", "", " Видали вы когданибудь глаза словно присыпанные пеплом наполненные такой неизбывной смертной тоской что в них трудно смотреть", " Вот такие глаза были у моего случайного собеседника", " Выломав из плетня сухую искривленную хворостинку он с минуту молча водил ею по песку вычерчивая какието замысловатые фигуры а потом заговорил Иной раз не спишь ночью глядишь в темноту пустыми глазами и думаешь "За что же ты жизнь меня так покалечила", " За что так исказнила", " Нету мне ответа ни в темноте ни при ясном солнышке, "", "", " Нету и не дождусь", " И вдруг спохватился ласково подталкивая сынишку сказал Пойди милок поиграйся возле воды у большой воды для ребятишек всегда какаянибудь добыча найдется", " Только гляди ноги не промочи", " Еще когда мы в молчании курили я украдкой рассматривая отца и сынишку с удивлением отметил про себя одно странное на мой взгляд обстоятельство Мальчик был одет просто но добротно и в том как сидела на нем подбитая легкой поношенной цигейкой длиннополая курточка и в том что крохотные сапожки были сшиты с расчетом надевать их на шерстяной носок и очень искусный шов на разорванном когдато рукаве курточки все выдавало женскую заботу умелые материнские руки", " А отец выглядел иначе прожженный в нескольких местах ватник был небрежно и грубо заштопан латка на выношенных защитных штанах не пришита как следует а скорее наживлена широкими мужскими стежками на нем были почти новые солдатские ботинки но плотные шерстяные носки изъедены молью их не коснулась женская рука", "", "", " Еще тогда я подумал "Или вдовец или живет не в ладах с женой"", " Но вот он проводив глазами сынишку глухо покашлял снова заговорил и я весь превратился в слух", " Поначалу жизнь моя была обыкновенная", " Сак я уроженец Воронежской губернии с тысяча девятьсотого года рождения", " В гражданскую войну был в Красной Армии в дивизии Киквидзе", " В голодный двадцать второй год подался на Кубань ишачить на кулаков потому и уцелел", " А отец с матерью и сестренкой дома померли от голода", " Остался один", " Родни хоть шаром покати нигде никого ни одной души", " Ну через год вернулся с Кубани хатенку продал поехал в Воронеж", " Поначалу работал в плотницкой артели потом пошел на завод выучился на слесаря", " Вскорости женился", " Жена воспитывалась в детском доме", " Сиротка", " Хорошая попалась мне девка", " Смирная веселая угодливая и умница не мне чета", " Она с детства узнала почем фунт лиха стоит может это и сказалось на ее характере", " Со стороны глядеть не так уж она была из себя видная но ведь ято не со стороны на нее глядел а в упор", " И не было для меня красивее и желанней ее не было на свете и не будет", " Придешь с работы усталый а иной раз и злой как черт", " Нет на грубое слово она тебе не нагрубит в ответ", " Ласковая тихая не знает где тебя усадить бьется чтобы и при малом достатке сладкий кусок тебе сготовить", " Смотришь на нее и отходишь сердцем а спустя немного обнимешь ее скажешь "Прости милая Иринка нахамил я тебе", " Понимаешь с работой у меня нынче не заладилось"", " И опять у нас мир и у меня покой на душе", " А ты знаешь браток что это означает для работы", " Утром я встаю как встрепанный иду на завод и любая работа у меня в руках кипит и спорится", " Вот что это означает иметь умную женуподругу", " Приходилось коекогда после получки и выпивать с товарищами", " Коекогда бывало и так что идешь домой и такие кренделя ногами выписываешь что со стороны небось глядеть страшно", " Тесна тебе улица да и шабаш не говоря уже про переулки", " Парень я был тогда здоровый и сильный как дьявол выпить мог много а до дому всегда добирался на своих ногах", " Но случалось иной раз и так что последний перегон шел на первой скорости то есть на четвереньках однако же добирался", " И опять же ни тебе упрека ни крика ни скандала", " Только посмеивается моя Иринка да и то осторожно чтобы я спьяну не обиделся", " Разует меня и шепчет "Ложись к стенке Андрюша а то сонный упадешь с кровати"", " Ну я как куль с овсом упаду и все поплывет перед глазами", " Только слышу сквозь сон что она по голове меня тихонько гладит рукою и шепчет чтото ласковое жалеет значит", "", "", " Утром она меня часа за два до работы на ноги подымет чтобы я размялся", " Знает что на похмелье я ничего есть не буду ну достанет огурец соленый или еще чтонибудь по легости нальет граненый стаканчик водки", " "Похмелись Андрюша только больше не надо мой милый"", " Да разве же можно не оправдать такого доверия", " Выпью поблагодарю ее без слов одними глазами поцелую и пошел на работу как миленький", " А скажи она мне хмельному слово поперек крикни или обругайся и я бы как бог свят и на второй день напился", " Так бывает в иных семьях где жена дура насмотрелся я на таких шалав знаю", " Вскорости дети у нас пошли", " Сначала сынишка родился через год еще две девочки", "", "", " Тут я от товарищей откололся", " Всю получку домой несу семья стала числом порядочная не до выпивки", " В выходной кружку пива выпью и на этом ставлю точку", " В двадцать девятом году завлекли меня машины", " Изучил автодело сел за баранку на грузовой", " Потом втянулся и уже не захотел возвращаться на завод", " За рулем показалось мне веселее", " Так и прожил десять лет и не заметил как они прошли", " Прошли как будто во сне", " Да что десять лет", " Спроси у любого пожилого человека приметил он как жизнь прожил", " Ни черта он не приметил", " Прошлое вот как та дальняя степь в дымке", " Утром я шел по ней все было ясно кругом а отшагал двадцать километров и вот уже затянула степь дымка и отсюда уже не отличишь лес от бурьяна пашню от травокоса", "", "", " Работал я эти десять лет и день и ночь", " Зарабатывал хорошо и жили мы не хуже людей", " И дети радовали все трое учились на "отлично" а старшенький Анатолий оказался таким способным к математике что про него даже в центральной газете писали", " Откуда у него проявился такой огромадный талант к этой науке я и сам браток не знаю", " Только очень мне это было лестно и гордился я им страсть как гордился", " За десять лет скопили мы немного деньжонок и перед войной поставили тебе домишко об двух комнатах с кладовкой и коридорчиком", " Ирина купила двух коз", " Чего еще больше надо", " Дети кашу едят с молоком крыша над головою есть одеты обуты стало быть все в порядке", " Только построился я неловко", " Отвели мне участок в шесть соток неподалеку от авиазавода", " Будь моя хибарка в другом месте может и жизнь сложилась бы иначе", "", "", " А тут вот она война", " На второй день повестка из военкомата а на третий пожалуйте в эшелон", " Провожали меня все четверо моих Ирина Анатолий и дочери Настенька и Олюшка", " Все ребята держались молодцом", " Ну у дочерей не без того посверкивали слезинки", " Анатолий только плечами передергивал как от холода ему к тому времени уже семнадцатый год шел а Ирина моя", "", "", " Такой я ее за все семнадцать лет нашей совместной жизни ни разу не видал", " Ночью у меня на плече и на груди рубаха от ее слез не просыхала и утром такая же история", "", "", " Пришли на вокзал а я на нее от жалости глядеть не могу губы от слез распухли волосы изпод платка выбились и глаза мутные несмысленные как у тронутого умом человека", " Командиры объявляют посадку а она упала мне на грудь руки на моей шее сцепила и вся дрожит будто подрубленное дерево", "", "", " И детишки ее уговаривают и я ничего не помогает", " Другие женщины с мужьями с сыновьями разговаривают а моя прижалась ко мне как лист к ветке и только вся дрожит а слова вымолвить не может", " Я и говорю ей "Возьми же себя в руки милая моя Иринка", " Скажи мне хоть слово на прощанье"", " Она и говорит и за каждым словом всхлипывает "Родненький мой", "", "", " Андрюша", "", "", " не увидимся мы с тобой", "", "", " больше", "", "", " на этом", "", "", " свете"", "", "", " Тут у самого от жалости к ней сердце на части разрывается а тут она с такими словами", " Должна бы понимать что мне тоже нелегко с ними расставаться не к теще на блины собрался", " Зло меня тут взяло", " Силой я разнял ее руки и легонько толкнул в плечи", " Толкнул вроде легонько а силато у меня", " была дурачья она попятилась шага три ступнула назад и опять ко мне идет мелкими шажками руки протягивает а я кричу ей "Да разве же так прощаются", " Что ты меня раньше времени заживо хоронишь", "", " Ну опять обнял ее вижу что она не в себе, "", "", " Он на полуслове резко оборвал рассказ и в наступившей тишине я услышал как у него чтото клокочет и булькает в горле", " Чужое волнение передалось и мне", " Искоса взглянул я на рассказчика но ни единой слезинки не увидел в его словно бы мертвых потухших глазах", " Он сидел понуро склонив голову только большие безвольно опущенные руки мелко дрожали дрожал подбородок дрожали твердые губы", "", "", " Не надо друг не вспоминай", " тихо проговорил я но он наверное не слышал моих слов и какимто огромным усилием воли поборов волнение вдруг сказал охрипшим странно изменившимся голосом До самой смерти до последнего моего часа помирать буду а не прощу себе что тогда ее оттолкнул", "", "", " Он снова и надолго замолчал", " Пытался свернуть папиросу но газетная бумага рвалась табак сыпался на колени", " Наконец он все же коекак сделал крученку несколько раз жадно затянулся и покашливая продолжал Оторвался я от Ирины взял ее лицо в ладони целую а у нее губы как лед", " С детишками попрощался бегу к вагону уже на ходу вскочил на подножку", " Поезд взял с места тихотихо проезжать мне мимо своих", " Гляжу детишки мои осиротелые в кучку сбились руками мне машут хотят улыбаться а оно не выходит", " А Ирина прижала руки к груди губы белые как мел чтото она ими шепчет смотрит на меня не сморгнет а сама вся вперед клонится будто хочет шагнуть против сильного ветра", "", "", " Такой она и в памяти мне на всю жизнь осталась руки прижатые к груди белые губы и широко раскрытые глаза полные слез", "", "", " По большей части такой я ее и во сне всегда вижу", "", "", " Зачем я ее тогда оттолкнул", " Сердце до сих пор как вспомню будто тупым ножом режут", "", "", " Формировали нас под Белой Церковью на Украине", " Дали мне ЗИС5", " На нем и поехал на фронт", " Ну про войну тебе нечего рассказывать сам видал и знаешь как оно было поначалу", " От своих письма получал часто а сам крылатки посылал редко", " Бывало напишешь что мол все в порядке помаленьку воюем и хотя сейчас отступаем но скоро соберемся с силами и тогда дадим фрицам прикурить", " А что еще можно было писать", " Тошное время было не до писаний было", " Да и признаться и сам я не охотник был на жалобных струнах играть и терпеть не мог этаких слюнявых какие каждый день к делу и не к делу женам и милахам писали сопли по бумаге размазывали", " Трудно дескать ему тяжело того и гляди убьют", " И вот он сука в штанах жалуется сочувствия ищет слюнявится а того не хочет понять что этим разнесчастным бабенкам и детишкам не слаже нашего в тылу приходилось", " Вся держава на них оперлась", " Какие же это плечи нашим женщинам и детишкам надо было иметь чтобы под такой тяжестью не согнуться", " А вот не согнулись выстояли", " А такой хлюст мокрая душонка напишет жалостное письмо и трудящую женщину как рюхой под ноги", " Она после этого письма горемыка и руки опустит и работа ей не в работу", " Нет", " На то ты и мужчина на то ты и солдат чтобы все вытерпеть все снести если к этому нужда позвала", " А если в тебе бабьей закваски больше чем мужской то надевай юбку со сборками чтобы свой тощий зад прикрыть попышнее чтобы хоть сзади на бабу был похож и ступай свеклу полоть или коров доить а на фронте ты такой не нужен там и без тебя вони много", " Только не пришлось мне и года повоевать", "", "", " Два раза за это время был ранен но оба раза по легости один раз в мякоть руки другой в ногу первый раз пулей с самолета другой осколком снаряда", " Дырявил немец мою машину и сверху и с боков но мне браток везло на первых порах", " Везловезло да и довезло до самой ручки", "", "", " Попал я в плен под Лозовеньками в мае сорок второго года при таком неловком случае немец тогда здорово наступал и оказалась одна наша стодвадцатидвухмиллиметровая гаубичная батарея почти без снарядов нагрузили мою машину снарядами по самую завязку и сам я на погрузке работал так что гимнастерка к лопаткам прикипала", " Надо было сильно спешить потому что бой приближался к нам слева чьито танки гремят справа стрельба идет впереди стрельба и уже начало попахивать жареным", "", "", " Командир нашей", " автороты спрашивает "Проскочишь Соколов", " А тут и спрашивать нечего было, " Там товарищи мои может погибают а я тут чухаться буду", " "Какой разговор", " отвечаю ему", " Я должен проскочить и баста", " "Ну говорит дуй, " Жми на всю железку", " Я и подул, " В жизни так не ездил как на этот раз", " Знал что не картошку везу что с этим грузом осторожность в езде нужна но какая же тут может быть осторожность когда там ребята с пустыми руками воюют когда дорога вся насквозь артогнем простреливается", " Пробежал километров шесть скоро мне уже на проселок сворачивать чтобы пробраться к балке где батарея стояла а тут гляжу мать честная пехотка наша и справа и слева от грейдера по чистому полю сыплет и уже мины рвутся по их порядкам", " Что мне делать", " Не поворачивать же назад", " Давлю вовсю", " И до батареи остался какойнибудь километр уже свернул я на проселок а добраться до своих мне браток не пришлось", "", "", " Видно из дальнобойного тяжелый положил он мне возле машины", " Не слыхал я ни разрыва ничего только в голове будто чтото лопнуло и больше ничего не помню", " Как остался я живой тогда не понимаю и сколько времени пролежал метрах в восьми от кювета не соображу", " Очнулся а встать на ноги не могу голова у меня дергается всего трясет будто в лихорадке в глазах темень в левом плече чтото скрипит и похрустывает и боль во всем теле такая как скажи меня двое суток подряд били чем попадя", " Долго я по земле на животе елозил но коекак встал", " Однако опять же ничего не пойму где я и что со мной стряслось", " Памятьто мне начисто отшибло", " А обратно лечь боюсь", " Боюсь что ляжу и больше не встану помру", " Стою и качаюсь из стороны в сторону как тополь в бурю", " Когда пришел в себя опомнился и огляделся как следует сердце будто ктото плоскогубцами сжал кругом снаряды валяются какие я вез неподалеку моя машина вся в клочья побитая лежит вверх колесами а бойто бойто уже сзади меня идет", "", "", " Это как", " Нечего греха таить вот тутто у меня ноги сами собою подкосились и я упал как срезанный потому что понял что я в плену у фашистов", " Вот как оно на войне бывает", "", "", " Ох браток нелегкое это дело понять что ты не по своей воле в плену", " Кто этого на своей шкуре не испытал тому не сразу в душу въедешь чтобы до него почеловечески дошло что означает эта штука", " Ну вот стало быть лежу я и слышу танки гремят", " Четыре немецких средних танка на полном газу прошли мимо меня туда откуда я со снарядами выехал", "", "", " Каково это было переживать", " Потом тягачи с пушками потянулись полевая кухня проехала потом пехота пошла не густо так не больше одной битой роты", " Погляжу погляжу на них краем глаза и опять прижмусь щекой к земле глаза закрою тошно мне на них глядеть и на сердце тошно", "", "", " Думал все прошли приподнял голову а их шесть автоматчиков вот они шагают метрах в ста от меня", " Гляжу сворачивают с дороги и прямо ко мне", " Идут молчаком", " "Вот думаю и смерть моя на подходе"", " Я сел неохота лежа помирать потом встал", " Один из них не доходя шагов нескольких плечом дернул автомат снял", " И вот как потешно человек устроен никакой паники ни сердечной робости в эту минуту у меня не было", " Только гляжу на него и думаю "Сейчас даст он по мне короткую очередь а куда будет бить", " В голову или поперек груди", " Как будто мне это не один черт какое место он в моем теле прострочит, " Молодой парень собою ладный такой чернявый а губы тонкие в нитку и глаза с прищуром", " "Этот убьет и не задумается" соображаю про себя", " Так оно и есть вскинул автомат я ему прямо в глаза гляжу молчу а другой ефрейтор что ли постарше его возрастом можно сказать пожилой чтото крикнул отодвинул его в сторону подошел ко мне лопочет посвоему и правую руку мою в локте сгибает мускул значит щупает", " Попробовал и говорит "Ооо", " и показывает на дорогу на заход солнца, " Топай мол рабочая скотинка трудиться на наш райх", " Хозяином оказался сукин сын", " Но чернявый присмотрелся на мои сапоги а они у меня с виду были добрые показывает рукой "Сымай"", " Сел я на землю снял сапоги подаю ему", " Он их из рук у меня прямотаки выхватил", " Размотал я портянки протягиваю ему а сам гляжу на него снизу вверх", " Но он заорал заругался посвоему и опять за автомат хватается", " Остальные ржут", " С тем помирному и отошли", " Только этот чернявый пока дошел до дороги раза три оглянулся на меня глазами сверкает как волчонок злится а чего", " Будто я с него сапоги снял а не он с меня", " Что ж браток деваться мне было некуда", " Вышел я на дорогу выругался страшным кучерявым воронежским матом и зашагал на запад в плен", "", "", " А ходок тогда из меня был никудышный в час по километру не больше", " Ты хочешь вперед шагнуть а тебя из стороны в сторону качает возит по дороге как пьяного", " Прошел немного и догоняет меня колонна наших пленных из той же дивизии в какой я был", " Гонят их человек десять немецких автоматчиков", " Тот какой впереди колонны шел поравнялся со мною и не говоря худого слова наотмашь хлыстнул меня ручкой автомата по голове", " Упади я и он пришил бы меня к земле очередью но наши подхватили меня на лету затолкали в средину и с полчаса вели под руки", " А когда я очухался один из них шепчет "Боже тебя упаси падать", " Иди из последних сил а не то убьют"", " И я из последних сил но пошел", " Как только солнце село немцы усилили конвой на грузовой подкинули еще человек двадцать автоматчиков погнали нас ускоренным маршем", " Сильно раненные наши не могли поспевать за остальными и их пристреливали прямо на дороге", " Двое попытались бежать а того не учли что в лунную ночь тебя в чистом поле чертте насколько видно ну конечно и этих постреляли", " В полночь пришли мы в какоето полусожженное село", " Ночевать загнали нас в церковь с разбитым куполом", " На каменном полу ни клочка соломы а все мы без шинелей в одних гимнастерках и штанах так что постелить и разу нечего", " Кое на ком даже и гимнастерок не было одни бязевые исподние рубашки", " В большинстве это были младшие командиры", " Гимнастерки они посымали чтобы их от рядовых нельзя было отличить", " И еще артиллерийская прислуга была без гимнастерок", " Как работали возле орудий растелешенные так и в плен попали", " Ночью полил такой сильный дождь что все мы промокли насквозь", " Тут купол снесло тяжелым снарядом или бомбой с самолета а тут крыша вся начисто побитая осколками сухого места даже в алтаре не найдешь", " Так всю ночь и прослонялись мы в этой церкви как овцы в темном котухе", " Среди ночи слышу ктото трогает меня за руку спрашивает "Товарищ ты не ранен", " Отвечаю ему "А тебе что надо браток, " Он и говорит "Я военврач может быть могу тебе чемнибудь помочь, " Я пожаловался ему что у меня левое плечо скрипит и пухнет и ужасно как болит, " Он твердо так говорит "Сымай гимнастерку и нижнюю рубашку"", " Я снял все это с себя он и начал руку в плече прощупывать своими тонкими пальцами да так что я света не взвидел", " Скриплю зубами и говорю ему "Ты видно ветеринар а не людской доктор", " Что же ты по больному месту давишь так бессердечный ты человек", " А он все щупает и злобно так отвечает "Твое дело помалкивать, " Тоже мне разговорчики затеял", " Держись сейчас еще больнее будет"", " Да с тем как дернет мою руку аж красные искры у меня из глаз посыпались", " Опомнился я и спрашиваю "Ты что же делаешь фашист несчастный", " У меня рука вдребезги разбитая а ты ее так рванул"", " Слышу он засмеялся потихоньку и говорит "Думал что ты меня ударишь с правой но ты оказывается смирный парень", " А рука у тебя не разбита а выбита была вот я ее на место и поставил", " Ну как теперь полегче тебе", " И в самом деле чувствую по себе что боль кудато уходит, " Поблагодарил я его душевно и он дальше пошел в темноте потихоньку спрашивает "Раненые есть", " Вот что значит настоящий доктор, " Он и в плену и в потемках свое великое дело делал", " Беспокойная это была ночь", " До ветру не пускали об этом старший конвоя предупредил еще когда попарно загоняли нас в церковь", " И как на грех приспичило одному богомольному из наших выйти по нужде", " Крепилсякрепился он а потом заплакал", " "Не могу говорит осквернять святой храм", " Я же верующий я христианин", " Что мне делать братцы", " А наши знаешь какой народ, " Одни смеются другие ругаются третьи всякие шуточные советы ему дают", " Развеселил он всех нас а кончилась эта канитель очень даже плохо начал он стучать в дверь и просить чтобы его выпустили", " Ну и допросился дал фашист через дверь во всю ее ширину длинную очередь и богомольца этого убил и еще трех человек а одного тяжело ранил к утру он скончался", " Убитых", " сложили мы в одно место присели все притихли и призадумались началото не очень веселое", "", "", " А немного погодя заговорили вполголоса зашептались кто откуда какой области как в плен попал в темноте товарищи из одного взвода или знакомцы из одной роты порастерялись начали один одного потихоньку окликать", " И слышу я рядом с собой такой тихий разговор", " Один говорит "Если завтра перед тем как гнать нас дальше нас выстроят и будут выкликать комиссаров коммунистов и евреев то ты взводный не прячься", " Из этого дела у тебя ничего не выйдет", " Ты думаешь если гимнастерку снял так за рядового сойдешь", " Не выйдет", " Я за тебя отвечать не намерен", " Я первый укажу на тебя", " Я же знаю что ты коммунист и меня агитировал вступать в партию вот и отвечай за свои дела"", " Это говорит ближний ко мне какой рядом со мной сидит слева а с другой стороны от него чейто молодой голос отвечает "Я всегда подозревал что ты Крыжнев нехороший человек", " Особенно когда ты отказался вступать в партию ссылаясь на свою неграмотность", " Но никогда я не думал что ты сможешь стать предателем", " Ведь ты же окончил семилетку", " Тот лениво так отвечает своему взводному "Ну окончил и что из этого, " Долго они молчали потом по голосу взводный тихо так говорит "Не выдавай меня товарищ Крыжнев", " А тот засмеялся тихонько", " "Товарищи говорит остались за линией фронта а я тебе не товарищ и ты меня не проси все равно укажу на тебя", " Своя рубашка к телу ближе"", " Замолчали они а меня озноб колотит от такой подлючности", " "Нет думаю не дам я тебе сучьему сыну выдать своего командира", " Ты у меня из этой церкви не выйдешь а вытянут тебя как падлу за ноги", " Чутьчуть рассвело вижу рядом со мной лежит на спине мордатый парень руки за голову закинул а около него сидит в одной исподней рубашке колени обнял худенький такой курносенький парнишка и очень собою бледный, " "Ну думаю не справится этот парнишка с таким толстым мерином", " Придется мне его кончать"", " Тронул я его рукою спрашиваю шепотом "Ты взводный", " Он ничего не ответил только головою кивнул, " "Этот хочет тебя выдать", " показываю я на лежачего парня, " Он обратно головою кивнул", " "Ну говорю держи ему ноги чтобы не брыкался", " Да поживей", " а сам упал на этого парня и замерли мои пальцы у него на глотке, " Он и крикнуть не успел", " Подержал его под собой минут несколько приподнялся", " Готов предатель и язык набоку", " До того мне стало нехорошо после этого и страшно захотелось руки помыть будто я не человека а какогото гада ползучего душил", "", "", " Первый раз в жизни убил и то своего", "", "", " Да какой же он свой", " Он же худее чужого предатель", " Встал и говорю взводному "Пойдем отсюда товарищ церковь велика"", " Как и говорил этот Крыжнев утром всех нас выстроили возле церкви оцепили автоматчиками и трое эсэсовских офицеров начали отбирать вредных им людей", " Спросили кто коммунисты командиры комиссары но таковых не оказалось", " Не оказалось и сволочи какая могла бы выдать потому что и коммунистов среди нас было чуть не половина и командиры были и само собою и комиссары были", " Только четырех и взяли из двухсот с лишним человек", " Одного еврея и трех русских рядовых", " Русские попали в беду потому что все трое были чернявые и с кучерявинкой в волосах", " Вот подходят к такому спрашивают "Юде", " Он говорит что русский но его и слушать не хотят, " "Выходи" и все", " Расстреляли этих бедолаг а нас погнали дальше", " Взводный с каким мы предателя придушили до самой Познани возле меня держался и в первый день нетнет да и пожмет мне руку", " В Познани нас разлучили по одной такой причине", " Видишь какое дело браток еще с первого дня задумал я уходить к своим", " Но уходить хотел наверняка", " До самой Познани где разместили нас в настоящем лагере ни разу не предоставился мне подходящий случай", " А в Познанском лагере вроде такой случай нашелся в конце мая послали нас в лесок возле лагеря рыть могилы для наших же умерших военнопленных много тогда нашего брата мерло от дизентерии рою я познанскую глину а сам посматриваю кругом и вот приметил что двое наших охранников сели закусывать а третий придремал на солнышке", " Бросил я", " лопату и тихо пошел за куст", "", "", " А потом бегом держу прямо на восход солнца", "", "", " Видать не скоро они спохватились мои охранники", " А вот откуда у меня у такого тощалого силы взялись чтобы пройти за сутки почти сорок километров сам не знаю", " Только ничего у меня не вышло из моего мечтания на четвертые сутки когда я был уже далеко от проклятого лагеря поймали меня", " Собаки сыскные шли по моему следу они меня и нашли в некошеном овсе", " На заре побоялся я идти чистым полем а до леса было не меньше трех километров я залег в овсе на дневку", " Намял в ладонях зерен пожевал немного и в карманы насыпал про запас и вот слышу собачий брех и мотоцикл трещит", "", "", " Оборвалось у меня сердце потому что собаки все ближе голоса подают", " Лег я плашмя и закрылся руками чтобы они мне хоть лицо не обгрызли", " Ну добежали и в одну минуту спустили с меня все мое рванье", " Остался в чем мать родила", " Катали они меня по овсу как хотели и под конец один кобель стал мне на грудь передними лапами и целится в глотку но пока еще не трогает", " На двух мотоциклах подъехали немцы", " Сначала сами били в полную волю а потом натравили на меня собак и с меня только кожа с мясом полетели клочьями", " Голого всего в крови и привезли в лагерь", " Месяц отсидел в карцере за побег но всетаки живой", "", "", " живой я остался", "", "", " Тяжело мне браток вспоминать а еще тяжелее рассказывать о том что довелось пережить в плену", " Как вспомнишь нелюдские муки какие пришлось вынести там в Германии как вспомнишь всех друзейтоварищей какие погибли замученные там в лагерях сердце уже не в груди а в глотке бьется и трудно становится дышать", "", "", " Куда меня только не гоняли за два года плена", " Половину Германии объехал за это время и в Саксонии был на силикатном заводе работал и в Рурской области на шахте уголек откатывал и в Баварии на земляных работах горб наживал и в Тюрингии побыл и чертте где только не пришлось по немецкой земле походить", " Природа везде там браток разная но стреляли и били нашего брата везде одинаково", " А били богом проклятые гады и паразиты так как у нас сроду животину не бьют", " И кулаками били и ногами топтали и резиновыми палками били и всяческим железом какое под руку попадется не говоря уже про винтовочные приклады и прочее дерево", " Били за то что ты русский за то что на белый свет еще смотришь за то что на них сволочей работаешь", " Били и за то что не так взглянешь не так ступнешь не так повернешься", " Били запросто для того чтобы когданибудь да убить до смерти чтобы захлебнулся своей последней кровью и подох от побоев", " Печейто наверное на всех нас не хватало в Германии", " И кормили везде как есть одинаково полтораста грамм эрзацхлеба пополам с опилками и жидкая баланда из брюквы", " Кипяток где давали а где нет", " Да что там говорить суди сам до войны весил я восемьдесят шесть килограмм а к осени тянул уже не больше пятидесяти", " Одна кожа осталась на костях да и костито свои носить было не под силу", " А работу давай и слова не скажи да такую работу что ломовой лошади и то не в пору", " В начале сентября из лагеря под городом Кюстрином перебросили нас сто сорок два человека советских военнопленных в лагерь Б14 неподалеку от Дрездена", " К тому времени в этом лагере было около двух тысяч наших", " Все работали на каменном карьере вручную долбили резали крошили немецкий камень", " Норма четыре кубометра в день на душу заметь на такую душу какая и без этого чутьчуть на одной ниточке в теле держалась", " Тут и началось через два месяца от ста сорока двух человек нашего эшелона осталось нас пятьдесят семь", " Это как браток", " Лихо", " Тут своих не успеваешь хоронить а тут слух по лагерю идет будто немцы уже Сталинград взяли и прут дальше на Сибирь", " Одно горе к другому да так гнут что глаз от земли не подымаешь вроде и ты туда в чужую немецкую землю просишься", " А лагерная охрана каждый день пьет песни горланят радуются ликуют", " И вот както вечером вернулись мы в барак с работы", " Целый день дождь шел лохмотья на нас хоть выжми все мы на холодном ветру продрогли как собаки зуб на зуб не попадает", " А обсушиться негде согреться то же самое и к тому же голодные не то что до смерти а даже еще хуже", " Но вечером нам еды не полагалось", " Снял я с себя мокрое рванье кинул на нары и говорю "Им по четыре кубометра выработки надо а на могилу каждому из нас и одного кубометра через глаза хватит"", " Только и сказал но ведь нашелся же из своих какойто подлец донес коменданту лагеря про эти мои горькие слова", " Комендантом лагеря или поихнему лагерфюрером был у нас немец Мюллер", " Невысокого роста плотный белобрысый и сам весь какойто белый и волосы на голове белые и брови и ресницы даже глаза у него были белесые навыкате", " Порусски говорил как мы с тобой да еще на "о" налегал будто коренной волжанин", " А матершинничать был мастер ужасный", " И где он проклятый только и учился этому ремеслу", " Бывало выстроит нас перед блоком барак они так называли идет перед строем со своей сворой эсэсовцев правую руку держит на отлете", " Она у него в кожаной перчатке а в перчатке свинцовая прокладка чтобы пальцев не повредить", " Идет и бьет каждого второго в нос кровь пускает", " Это он называл "профилактикой от гриппа"", " И так каждый день", " Всего четыре блока в лагере было и вот он нынче первому блоку "профилактику" устраивает завтра второму и так далее", " Аккуратный был гад без выходных работал", " Только одного он дурак не мог сообразить перед тем как идти ему руки прикладывать он чтобы распалить себя минут десять перед строем ругается", " Он матершинничает почем зря а нам от этого легче становится вроде словато наши природные вроде ветерком с родной стороны подувает", "", "", " Знал бы он что его ругань нам одно удовольствие доставляет уж он порусски не ругался бы а только на своем языке", " Лишь один мой приятельмосквич злился на него страшно", " "Когда он ругается говорит я глаза закрою и вроде в Москве на Зацепе в пивной сижу и до того мне пива захочется что даже голова закружится"", " Так вот этот самый комендант на другой день после того как я про кубометры сказал вызывает меня", " Вечером приходят в барак переводчик и с ним два охранника", " "Кто Соколов Андрей", " Я отозвался, " "Марш за нами тебя сам герр лагерфюрер требует"", " Понятно зачем требует", " На распыл", " Попрощался я с товарищами все они знали что на смерть иду вздохнул и пошел", " Иду по лагерному двору на звезды поглядываю прощаюсь и с ними думаю "Вот и отмучился ты Андрей Соколов а полагерному номер триста тридцать первый"", " Чтото жалко стало Иринку и детишек а потом жаль эта утихла и стал я собираться с духом чтобы глянуть в дырку пистолета бесстрашно как и подобает солдату чтобы враги не увидали в последнюю мою минуту что мне с жизнью расставаться всетаки трудно", "", "", " В комендантской цветы на окнах чистенько как у нас в хорошем клубе", " За столом все лагерное начальство", " Пять человек сидят шнапс глушат и салом закусывают", " На столе у них початая здоровенная бутыль со шнапсом хлеб сало моченые яблоки открытые банки с разными консервами", " Мигом оглядел я всю эту жратву и не поверишь так меня замутило что за малым не вырвало", " Я же голодный как волк отвык от человеческой пищи а тут столько добра перед тобою", "", "", " Коекак задавил тошноту но глаза оторвал от стола через великую силу", " Прямо передо мною сидит полупьяный Мюллер пистолетом играется перекидывает его из руки в руку а сам смотрит на меня и не моргнет как змея", " Ну я руки по швам стоптанными каблуками щелкнул громко так докладываю "Военнопленный Андрей Соколов по вашему приказанию герр комендант явился"", " Он и спрашивает меня "Так что же русс Иван четыре кубометра выработки это много", " "Так точно говорю герр комендант много", " "А одного тебе на могилу хватит", " "Так точно герр комендант вполне хватит и даже останется", " Он встал и говорит "Я окажу тебе великую честь сейчас лично расстреляю тебя за эти слова", " Здесь неудобно пойдем во двор там ты и распишешься"", " "Воля ваша" говорю ему", " Он постоял подумал а потом кинул пистолет на стол и наливает полный стакан шнапса кусочек хлеба взял положил на него ломтик сала и все это подает мне и говорит "Перед смертью выпей русс Иван за победу немецкого оружия"", " Я было из его рук и стакан взял и закуску но как только услыхал эти слова меня будто огнем обожгло", " Думаю про себя "Чтобы я русский солдат да стал пить за победу немецкого оружия", "", " А коечего ты не хочешь герр комендант", " Один черт мне умирать так провались ты пропадом со своей водкой", " Поставил я стакан на стол закуску положил и говорю "Благодарствую за угощение но я непьющий", " Он улыбается "Не хочешь пить за нашу победу", " В таком случае выпей за свою погибель"", " А что мне было терять", " "За свою погибель и избавление от мук я выпью" говорю ему", " С тем взял стакан и в два глотка вылил его в себя а закуску не тронул вежливенько вытер губы ладонью и говорю "Благодарствую за угощение", " Я готов герр комендант пойдемте распишете меня"", " Но он смотрит внимательно так и говорит "Ты хоть закуси перед смертью"", " Я ему на это отвечаю "Я после первого стакана не закусываю"", " Наливает он второй подает мне", " Выпил я и второй и опять же закуску не трогаю на отвагу бью думаю "Хоть напьюсь перед тем как во двор идти с жизнью расставаться"", " Высоко поднял комендант свои белые брови спрашивает "Что же не закусываешь русс Иван", " Не стесняйся", " А я ему свое "Извините герр комендант я и после второго стакана не привык закусывать", " Надул он щеки фыркнул а потом как захохочет и сквозь смех чтото быстро говорит понемецки видно переводит мои слова друзьям", " Те тоже рассмеялись стульями задвигали поворачиваются ко мне мордами и уже замечаю както иначе на меня поглядывают вроде помягче", " Наливает мне комендант третий стакан а у самого руки трясутся от смеха", " Этот стакан я выпил врастяжку откусил маленький кусочек хлеба остаток положил на стол", " Захотелось мне им проклятым показать что хотя я и с голоду пропадаю но давиться ихней подачкой не собираюсь что у меня есть свое русское достоинство и гордость и что в скотину они меня не превратили как ни старались", " После этого комендант стал серьезный с виду поправил у себя на груди два железных креста вышел изза стола безоружный и говорит "Вот что Соколов ты настоящий русский солдат", " Ты храбрый солдат", " Я тоже солдат и уважаю достойных противников", " Стрелять я тебя не буду", " К тому же сегодня наши доблестные войска вышли к Волге и целиком овладели Сталинградом", " Это для нас большая радость а потому я великодушно дарю тебе жизнь", " Ступай в свой блок а это тебе за смелость" и подает мне со стола небольшую буханку хлеба и кусок сала", " Прижал я хлеб к себе изо всей силы сало в левой руке держу и до того растерялся от такого неожиданного поворота что и спасибо не сказал сделал налево кругом иду к выходу а сам думаю "Засветит он мне сейчас промеж лопаток и не донесу ребятам этих харчей"", " Нет обошлось", " И на этот раз смерть мимо меня прошла только холодком от нее потянуло", "", "", " Вышел я из комендантской на твердых ногах а во дворе меня развезло", " Ввалился в барак и упал на цементованный пол без памяти", " Разбудили меня наши еще в потемках "Рассказывай", " Ну я припомнил что было в комендантской рассказал им, " "Как будем харчи делить", " спрашивает мой сосед по нарам а у самого голос дрожит, " "Всем поровну" говорю ему", " Дождались рассвета", " Хлеб и сало резали суровой ниткой", " Досталось каждому хлеба по кусочку со спичечную коробку каждую крошку брали на учет ну а сала сам понимаешь только губы помазать", " Однако поделили без обиды", " Вскорости перебросили нас человек триста самых крепких на осушку болот потом в Рурскую область на шахты", " Там и пробыл я до сорок четвертого года", " К этому времени наши уже своротили Германии скулу набок и фашисты перестали пленными брезговать", " Както выстроили нас всю дневную смену и какойто приезжий оберлейтенант говорит через переводчика "Кто служил в армии или до войны работал шофером шаг вперед"", " Шагнуло нас семь человек бывшей шоферни", " Дали нам поношенную спецовку направили под конвоем в город Потсдам", " Приехали туда и растрясли нас всех врозь", " Меня определили работать в "Тодте" была у немцев такая шарашкина контора по строительству дорог и оборонительных сооружений", " Возил я на "оппельадмирале" немца инженера в чине майора армии", " Ох и толстый же был фашист", " Маленький пузатый что в ширину что в длину одинаковый и в заду плечистый как справная баба", " Спереди у него над воротником мундира три подбородка висят и позади на шее три толстючих складки", " На нем я так определял не менее трех пудов чистого жиру было", " Ходит пыхтит как паровоз а жрать сядет только держись", " Целый день бывало жует да коньяк из фляжки потягивает", " Коекогда и мне от него перепадало в дороге остановится колбасы нарежет сыру закусывает и выпивает когда в добром духе и мне кусок кинет как собаке", " В руки никогда не давал нет считал это для себя за низкое", " Но как бы то ни было а с лагерем же не сравнить и понемногу стал я запохаживаться на человека помалу но стал поправляться", " Недели две возил я своего майора из Потсдама в Берлин и обратно а потом послали его в прифронтовую полосу на строительство оборонительных рубежей против наших", " И тут я спать окончательно разучился ночи напролет думал как бы мне к своим на родину сбежать", " Приехали мы в город Полоцк", " На заре услыхал я в первый раз за два года как громыхает наша артиллерия и знаешь браток как сердце забилось", " Холостой еще ходил к Ирине на свиданья и то оно так не стучало", " Бои шли восточнее Полоцка уже километрах в восемнадцати", " Немцы в городе злые стали нервные а толстяк мой все чаще стал напиваться", " Днем за городом с ним ездим и он распоряжается как укрепления строить а ночью в одиночку пьет", " Опух весь под глазами мешки повисли", "", "", " "Ну думаю ждать больше нечего пришел мой час", " И надо не одному мне бежать а прихватить с собою и моего толстяка он нашим сгодится", " Нашел в развалинах двухкилограммовую гирьку обмотал ее обтирочным тряпьем на случай если придется ударить чтобы крови не было кусок телефонного провода поднял на дороге все что мне надо усердно приготовил схоронил под переднее сиденье, " За два дня перед тем как распрощался с немцами вечером еду с заправки вижу идет пьяный как грязь немецкий унтер за стенку руками держится", " Остановил я машину завел его в развалины и вытряхнул из мундира пилотку с головы снял", " Все это имущество тоже под сиденье сунул и был таков", " Утром двадцать девятого июня приказывает мой майор везти его за город в направлении Тросницы", " Там он руководил постройкой укреплений", " Выехали", " Майор на заднем сиденье спокойно дремлет а у меня сердце из груди чуть не выскакивает", " Ехал я быстро но за городом сбавил газ потом остановил машину вылез огляделся далеко сзади две грузовых тянутся", " Достал я гирьку открыл дверцу пошире", " Толстяк откинулся на спинку сиденья похрапывает будто у жены под боком", " Ну я его тюкнул гирькой в левый висок", " Он и голову уронил", " Для верности я его еще раз стукнул но убивать до смерти не захотел", " Мне его живого надо было доставить он нашим должен был много коечего порассказать", " Вынул я у него из кобуры "парабеллум" сунул себе в карман монтировку вбил за спинку заднего сиденья телефонный провод накинул на шею майору и завязал глухим узлом на монтировке", " Это чтобы он не свалился на бок не упал при быстрой езде", " Скоренько напялил на себя мундир и пилотку ну и погнал машину прямиком туда где земля гудит где бой идет", " Немецкий передний край проскакивал меж двух дзотов", " Из блиндажа автоматчики выскочили и я нарочно сбавил ход чтобы они видели что майор едет", " Но они крик подняли руками махают мол туда ехать нельзя а я будто не понимаю подкинул газку и пошел на все восемьдесят", " Пока они опомнились и начали бить из пулеметов по машине а я уже на ничьей земле между воронками петляю не хуже зайца", " Тут немцы сзади бьют а тут свои очертели из автоматов мне навстречу строчат", " В четырех местах ветровое стекло пробили радиатор пропороли пулями", "", "", " Но вот уже лесок над озером наши бегут к машине а я вскочил в этот лесок дверцу открыл упал на землю и целую ее и дышать мне нечем", "", "", " Молодой парнишка на гимнастерке у него защитные погоны каких я еще в глаза не видал первым подбегает ко мне зубы скалит "Ага чертов фриц заблудился", " Рванул я с себя немецкий мундир пилотку под ноги кинул и говорю ему "Милый ты мой губошлеп, " Сынок дорогой", " Какой же я тебе фриц когда я природный воронежец", " В плену я был понятно", " А сейчас отвяжите этого борова какой в машине сидит возьмите его портфель и ведите меня к вашему командиру"", " Сдал я им пистолет и пошел из рук в руки а к вечеру очутился уже у полковника командира дивизии", " К этому времени меня и накормили и в банк сводили и допросили и обмундирование выдали так что явился я в блиндаж к полковнику как и полагается душой и телом чистый и в полной форме", " Полковник встал изза стола пошел мне навстречу", " При всех офицерах обнял и говорит "Спасибо тебе солдат за дорогой гостинец какой привез от немцев", " Твой майор с его портфелем нам дороже двадцати "языков"", " Буду ходатайствовать перед командованием о представлении тебя к правительственной награде"", " А я от этих слов его от ласки сильно волнуюсь губы дрожат не повинуются только и мог из себя выдавить "Прошу товарищ полковник зачислить меня в стрелковую часть"", " Но полковник засмеялся похлопал меня по плечу "Какой из тебя вояка если ты на ногах еле держишься", " Сегодня же отправлю тебя в госпиталь", " Подлечат тебя там подкормят после этого домой к семье на месяц в отпуск съездишь а когда вернешься к нам посмотрим куда тебя определить"", " И полковник и все офицеры какие у него в блиндаже были душевно попрощались со мной за руку и я вышел окончательно разволнованный потому что за два года отвык от человеческого обращения", " И заметь браток что еще долго я как только с начальством приходилось говорит...
// obtaining a DataFrame of words' frequencies in sentences.
val word_frequency = sc.parallelize(
sentences.map(item => item.split(" ").drop(1).length).filter(_ != 0).
map(item => {
if (1 <= item && item <= 5) {"01 -- 05"}
else if (6 <= item && item <= 10) {"06 -- 10"}
else if (10 <= item && item <= 15) {"11 -- 15"}
else if (16 <= item && item <= 20) {"16 -- 20"}
else if (21 <= item && item <= 25) {"21 -- 25"}
else if (26 <= item && item <= 30) {"26 -- 30"}
else if (31 <= item && item <= 35) {"31 -- 35"}
else if (36 <= item && item <= 40) {"36 -- 40"}
else if (41 <= item && item <= 45) {"41 -- 45"}
else if (45 <= item && item <= 50) {"45 -- 50"}
else {"50+"}
})).toDF("words").groupBy("words").count().orderBy("words")
word_frequency.show()
+--------+-----+ | words|count| +--------+-----+ |01 -- 05| 172| |06 -- 10| 251| |11 -- 15| 186| |16 -- 20| 109| |21 -- 25| 74| |26 -- 30| 29| |31 -- 35| 12| |36 -- 40| 10| |41 -- 45| 6| |45 -- 50| 6| | 50+| 2| +--------+-----+ word_frequency: org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [words: string, count: bigint]
// All code above can be wrapped into a function
def frequency_count(file_path: String) = {
// We read a file sudba_cheloveka.txt using sc.textFile.
// The actual text starts from 24th line, so we have to skip them
val book = sc.textFile(file_path)
.zipWithIndex()
.filter(_._2 >= 24L)
.map(_._1)
.cache()
// 1) sentences are separated either with ? or ! or .
// we replace these sighs with &
// 2) there are possible simbols inside a sentences: ",", ":", ";","-"
// we replace them with empty string ""
val text_lines = book.map((line:String) => line
.replaceAll("""([?!.])""", "&")
.replaceAll("""([,:;-])""", "")
.replaceAll("\\s+", " ")
)
// collect all the test lines in Array[String] => we get sentences
val sentences = text_lines.collect.mkString(" ").replaceAll("\\s+", " ").split("&")
// obtaining a DataFrame of words' frequencies in sentences.
val word_frequency = sc.parallelize(
sentences.map(item => item.split(" ").drop(1).length).filter(_ != 0).
map(item => {
if (1 <= item && item <= 5) {"01 -- 05"}
else if (6 <= item && item <= 10) {"06 -- 10"}
else if (10 <= item && item <= 15) {"11 -- 15"}
else if (16 <= item && item <= 20) {"16 -- 20"}
else if (21 <= item && item <= 25) {"21 -- 25"}
else if (26 <= item && item <= 30) {"26 -- 30"}
else if (31 <= item && item <= 35) {"31 -- 35"}
else if (36 <= item && item <= 40) {"36 -- 40"}
else if (41 <= item && item <= 45) {"41 -- 45"}
else if (45 <= item && item <= 50) {"45 -- 50"}
else {"50+"}
})).toDF("words").groupBy("words").count().orderBy("words")
word_frequency.show()
}
frequency_count: (file_path: String)Unit
frequency_count("dbfs:/datasets/books/sudba_cheloveka.txt")
+--------+-----+ | words|count| +--------+-----+ |01 -- 05| 172| |06 -- 10| 251| |11 -- 15| 186| |16 -- 20| 109| |21 -- 25| 74| |26 -- 30| 29| |31 -- 35| 12| |36 -- 40| 10| |41 -- 45| 6| |45 -- 50| 6| | 50+| 2| +--------+-----+
// Now let us do the same but for the all content in books folder
val books = sc.wholeTextFiles("dbfs:/datasets/books/*.txt")
books.cache() // let's cache this RDD for efficient reuse
books.count()
books: org.apache.spark.rdd.RDD[(String, String)] = dbfs:/datasets/books/*.txt MapPartitionsRDD[55] at wholeTextFiles at command-1113644193739860:2 res23: Long = 2
books.take(2).map(item => item._1).map(file_path => frequency_count(file_path))
+--------+-----+ | words|count| +--------+-----+ |01 -- 05| 172| |06 -- 10| 251| |11 -- 15| 186| |16 -- 20| 109| |21 -- 25| 74| |26 -- 30| 29| |31 -- 35| 12| |36 -- 40| 10| |41 -- 45| 6| |45 -- 50| 6| | 50+| 2| +--------+-----+ +--------+-----+ | words|count| +--------+-----+ |01 -- 05|18748| |06 -- 10|12853| |11 -- 15| 6734| |16 -- 20| 3508| |21 -- 25| 1833| |26 -- 30| 986| |31 -- 35| 535| |36 -- 40| 284| |41 -- 45| 163| |45 -- 50| 93| | 50+| 141| +--------+-----+ res55: Array[Unit] = Array((), ())