В саму пустынь ведет тоннель, здесь очень тихо и прохладно. Вдоль горной тропы, которая пролегла к пустыньке растут красивые реликтовые деревья, которые наклоняются к тропе, по непонятным причинам. Среди зелени, цветов и деревьев стоит часовня и небольшой храм Святого Феодосия Кавказского, рядом находится колодец со святой водой. Здесь можно посидеть, отдохнуть и подумать на лавочках, которые смастерили специально для паломников. Вокруг часовни произрастает растение барвинок. Это красивое растение устелено только в одном месте - именно около часовни и колодца со святой водой, больше нигде. На его макушке всегда четыре листочка, очень похожие на крест.
В начале прошлого века монаху Феодосию, который к тому моменту прослужил уже сорок лет в Иерусалиме, явилась в видении Пресвятая Богородица и повелела ему идти на юг России в место, где протекает ручей и везде растет барвинок. Батюшка Феодосий бесприкословно выполнил наказ и отправился искать место своего подвизания. Однажды летом, уставший, он увидел большой камень, взошел на него и осмотрел окрестности. Рядом с этим камнем журчала вода, а вокруг все было усыпано зелеными крестиками. Отец Феодосий замер в изумлении и поняв, что это именно то место очень обрадовался. С тех пор этот камень называют Камнем радости.
Помимо этого камня есть здесь и другой камень - Камень печали. В этом месте установлен крест, поэтому найти его не составляет труда. В 1927 году отец Феодосий уехал в город, чтобы купить необходимые продукты, а в пустыне остались несколько монахинь-послушниц. В это время сюда приехали красноармейцы, которые хотели убить старца, но так как они его не нашли, то обратили весь свой гнев на беззащитных женщин. Они отвели их к этому камню и безжалостно расстреляли. С тех пор это место зовется Камнем Печали.
Преподобный Феодосий Кавказский был удивительным человеком. Он прожил более ста лет, родился в мае 1841 года, а умер 8 июля 1948 года. Родился Федор, так звали его в миру, в бедной крестьянской семье и очень рано начал служить Богу - молился с детских лет, ходил в храм и рано покинул свой дом, отправившись в Греческий Афонский монастырь пояса Богородицы. Здесь он впервые исцелил жену одного чиновника, избавил ее от душевной болезни. Здесь же он был пострижен в монахи и был наречен Феодосием, здесь и служил он много лет, пока не явилась ему Пресвятая Богородица. После этого он и пришел в Краснодарский край, где основал пустынь. В своей пустыне Феодосий хотел построить церковь, но в каком месте она должна стоять он не мог придумать, поэтому он стал молиться на большом камне в ущелье, молился он 7 дней и ночей, чтобы Господь указал ему это место. Ему снова явилась Божия Матерь и указала место, где и был построен храм. Позже здесь забил целебный источник, здесь же многие люди получили исцеление от разных болезней от отца Феодосия по милости Божьей.
