עבודתו הקדושה של הרבי בעל 'חלקת יהושע' מביאלא זצ"ל בגלות סיביר, היתה ללא כל שינוי ונסיגה, כאילו הוא בביתו בימים כתיקונם. באחת השנים בראש השנה, כאשר עמד בתפלה הגיעו לפתע הצוררים וכל המתפללים נמלטו כל עוד נשמתם בקרבם, ואילו הוא המשיך בתפלתו מבלי להרגיש בכל המתרחש. רק לאחר שהכוהו עד זוב דם ונפל על הארץ, חש בכך.
סיפרו מקורביו: "נלווינו עם הרבי בנסיעה לכותל המערבי בחוה"מ פסח תשל"ד, הרבי נעמד להתפלל מנחה, בדביקות ובדמעות רותחות כדרכו בקודש, למרות המטר הסוחף שירד אותה שעה. בסיום התפלה, כשהעירו לו שיכול היה להתפלל בפנים המנהרה בגלל הגשם העז – הגיב בתמיהה רבה: וכי ירד גשם בעת התפלה?!…"
מסירות נפשו בעבודת השי"ת הגיעה לשיאים בתנאים הבלתי ניתנים לתיאור של מוראות סיביר. בכפור העז של חמישים מעלות מינוס היה שובר גזיזי דברדא מדי יום כהכנה לתפלה, ובכוחות על אנושיים בלתי ניתנים להבנה בכלי שכלנו, טבל בכפור הנורא…
מרן גאב"ד פוניבז' זצ"ל היה חוזר ומספר בהתרגשות מרובה על אגרת שקיבל מהרבי מסיביר, בה הוא פונה אליו בבקשה שישים עינא פקיחא על בניו שעלו ארצה בעליית ילדי טהרן ונקלטו בפנימית בתי אבות, שיעסקו בלימוד ההלכה. והיה הרב מפוניבז' מכריז בהתפעלות על כך, שעיקר דאגתו של הרבי לצאצאיו היתה שלימותם הרוחנית, ולא שאל האם יש להם אוכל ומקום לינה. והפטיר: "ידוע לכל כיצד שבר הרבי מביאלא את הקרח בסיביר עבור טבילה בנהר, אולם זאת בלתי ידוע – גודל מסירות נפשו על קיום דקדוקי הלכה".
פעם החרימו הצוררים את כל ספריו, ביניהם הספר 'נועם אלימלך' בו הגה כל ימיו. בהתקרב יום שבת קודש, ורבנו נוכח שאין לו את הספר הקדוש שהיה חביב עליו כבבת עינו, החליט למסור את נפשו עבור הספר, ויהי מה. ללא חת ניגש למטה המשטרה שם היו הספרים, נכנס פנימה תוך סיכון בלתי רגיל ביודעו היטב מה צפוי לו בעקבות כך, חיפש בערמת הספרים עד אשר מצא את אשר איותה נפשו, ונטל את הספר עמו מבלי שיעזו לפגוע בו. הרבי, שמעולם נמנע מלדבר על עצמו, סיפר על כך בעת רצון מיוחדת ביום ההילולא של הנועם אלימלך, בציינו כי אינו יודע מהיכן שאב את הכוחות למסירות נפש זו.
(מתוך מאמר לזכרו, יתד נאמן פרשת תרומה תשנ"ב)