בספר 'שמך לא שכחנו' מופיע סיפור מיוחד במינו שסיפר רבי יונה בלומברג, שהיה מבקר תכופות בישיבת בית יוסף בביאליסטוק, שם שמע את המעשה.
במהלך מלחמת העולם הראשונה הקימה נובהרדוק ישיבות ברוסיה, וכאשר עלו הקומוניסטים באו והחריבו אותן. או אז שיגרו ראשי התנועה שאלה אל ה'חפץ חיים' אם להשאר ברוסיה ולמסור נפש על ייסוד ישיבות בכל מחיר, או שמא לנטוש למקום אחר. והורה להם רבנו שיעברו למדינת פולין כי גם שם יש הרבה מה לפעול. כך החליטו להגניב את הגבול בקבוצות של בחורים דרך כל מיני פרצות ודרכים אפלות.
פעם אירע שחיילי משמר הגבולות תפסו קבוצה אחת של נובהרדוקאים והביאום אל קצין העמדה שבגבול. הלה הרים עליהם קול זעקה: "שונאים אתם לקומוניזם ולרוסיה! מדוע אתם בורחים ממנה ומגניבים את הגבול?! אלא ששונאים אתם לנו! אני מורה אפוא לחיילי לבא ולירות בכולכם".
הנוברדוקאים שהצטיינו באופן מיוחד בעבודת האמונה והבטחון, פרצו וענו לו פה אחד: "לא אתה יורה בנו, כי אם הרבונו של עולם יורה בנו!".
"אם כך" – הגיב המפקד – "אז אינני יורה בכם!"
ענו בני החבורה לקצין: "לא אתה נמנע מלירות בנו, כי אם הרבונו של עולם אינו רוצה לירות בנו!"
כיון שכך קם הקצין ואמר: "אז אני כן יורה בכם!"
ושוב, כולם כאחד: "לא אתה, לא אתה, הכל רק הקב"ה!"…
הוא צועק כך, והם שבים ועונים לו כך…
פתאום הרים את קולו עליהם בזעקה: "כנופיית משוגעים! פשוט משוגעים אתם! רוסיה איננה מעוניינת במשוגעים!! אתם יודעים מה נעשה? אני מעניק בזה מתנה גמורה לממשלת פולין חבורת משוגעים, ומיד אני מזעיק את חיילי שיקחו ויעבירו אתכם אל מעבר לגבול!!"…
כך עברו הנובהרדוקאים את הגבול כבני מלכים מלווים בחיילי המשמר שהיה להם למשמר כבוד.