בשנת תרכ"ה בהיות הגאון רבי אליהו ברוך קמאי זצ"ל בן 24 בלבד, כבר מילא את מקום חותנו בכס הרבנות של העיירה שקוד. תקופה לאחר מכן החליט לעזוב את הרבנות ונעשה 'פרוש', וישב על התורה והעבודה בביאליסטוק ולאחר מכן בבריסק.
בהיותו בבריסק התוודע אל הגאון רבי יוסף דב סולוביצ'יק בעל 'בית הלוי', שעמד עד מהרה על גדולתו המדהימה בתורה של הצעיר הפרוש ודאג לפרסם את שמו בעולם התורה. בהשפעתו חזר וקיבל על עצמו את עול הרבנות, ובהשתדלותו עלה על כס הרבנות בקרליץ.
על אופן התמנותו כרב בקרליץ סיפר הסופר אליעזר שטיינמן בספרו צנצנת המן:
ראשי קהילת קרליץ ביקשו את רבי יוסף בער סולובייצ'יק רבה של בריסק להמליץ על גדול בתורה לרב בעירם. הורה להם רבי יוסף בער על אברך פלוני מבאי ביתו הראוי לאותה איצטלה. שיגרה קהילת קרליץ שנים מנכבדיה לבריסק ויפוי כח בידם, למסור כתב רבנות לידי האברך שהומלץ להם על ידי הבית הלוי.
באו המורשים לבריסק ונכנסו לבית הרב. פתח לפניהם השמש את חדר הספרים להמתין שם. ראו שם אברך רזה ללא הדרת פנים, לבוש בלואות, עומד ליד ארון הספרים ומעיין בספר. שאלוהו היכן רבי יוסף בער, אמר להם: "הרב יבוא בקרוב". ישבו והמתינו לרבה של בריסק ולא נתנו דעתם כלל על האברך לקשור עמו שיחה. לפי קומתו הנמוכה, מראהו ולבושו, נראה להם בחור ישיבה עני או קבצן הסמוך על שולחנו של הרב.
בינתיים בא ה'בית הלוי'. ראה שני אורחים, נתן להם שלום ושאלם "מהיכן יהודים?". אמרו לו: "מקרליץ אנו, באנו בעניין הרב שכבודו המליץ עליו". הורה להם רבי יוסף בער על האברך העומד ליד ארון הספרים ואמר: "הנהו רבי אליהו ברוך, כבוד הרב מקרליץ".
השפילו שני האורחים את עיניהם מבושה, הביטו זה בזה בתמיהה כשואלים: הכזה רב נבחר לקהילת קרליץ המהוללה? לא בעל קומה, לא הדרת פנים לו, ולא הידור לבוש, היתכן?
אותה שעה יצא רבי אליהו ברוך מן החדר. פתחו השלוחים ואמרו במורת רוח כבושה: "אמנם בטוחים אנו בכבוד הרב מבריסק שהאברך רבי אליהו ברוך ראוי לאותה איצטלה מצד גדלותו בתורה, אבל אנו אנשי קרליץ, עיר שכל ימיה ישבו רבנים גדולים על כסאה, אנשי צורה ששם התורה היה מתכבד על ידם…"
הפסיק רבי יוסף בער את דבריהם ואמר להם: "אנשי קרליץ, המתינו לי רגע קט". פתח את הדלת לחדר הסמוך ונכנס השמש ר' יעקב. אמר לו הרב: "ר' יעקב, קח את אנשי קרליץ ולך עמם לבית המטבחיים".
תלה ר' יעקב מבט תמה ברב. אף האורחים הביטו אל הרב בהשתוממות. קצרה רוחם ואמרו בקפידה עצורה: "הרב מבריסק, מה לנו ולבית המטבחיים? באנו לבקש רב לעירנו כראוי לה ולשמה הטוב".
"העניין הוא", הסביר רבי יוסף בער, "באשר להדרת פנים – ראש הקצבים של בריסק אין כמוהו ראוי להיות מרא דאתרא בקהילה נכבדה. הוא בעל גוף ובעל כרס. איש צורה לכל הדעות. לכו בבקשה עם ר' יעקב לבית המטבחיים ותהיה לכם נחת רוח להביט בו"…
השליחים הבינו והתנצלו בפני הרב דבריסק. רבי אליהו ברוך התקבל כרב בקרליץ, ולא עברו ימים מרובים ונתפרסם כאחד מגדולי הרבנים שבדורו.
(האבא מסלבודקא)