הרב יעקב יוסף הרמן זצ"ל נולד בשנת ה'תר"מ ) 5774 ( בסלוצק. בהיותו כבן שמונה היגרו הוריו איתו ועם אחותו הקטנה לארצות הברית והתיישבו בלואר איסט סייד בניו יורק. אביו התקשה למצוא עבודה כמורה פרטי, ועבודות אחרות לא נמצאו מאחר שסירב לעבוד בשבת, ולכן חמש שנים לאחר מכן חזרו הוריו ואחותו לרוסיה והוא נשאר לבדו בניו יורק. התפרנס מחנות פרוות כאשר בשלב מסוים נקלע לחובות כבדים, ונאלץ לסגור את חנות הפרוות שבבעלותו. הוא החליט שלא להכריז על פשיטת רגל, והתאמץ להחזיר את כל חובותיו.
לאחר מכן התפרנס מעסק לשיווק חלב ישראל. ביתו היה פתוח תמיד לאורחים. בשבתות וכן במהלך השבוע עשרות אנשים, כולל בעלי מוגבלויות פיזיות ורגשיות שלא היה להם מקום אחר התארחו בביתו. גם ראשי ישיבות מאירופה שבאו למסעות גיוס כספים בארצות הברית, כדוגמת הרב אליעזר יהודה פינקל, הרב ראובן גרוזובסקי, הרב אליהו אליעזר דסלר והרב ברוך בער ליבוביץ', בחרו להתארח בביתו, בשל הקפדתו על כשרות מהודרת ביותר.
הקפיד על תפילה בציבור ומסר נפש עבורה. בשנת ה'תרצ"ט ) 5676 ( עלה לארץ והתגורר בירושלים, שם פתח חנות למכירת תשמישי קדושה בשכונת מאה שערים. מסר שיעורים בישיבות 'רבינו יצחק אלחנן' ו'רבינו יעקב יוסף'. הקים את ישיבת תפארת ירושלים' )ישיבתו של הגאון הרב משה פיינשטיין זצ"ל(. נפטר ב י"ז בתמוז ה'תשכ"ז ) 5693 (. חי כ 73 שנים. ציונו בהר המנוחות בירושלים.
אביו: ר' יצחק אייזיק. אימו: מרת רבקה. נשותיו: מרת איידל )זיווג ראשון(, מרת חיה מרים )אלמנת הגאון הרב זלמן דב וינר זיווג שני(. ילדיו )מזיווג ראשון(: מרת חיה אסתר )נישאה לגאון ר' יום טוב ליפמן שטרן(, מרת פרידה )נפטרה בצעירותה(, מרת בסי )נישאה לגאון ר' חיים פנחס שיינברג(, ר' נחום דוד )חותנו של הגאון ר' מרדכי אליפנט(, מרת רוחמה שיין )סופרת ומחנכת(.
מספריו: הכל לאדון הכל סיפורי הנהגותיו )נכתב ע"י בתו, מרת רוחמה שיין(. סיפר הרב משה אהרון שטרן זצ"ל, שפגש פעם את הרב הגאון יחיאל מרדכי גורדון, ראש ישיבת לומז'ה. הרב גורדון סיפר לו מעשה על רבינו. בשנת ה'תרפ"ט היה הרב גורדון ראש ישיבה בלומז'ה. באותה תקופה התרחשה נפילה גדולה של עסקים באמריקה. המצב בישיבה היה נורא ואיום, התומכים האמריקאים הפסיקו לשלוח כסף לישיבות, והמצב הלך והידרדר מיום ליום.
בישיבה למדו באותה עת כארבע מאות בחורים!. לילה אחד, התכנסה ההנהלה לישיבת חירום, כיצד ניתן להציל את המצב. באסיפה דובר שלא נותר מאומה בשביל להאכיל את הבחורים, מלבד חתיכת לחם ומעט מים לכל בחור בעבור ארוחת הבוקר שלמחרת. יותר מזה אין! והנורא מכול, שאין שום תקווה נראית באופק להצלת המצב.
הוחלט, שמחר לאחר התפילה, יעלה ראש הישיבה על הבימה ויודיע לבחורים, שלאחר ארוחת הבוקר יארזו את החפצים וישובו לבתיהם, הישיבה נסגרת! למחרת, אחר התפילה, הביטו ראש הישיבה והמשגיח זה בזה, ולא היו מסוגלים להוציא מפיהם את ההודעה הנוראה.
הבחורים, שלא ידעו את התכנון, ירדו כהרגלם לאכול, ומיד אח"כ פנו ללימודם. ראש הישיבה והמשגיח נבוכו. הם ידעו נכונה, שאין להם שום דרך להאכיל את הבחורים בארוחת הצהריים. מה יעשו?
"הבה ונשלח שליח לדואר", אמר ראש הישיבה בתקווה, "אולי בכל זאת הגיע צ'ק של עשרים או שלושים דולר, ונוכל לקנות מעט אוכל לארוחה נוספת". )הדולר בתקופה ההיא, היה בעל ערך גבוה ביותר(. שליח נשלח לדואר. עד מהרה שב הלה ובידו מעטפה סגורה. צוות הישיבה פתחו את המעטפה, ונשימתם נעתקה מרוב תדהמה. המעטפה הכילה צ'ק על סך אלף דולר! מיהודי עלום בשם ר' יעקב יוסף הרמן.
סכום הכסף הזה סייע באחזקת הישיבה למשך חודש נוסף. לאחר החודש ההוא בס"ד השתנה המצב הכלכלי, והישיבה נותרה עומדת על תילה. כשנשאל לאחר מכן רבינו על הסיפור הזה, סיפר שבאותה תקופה כל העסק שלו ירד לטמיון!. היה לו עסק של בגדים והוא הפסיד את הכול. נותרו לו בבנק אלף ושלוש מאות דולר בלבד. אמר רבינו: "הכסף בעסק הלך לאיבוד, אציל לפחות את מה שנותר בשביל תורה".
אלף דולר הוא שלח, כאמור, לישיבת לומז'ה. עם מאתיים וחמישים דולר נוספים פתח את ישיבת 'תפארת ירושלים', ישיבתו של הגאון הרב משה פיינשטיין זצ"ל. המלמדים ומגידי השיעורים של הישיבה חששו לפתוח את הישיבה, ללא כסף מזומן עבור השכירות. תרומתו בסך מאתיים וחמישים דולר, הספיקה לדמי השכירות, והישיבה נפתחה. בחמישים הדולרים האחרונים שנותרו הדפיס את הלוח הראשון של זמן הדלקת הנרות, כסיוע לציבור שומרי התורה והמצוות שיוכלו לדעת מתי להדליק נרות. )מתוך 'מידות והנהגות טובות'(
בנו, ר' נחום דוד הרמן קנה לאביו, הצדיק רבי יעקב יוסף הרמן, מתנה לשבת, קפוטה מחוייטת ויקרה מאוד. בשבת, רבינו לבש אותה בפעם הראשונה. הצדיק נהג לחלק את הטשולנט )'חמין'(, ולהגישו בעצמו לאורחים הרבים, שהגיעו לביתו. אחד האורחים היה מופרע בנפשו, כשהניח רבינו את צלחת הטשולנט לפניו, לקח האורח את הצלחת, ושפך את תוכנה החם והסמיך על הקפוטה החדשה, כשהוא צועק: "אינני אוהב זאת!".
תדהמה אחזה באורחים, כולם היו המומים. האורח, שנחרד ממה שעולל, קפץ מהכסא, וברח מהבית. מבלי לקנח אפילו את הטשולנט מעל הקפוטה, פתח רבינו ברדיפה אחריו… בתוך דקות רבי יעקב יוסף חזר, כשהוא מחזיק את האורח בידו ומרגיעו: "אתן לך צלחת אחרת של טשולנט, אותה בוודאי שתאהב", אמר ברוחב לב. כשקינח את הקפוטה עד כמה שהיה מותר בשבת, פנה ואמר אליו בנו ר' נחום דוד: "אבא, אתה זקוק לכל כך הרבה סבלנות". ענה לו רבינו: "אם יש בליבך רחמנות, אינך זקוק לסבלנות".