בתאריך א' בניסן תרצ"ד עלה הנער עם משפחתו לארץ ישראל והם התיישבו בבני ברק. בתחילה התגורר עם משפחתו בבית דודו, החזון איש. מאוחר יותר עברו לדירה סמוכה בשכונת גבעת רוקח. כאשר עבר החזון איש לשכונת זיכרון מאיר עברה אף משפחתו להתגורר בסמיכות אליו.
בגיל עשר נכנס רבי חיים זיע"א ללמוד בישיבת תפארת ציון בבני ברק, שם למד אצל מורו ורבו מרן רבי מיכל יהודה ליפקוביץ שהחל למסור שיעורים בישיבה. לאחר שש שנות לימוד בתפארת ציון, ביקש אביו שיבוא ללמוד אצלו בישיבת בית יוסף, שם למד אצלו זמן אחד את מסכת יבמות. לאחר מכן עבר ללמוד בישיבת לומז'ה בפתח תקווה בראשות רבי ראובן כץ. בשנתו הראשונה שם, בגיל 17, סיים לראשונה את כל התלמוד הבבלי.
במשך שנתיים שמע שיעורים מהרב שך, שכיהן כר"מ בישיבה, וכן שמע שיעורים מהרב אליהו דושניצר, שכיהן כר"מ ומשגיח בישיבה. בשנתו האחרונה בישיבה שמע שיעורים מהרב יחיאל מרדכי גורדון שמונה לראש הישיבה באותה שנה.
מדי שבוע היה חוזר לביתו לקראת שבת אז למד תורה מדודו החזון איש. בעת לימודיו בישיבת לומז'ה פרצה מלחמת העצמאות וכל תלמידי הישיבה גויסו לשמירה בחזית המצרית, עם מקלות ואבנים בלבד. הרב שמואל גרוסברד, שמונה למפקדם, הורה לתלמיד הצעיר לעלות עם גמרתו לראש הגבעה, שם למד עד לסיום הקרבות.
בז' בכסלו תשי"ב נשא מרן שר התורה הגאון רבי חיים קנייבסקי זיע"א את רעייתו הרבנית מרת בת שבע אסתר, בתו של מרן רבי יוסף שלום אלישיב. השדכנים היו הרב בן ציון ברוק, ראש ישיבת נובהרדוק בירושלים, והחזון איש, ששיבח במכתב את החתן והכתירו בתואר "מרא דכולא תלמודא".
לאחר נישואיהם הם התגוררו בפתח תקווה מספר חודשים והוא המשיך ללמוד בישיבת לומז'ה. לאחר מכן עברו לבני ברק וחלקו דירה משותפת עם משפחות הרב נסים קרליץ, הרב עמרם זקס והרב דב וינטרוב, כאשר כל משפחה התגוררה בחדר אחד והמטבח היה משותף לכולם. בהמשך עברו לדירה מורחבת יותר שחלקו עם משפחת הרב פנחס שרייבר. בבני ברק החל ללמוד בכולל "עטרת יוסף", שלימים נקרא כולל חזון איש. הוא למד שם במשך עשרות שנים.
בתום השבעה לפטירת אביו, באב תשמ"ה הספידו מרן הרב שך בבית המדרש לדרמן בבני ברק שם הוא התבטא ואמר כי מרן הסטייפלער "הניח בן כמותו". דבריו של מרן הרב ש״ך הפכו במהרה לשיחת היום בריכוזים החרדיים.
כבר בצעירותו חיזר אחריו מרן הרב שך בכדי שיצטרף למועצת גדולי התורה אך הוא סירב מסיבותיו שלו. באחד מכינוסי הבחירות הראשונים שנערכו הגיע הרב שך למעונו של מרן שר התורה וביקש שיתלווה אליו, באומרו, "אם רבי חיים לא נכנס איתי אני לא מגיע לכינוס".
במשך שנים רבות כיהן מרן שר התורה כאחד ממנהיגי דגל התורה אך הדבר התבטא אצלו רק במתן תשובות לשאלות שונות. את כל חייו הוא הקדיש לעסק התורה ולכתיבת ספריו הרבים שהפכו לספרי חובה בבית היהודי.
מרן שר התורה מיעט לדבר ברבים ותמיד הסביר כי הוא "ביישן", רק פעם אחת בשנה קולו היה נשמע: היה זה ביום היארצייט לאביו זיע"א אז הוא היה מוסר שיעור תורני בן שתי דקות לעילוי נשמתו הטהורה של אביו.
במשך עשרות שנים הוא יישב במעונו וכתב את ספריו הרבים, בהם: שונה הלכות, טעמא דקרא, דרך אמונה, אורחות יושר ועוד. ספריו הרבים קנו להם שם של כבוד במהירות עצומה וגדולי הדור של אז כבר היו עולים למעונו לשוחח עמי בלימוד ובדברים שונים