נולד בארצות הברית. בהיותו בן 14, עת גר בפילדלפיה, חזר בתשובה. למד בצעירותו מתמטיקה ופילוסופיה לתואר ראשון באוניברסיטת שיקגו, ומתמטיקה לתואר שני בישיבה יוניברסיטי. בשנת ה'תשכ"ה (1965) עלה לישראל, למד בישיבת קמניץ בירושלים ולאחר מכן התגורר בטבריה. לאחר מלחמת ששת הימים חזר הרב גינזבורג לירושלים ויחד עם חותנו לעתיד, הרב משה צבי סגל, היה בין הראשונים שעברו להתגורר ברובע היהודי. באותה תקופה התוודע באופן מעמיק לכתבי חסידות חב"ד. ביקר אצל האדמו"ר מליובאוויטש רבי מנחם מנדל שניאורסון ושהה אצלו מספר חודשים. כשחזר לארץ התחתן והחל ללמד גמרא, שולחן ערוך וחסידות לקבוצת תלמידים בירושלים.

מאז שנת תש"ל הוא מתגורר עם משפחתו בכפר חב"ד. את ביתו פוקדים תלמידיו, המשתייכים ברובם לזרם הדתי לאומי או חרדי לאומי. מוסר שיעורים במקומות שונים בארץ. שיעורו העיקרי, הנמשך מספר שעות, מתקיים מדי שבוע בירושלים. ספריו עוסקים בקבלה, בחסידות וביחסים שבין תורה ומדע. הספרים יוצאים לאור על ידי תנועת "גל עיני" שהקים. הרב גינזבורג הוציא גם כמה אלבומים עם ניגונים שהלחין.