גורביץ' עוסק בכתיבת שירה ובכתיבת מסות על שפה וכתיבה. הוא כתב על שירתם של משוררים ישראליים, כמו דוד אבידן, חיים נחמן ביאליק, יונה וולך, אהרון שבתאי, ועוד, וכן על אמנים ישראליים שונים. בנוסף מתרגם גורביץ' משוררים אמריקאים ובהם ג'ון אשברי, צ'ארלס אולסון ואחרים. אחד ממאמריו החשובים הוא "על המקום", אותו כתב יחד עם עמיתו פרופ' גדעון ארן והתפרסם ב-1991 ויצא גם כספר בשנת 2007. בשנת 2011 גורביץ' שיחק בתפקיד הראשי בסרט קצר "ריקוד בוויטרינה" בבימוי איתי עקירב, סטודנט בביה"ס לקולנוע סם שפיגל.

גורביץ' פרסם שלושה עשר ספרי שירה, שעל אחד מהם, "יום יום" זכה בפרס קוגל‏‏‏.