מספר חודשים לאחר בואו ארצה, בי”א תמוז, נשא ר’ אריה לאשה את חנה, בתו של הרב דוד שפירא, גיסו של הרב צבי פסח פרנק. ר’ אריה השתקע בירושלים, למד בישיבת ‘תורת חיים’ ובשנת תרס”ט (1909) הוסמך לרבנות ע”י הגאונים: רבי חיים ברלין (בנו של הנצי”ב מוולוז’ין), רבי שמואל סלנט והרב אברהם יצחק הכהן קוק שנפשם נקשרה זה בזה. משנת תרע”ז (1917) ועד אחרית ימיו שימש משגיח רוחני בתלמוד תורה שליד ישיבת עץ חיים בירושלים.
רבי אריה נקרא בפי כל ר’ אריה ונודע בכינויו “רב האסירים” מפני שהיה נוהג במשך כעשרים וחמש שנה, בתקופת המנדט הבריטי, ללכת לאסירים בבתי הכלא, לעודד את רוחם, ולכתוב להם מכתבים. בפרט נודעו ביקוריו אצל אסירי המחתרות ועולי הגרדום. ר’ אריה ביקר בקביעות גם בבית החולים למצורעים על מנת לעודד את יושביו. כששאלו את הראי”ה קוק זצ”ל מדוע המליץ בפני שלטונות הכלא דווקא על ר’ אריה שיהיה רבם של האסירים השיבם: “יש בו בר’ אריה, מידה של גומל חסד בגופו וכאן סוד נשמתו ותיקונו בעולם”. ועוד אמר עליו הראי”ה: “אילו היו בדורנו שלושה יהודים כרב ר’ אריה - היה המשיח בא…”
מידותיו הטובות, צניעותו, אהבתו את כל ברואי ה’ וגמילות החסד שנהג עם כל נצרך היו מן המפורסמות בירושלים. חי בצניעות ובתנאים ירודים, סירב לכל הצעה של אוהביו שייטיבו את תנאי חייו. פעם אמר לידידו בעת הלוויה בסנהדריה: “פעמים רבות ניסו להשפיע עלי שאעתיק דירתי למקום מרווח יותר וסירבתי, צא וראה לאחר אריכות ימים ושנים מובל אדם מדירתו לכאן, אצלי לא יקשה המעבר, כי מחדרי להכא אין ניגוד חריף…”
פניו היו מאירות בייחוד כשהיה פוגש בילדים. פעם אחת כשיצא מביתו ניגש ר’ אריה אל הילדים וליטף את פניהם בחיבה אבהית ואמר למלווהו: “אם מצווה היא לרצות ולחונן את אבניה ועפרה של ארץ ישראל כדברי הכתוב בתהילים: כי רצו עבדיך את אבניה ואת עפרה יחוננו, הרי את ילדי ישראל שבארץ ישראל על אחת כמה וכמה…”
סיפורים רבים נקשרו בצדיק הירושלמי ר’ אריה לוין וסופרו בהרחבה בשני ספרים של הסופר שמחה רז: ‘איש צדיק היה’ ו’צדיק יסוד עולם’. בספר מובא סיפור שאירע מספר שעות לפני פטירתו של ר’ אריה. כשניגש אליו העיתונאי אליהו עמיקם, הצביע ר’ אריה על ספר התהילים בידו, ועל הפסוקים “יושיע ציון ויבנה ערי יהודה… ואוהבי שמו ישכנו שמה”. הסביר ר’ אריה: “קודם כל יושיע ציון - תחילה באו הביל”ויים ואחר כך יורשיהם. עכשיו אנחנו בשלב השני - עלינו לבנות את ערי יהודה ורק אז תבוא התקופה השלישית - אהבת השם… אף תקופה זו תגיע…”
הסיפורים הרבים אודותיו האפילו על פן נוסף באישיותו, ר’ אריה היה תלמיד חכם בעל היקף ידיעות עצום ורב ואיש אמונם של גדולי ישראל אשר רחשו לו כבוד והערכה רבה. בחייו עשה הכל כדי להסתיר ולהצניע את גדלותו, אך בצוואתו לצאצאיו הוא מדריכם באורחות חיים, חושף מעט מעולמו הפנימי כדי שדבריו יתקבלו על ליבם, ומבקש מהם ללכת בדרכים אותן סלל, ולעיתים מתוך מסירות והקרבת כל אשר לו למען הזולת.
רבי אריה קיים בעצמו “הבורח מן הכבוד” ועשה זאת בכל כוחו. משרצו להעניק לו תואר יקיר ירושלים - סירב. רבים וטובים הפצירו בו שיסכים, אך הוא סירב ולא נימק מדוע. “ראיתי והתבוננתי כי אינו כדאי להשתדל להשיג משרה לדחוק את השעה. כי בשמך יקראוך ובמקומך יושיבוך. ומשלך יתנו לך…”
פעם נשאל בעניין וברגע של גילוי לב ענה : “אין פותחים חלון בבית אפל” (כוונתו, כי כאשר הבית אפל, אי אפשר לראות את חסרונו, הרי חשוך בבית. אך כשיפתחו בו את החלון והאור יגיע, יראו את כל החסרונות…) כזה היה רבי אריה בענוותנותו וצניעותו, בטוח היה שאינו ראוי לכך ואדרבה הדבר רק יגלה חסרונותיו ברבים.
“התאמצתי תמיד להיות מן הנעלבים ואינם עולבים, שומעים חרפתם ואינם משיבים, ותיכף ומיד התפללתי שלא ייענש שום אדם בסיבתי…”
סיפר הגאון הרב זילברשטיין שליט”א חתן נכדתו: “פעם, בעת שהרב מסר שיעור, הגיע אליו הנשיא זמן שזר ז”ל וביקש לדבר עמו. משנכנס שליחו ומסר את הבקשה, ענה הרב: “אני עוסק כעת בלימוד תורה. אם מדובר בנושא שדוחה תלמוד תורה, הנני מוכן, אך אם לא, בבקשה לדחות את הפגישה למחר”. ואכן, הנשיא נסע, ולמחרת התברר הסיפור הבא: מאחר והיה טקס של חנינה לאסירים שבו השתתף נשיא בית המשפט בארצות הברית, הוא פנה לאחד האסירים, ושאל אותו: “האם אתה תמשיך לגנוב בעתיד?” האסיר חשב רגע וענה: “רק דבר אחד (או פעם אחת). אני צריך “להשיג” לרב לוין שעון, כי אין לו שעון”! לפליאתו של האורח הסביר האסיר כי הרב אריה לוין לימד אותם בכלא על מידת האמת, ודבריו כל כך חדרו לליבו, שהוא החליט לקבל על עצמו שלא לגנוב יותר כדי להימנע מהשקרים הנובעים מהסתרת והכחשת המעשה וממילא לא יוכל יותר לגנוב. אבל הוא כל כך מעריך ומעריץ את הרב לוין, שהוא רוצה לתת לו מתנה שעון יד שאין לרב. האורח התפעל כל כך מהסיפור וביקש לפגוש את הרב לוין. הוא התלווה אל הנשיא שזר כדי לפגוש את הרב, ומכיוון שהדבר לא הצדיק ביטול תורה, דחה הנשיא את הביקור למחרת!
ר’ אריה לוין נפטר ב-ט’ ניסן תשכ”ט (1969) ונטמן בבית העלמין בסנהדריה בסמוך לקברה של אשתו. גם בצוואתו המשיך ר’ אריה לדאוג לכלל ישראל: “כל אלו שהייתי קשור אליהם בחיי, בפרט לאלו שהתקרבו אלי בקרבת אלוקים והרגשתי בצערם ובסבלם, לא אשכחם, אם תהיה לי איזו זכות אחר י”ב חודש לבקש רחמים לפני כיסא הכבוד…”