Прежде на Руси калачи выпекали с ручкой, за которую их носили. Так как за время носки ручка пачкалось, то её отламывали и выбрасывали. Их затем на улице подбирали животные и нищие.
Таким образом, в народе выражение «дойти до ручки» означало вконец обнищать, дойти до предела.