內跟外很好分啊，爸爸的就是內，媽媽那邊的就是外

爸爸的爸爸媽媽就是祖父和祖母

媽媽的爸爸媽媽就是外祖父和外祖母

台語的阿祖是曾祖父(母)

所以你的意思應該是曾祖父(或外曾祖父)是日本人吧