1、弟弟的孩子应该称呼你为姑姑,而他的孩子就是你的侄子(侄儿、侄女)。反过来,你弟弟可以你家的孩子叫做外甥或外甥女。
2、至于如何区分亲戚间的叫法,有一个简单的:姐姐属于女性,所以你女性亲戚基本都跟外有关,比如妈妈的爸爸叫外公、妈妈的妈妈叫外婆。如果是男性亲属,就比较复杂了:你哥哥或者弟弟的孩子,你都可以侄子或侄女。