Или наоборот почему тогда немцев, литовцев и варягов не назвать чудью?
Ну почему, саамы например называют чудью всех захватчиков без разбора:
Таким образом, чудь в норвежско-саамской повествовательной традиции - название различных этнических групп, пришедших с востока (реже - с запада) на саамские территории и занимавшихся разбоем. Наблюдается общность сюжетов о чуди среди различных групп саамов, проживающих на территориях Северной Норвегии, особенно на границах Норвегии и Швеции, и Кольского полуострова России и Норвегии. В рассказах кольских лопарей чудь приходит с запада. Свидетельство этому дополнительно было получено нами в экспедиции 2006 г. А.М. Гауп подтвердил, что в рассказах саамов, проживающих в Лавозере (Мурманскоая область), чудь приходит со Швеции.
И наоборот, в новгородских летописях встречается наименование югры практически немцами (язык нѣмъ).