Bagaimana Anda menghapus teks duplikat dengan python?

Kami memiliki daftar. [1,1,2,3,2,2,4,5,6,2,1]. Daftar ini memiliki banyak duplikat yang perlu kita hapus dan dapatkan kembali hanya elemen yang berbeda. Daftar ini diberikan ke fungsi bawaan set(). Nantinya daftar akhir ditampilkan menggunakan fungsi bawaan list(), seperti yang ditunjukkan pada contoh di bawah ini

my_list = [1,1,2,3,2,2,4,5,6,2,1]
my_final_list = set(my_list)
print(list(my_final_list))

Keluaran

[1, 2, 3, 4, 5, 6]

Hapus Duplikat dari daftar menggunakan Daftar Sementara

Untuk menghapus duplikat dari daftar yang diberikan, Anda dapat menggunakan daftar sementara yang kosong. Untuk yang pertama, Anda harus mengulang daftar yang memiliki duplikat dan menambahkan item unik ke daftar sementara. Kemudian daftar sementara ditugaskan ke daftar utama

Berikut adalah contoh kerja menggunakan daftar sementara

my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2]
print("List Before ", my_list)
temp_list = []

for i in my_list:
    if i not in temp_list:
        temp_list.append(i)

my_list = temp_list

print("List After removing duplicates ", my_list)

Keluaran

List Before  [1, 2, 3, 1, 2, 4, 5, 4, 6, 2]
List After removing duplicates  [1, 2, 3, 4, 5, 6]

Hapus duplikat dari daftar menggunakan Dict

Kami dapat menghapus duplikat dari daftar yang diberikan dengan mengimpor OrderedDict dari koleksi. Ini tersedia dari python2. 7 dan seterusnya. OrderedDict menangani mengembalikan Anda elemen yang berbeda dalam urutan di mana kuncinya ada

Mari kita gunakan daftar dan gunakan metode fromkeys() yang tersedia di OrderedDict untuk mendapatkan elemen unik dari daftar

Untuk menggunakan OrderedDict. fromkey() , Anda harus mengimpor OrderedDict dari koleksi, seperti yang ditunjukkan di bawah ini

from collections import OrderedDict

Berikut adalah contoh untuk menghapus duplikat menggunakan OrderedDict. fromkeys() metode

from collections import OrderedDict

my_list = ['a','x','a','y','a','b','b','c']

my_final_list = OrderedDict.fromkeys(my_list)

print(list(my_final_list))

Keluaran

['a', 'x', 'y', 'b', 'c']

Dari Python 3. 5+ dan seterusnya, kita dapat menggunakan dict biasa. fromkeys() untuk mendapatkan elemen berbeda dari daftar. Dikte. metode fromkeys() mengembalikan kunci yang unik dan membantu menghilangkan nilai duplikat

Contoh yang menunjukkan cara kerja dict. fromkeys() pada list untuk memberikan unique item adalah sebagai berikut

my_list = ['a','x','a','y','a','b','b','c']
my_final_list = dict.fromkeys(my_list)
print(list(my_final_list))

Keluaran

['a', 'x', 'y', 'b', 'c']

Hapus duplikat dari daftar menggunakan for-loop

Menggunakan for-loop, kami akan melintasi daftar item untuk menghapus duplikat

Pertama, inisialisasi array untuk mengosongkan i. e myFinallist = []. Di dalam for-loop, tambahkan centang jika item dalam daftar ada di array myFinallist. Jika item tidak ada, tambahkan item ke array myFinallist menggunakan metode append()

Jadi, setiap kali item duplikat ditemukan, item tersebut sudah ada di array myFinallist dan tidak akan disisipkan. Mari kita periksa hal yang sama pada contoh di bawah ini

my_list = [1,2,2,3,1,4,5,1,2,6]
myFinallist = []
for i in my_list:
    if i not in myFinallist:
myFinallist.append(i)
print(list(myFinallist))

Keluaran

[1, 2, 3, 4, 5, 6]

Hapus duplikat dari daftar menggunakan pemahaman daftar

Pemahaman daftar adalah fungsi Python yang digunakan untuk membuat urutan baru (seperti daftar, kamus, dll. ) menggunakan urutan yang telah dibuat. Ini membantu Anda mengurangi loop yang lebih panjang dan membuat kode Anda lebih mudah dibaca dan dipelihara

Mari kita gunakan pemahaman daftar untuk menghapus duplikat dari daftar yang diberikan

[1, 2, 3, 4, 5, 6]

Keluaran

[1, 2, 3, 4, 5, 6]

Hapus duplikat dari daftar menggunakan metode Numpy unique()

Metode unique() dari modul Numpy dapat membantu kita menghapus duplikat dari daftar yang diberikan

Untuk bekerja dengan modul numpy impor pertama Numpy, Anda harus mengikuti langkah-langkah ini

Langkah 1) Impor modul Numpy

[1, 2, 3, 4, 5, 6]

Langkah 2) Gunakan daftar Anda dengan duplikat di dalam metode unik seperti yang ditunjukkan di bawah ini. Output diubah kembali ke format daftar menggunakan metode tolist()

[1, 2, 3, 4, 5, 6]

Langkah 3) Akhirnya cetak daftar seperti yang ditunjukkan di bawah ini

[1, 2, 3, 4, 5, 6]

Kode terakhir dengan output adalah sebagai berikut

[1, 2, 3, 4, 5, 6]

Keluaran

[1, 2, 3, 4, 5, 6]

Hapus duplikat dari daftar menggunakan metode Pandas

Modul Pandas memiliki metode unique() yang akan memberi kita elemen unik dari daftar yang diberikan

Untuk bekerja dengan modul Pandas, Anda harus mengikuti langkah-langkah ini

Langkah 1) Impor modul Pandas

[1, 2, 3, 4, 5, 6]

Langkah 2) Gunakan daftar Anda dengan metode duplikat di dalam unique() seperti yang ditunjukkan di bawah ini

[1, 2, 3, 4, 5, 6]

Langkah 3) Cetak daftar seperti yang ditunjukkan di bawah ini

[1, 2, 3, 4, 5, 6]

Kode terakhir dengan output adalah sebagai berikut

my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2]
print("List Before ", my_list)
temp_list = []

for i in my_list:
    if i not in temp_list:
        temp_list.append(i)

my_list = temp_list

print("List After removing duplicates ", my_list)

Keluaran

[1, 2, 3, 4, 5, 6]

Hapus duplikat menggunakan enumerate() dan daftar pemahaman

Di sini kombinasi daftar pemahaman dan menghitung untuk menghapus elemen duplikat. Enumerate mengembalikan objek dengan penghitung untuk setiap elemen dalam daftar. Misalnya (0,1), (1,2) dll. Di sini nilai pertama adalah indeks, dan nilai kedua adalah item daftar. W

Bagaimana Anda menghapus duplikat dari teks dengan Python?

Bagaimana cara menghapus duplikat dalam string teks?

Bagaimana Anda menemukan duplikat dalam teks Python?