Bagaimana Anda menghapus teks duplikat dengan python?

Untuk menghapus duplikat dari daftar, Anda dapat menggunakan fungsi bawaan set(). Keistimewaan metode set() adalah mengembalikan elemen yang berbeda

Kami memiliki daftar. [1,1,2,3,2,2,4,5,6,2,1]. Daftar ini memiliki banyak duplikat yang perlu kita hapus dan dapatkan kembali hanya elemen yang berbeda. Daftar ini diberikan ke fungsi bawaan set(). Nantinya daftar akhir ditampilkan menggunakan fungsi bawaan list(), seperti yang ditunjukkan pada contoh di bawah ini


Output yang kita dapatkan adalah elemen yang berbeda di mana semua elemen duplikat dihilangkan.
my_list = [1,1,2,3,2,2,4,5,6,2,1]
my_final_list = set(my_list)
print(list(my_final_list))

Keluaran

[1, 2, 3, 4, 5, 6]
_

Hapus Duplikat dari daftar menggunakan Daftar Sementara

Untuk menghapus duplikat dari daftar yang diberikan, Anda dapat menggunakan daftar sementara yang kosong. Untuk yang pertama, Anda harus mengulang daftar yang memiliki duplikat dan menambahkan item unik ke daftar sementara. Kemudian daftar sementara ditugaskan ke daftar utama

Berikut adalah contoh kerja menggunakan daftar sementara

my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2]
print("List Before ", my_list)
temp_list = []

for i in my_list:
    if i not in temp_list:
        temp_list.append(i)

my_list = temp_list

print("List After removing duplicates ", my_list)

Keluaran

List Before  [1, 2, 3, 1, 2, 4, 5, 4, 6, 2]
List After removing duplicates  [1, 2, 3, 4, 5, 6]

Hapus duplikat dari daftar menggunakan Dict

Kami dapat menghapus duplikat dari daftar yang diberikan dengan mengimpor OrderedDict dari koleksi. Ini tersedia dari python2. 7 dan seterusnya. OrderedDict menangani mengembalikan Anda elemen yang berbeda dalam urutan di mana kuncinya ada

Mari kita gunakan daftar dan gunakan metode fromkeys() yang tersedia di OrderedDict untuk mendapatkan elemen unik dari daftar

Untuk menggunakan OrderedDict. fromkey() , Anda harus mengimpor OrderedDict dari koleksi, seperti yang ditunjukkan di bawah ini

from collections import OrderedDict
_

Berikut adalah contoh untuk menghapus duplikat menggunakan OrderedDict. fromkeys() metode

from collections import OrderedDict

my_list = ['a','x','a','y','a','b','b','c']

my_final_list = OrderedDict.fromkeys(my_list)

print(list(my_final_list))

Keluaran

['a', 'x', 'y', 'b', 'c']
_

Dari Python 3. 5+ dan seterusnya, kita dapat menggunakan dict biasa. fromkeys() untuk mendapatkan elemen berbeda dari daftar. Dikte. metode fromkeys() mengembalikan kunci yang unik dan membantu menghilangkan nilai duplikat

Contoh yang menunjukkan cara kerja dict. fromkeys() pada list untuk memberikan unique item adalah sebagai berikut

my_list = ['a','x','a','y','a','b','b','c']
my_final_list = dict.fromkeys(my_list)
print(list(my_final_list))

Keluaran

['a', 'x', 'y', 'b', 'c']
_

Hapus duplikat dari daftar menggunakan for-loop

Menggunakan for-loop, kami akan melintasi daftar item untuk menghapus duplikat

Pertama, inisialisasi array untuk mengosongkan i. e myFinallist = []. Di dalam for-loop, tambahkan centang jika item dalam daftar ada di array myFinallist. Jika item tidak ada, tambahkan item ke array myFinallist menggunakan metode append()

Jadi, setiap kali item duplikat ditemukan, item tersebut sudah ada di array myFinallist dan tidak akan disisipkan. Mari kita periksa hal yang sama pada contoh di bawah ini

my_list = [1,2,2,3,1,4,5,1,2,6]
myFinallist = []
for i in my_list:
    if i not in myFinallist:
myFinallist.append(i)
print(list(myFinallist))
_

Keluaran

[1, 2, 3, 4, 5, 6]
_

Hapus duplikat dari daftar menggunakan pemahaman daftar

Pemahaman daftar adalah fungsi Python yang digunakan untuk membuat urutan baru (seperti daftar, kamus, dll. ) menggunakan urutan yang telah dibuat. Ini membantu Anda mengurangi loop yang lebih panjang dan membuat kode Anda lebih mudah dibaca dan dipelihara

Mari kita gunakan pemahaman daftar untuk menghapus duplikat dari daftar yang diberikan

[1, 2, 3, 4, 5, 6]
_1

Keluaran

[1, 2, 3, 4, 5, 6]
_

Hapus duplikat dari daftar menggunakan metode Numpy unique()

Metode unique() dari modul Numpy dapat membantu kita menghapus duplikat dari daftar yang diberikan

Untuk bekerja dengan modul numpy impor pertama Numpy, Anda harus mengikuti langkah-langkah ini

Langkah 1) Impor modul Numpy

[1, 2, 3, 4, 5, 6]
_3

Langkah 2) Gunakan daftar Anda dengan duplikat di dalam metode unik seperti yang ditunjukkan di bawah ini. Output diubah kembali ke format daftar menggunakan metode tolist()

[1, 2, 3, 4, 5, 6]
_4

Langkah 3) Akhirnya cetak daftar seperti yang ditunjukkan di bawah ini

[1, 2, 3, 4, 5, 6]
_5

Kode terakhir dengan output adalah sebagai berikut

[1, 2, 3, 4, 5, 6]
_6

Keluaran

[1, 2, 3, 4, 5, 6]
_

Hapus duplikat dari daftar menggunakan metode Pandas

Modul Pandas memiliki metode unique() yang akan memberi kita elemen unik dari daftar yang diberikan

Untuk bekerja dengan modul Pandas, Anda harus mengikuti langkah-langkah ini

Langkah 1) Impor modul Pandas

[1, 2, 3, 4, 5, 6]
_8

Langkah 2) Gunakan daftar Anda dengan metode duplikat di dalam unique() seperti yang ditunjukkan di bawah ini

[1, 2, 3, 4, 5, 6]
_9

Langkah 3) Cetak daftar seperti yang ditunjukkan di bawah ini

[1, 2, 3, 4, 5, 6]
_5

Kode terakhir dengan output adalah sebagai berikut

my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2]
print("List Before ", my_list)
temp_list = []

for i in my_list:
    if i not in temp_list:
        temp_list.append(i)

my_list = temp_list

print("List After removing duplicates ", my_list)
1

Keluaran

[1, 2, 3, 4, 5, 6]
_

Hapus duplikat menggunakan enumerate() dan daftar pemahaman

Di sini kombinasi daftar pemahaman dan menghitung untuk menghapus elemen duplikat. Enumerate mengembalikan objek dengan penghitung untuk setiap elemen dalam daftar. Misalnya (0,1), (1,2) dll. Di sini nilai pertama adalah indeks, dan nilai kedua adalah item daftar. W

Bagaimana Anda menghapus duplikat dari teks dengan Python?

Untuk menghapus baris duplikat dari file teks atau fungsi Python, kami menggunakan metode penanganan file dengan Python. .
Karena kita hanya akan membaca isi dari file ini, buka file input dalam mode read-only terlebih dahulu
Sekarang, untuk menulis konten ke file ini, buka file keluaran dalam mode tulis

Bagaimana cara menghapus duplikat dalam string teks?

Masalah. Anda memiliki kata atau string teks yang sama di dalam sel dan ingin menghapus pengulangan kedua dan selanjutnya. .
Pilih rentang sel tempat Anda ingin menghapus teks berulang
Tekan Alt + F8 untuk membuka kotak dialog Makro
Dalam daftar makro, pilih RemoveDupeWords2
Klik Jalankan

Bagaimana Anda menemukan duplikat dalam teks Python?

Buat sebuah String dan simpan dalam sebuah variabel. Untuk membandingkan karakter yang dipilih dengan karakter yang tersisa dalam string, loop dalam akan digunakan. Jika kecocokan ditemukan, hitungan dinaikkan 1. Jika hitungan karakter lebih dari 1 setelah loop dalam selesai, ada karakter duplikat dalam string