Bagaimana Anda menghapus teks duplikat dengan python?
Untuk menghapus duplikat dari daftar, Anda dapat menggunakan fungsi bawaan set(). Keistimewaan metode set() adalah mengembalikan elemen yang berbeda
Kami memiliki daftar. [1,1,2,3,2,2,4,5,6,2,1]. Daftar ini memiliki banyak duplikat yang perlu kita hapus dan dapatkan kembali hanya elemen yang berbeda. Daftar ini diberikan ke fungsi bawaan set(). Nantinya daftar akhir ditampilkan menggunakan fungsi bawaan list(), seperti yang ditunjukkan pada contoh di bawah ini Show
Output yang kita dapatkan adalah elemen yang berbeda di mana semua elemen duplikat dihilangkan. my_list = [1,1,2,3,2,2,4,5,6,2,1] my_final_list = set(my_list) print(list(my_final_list)) Keluaran [1, 2, 3, 4, 5, 6]_ Hapus Duplikat dari daftar menggunakan Daftar SementaraUntuk menghapus duplikat dari daftar yang diberikan, Anda dapat menggunakan daftar sementara yang kosong. Untuk yang pertama, Anda harus mengulang daftar yang memiliki duplikat dan menambahkan item unik ke daftar sementara. Kemudian daftar sementara ditugaskan ke daftar utama Berikut adalah contoh kerja menggunakan daftar sementara my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2] print("List Before ", my_list) temp_list = [] for i in my_list: if i not in temp_list: temp_list.append(i) my_list = temp_list print("List After removing duplicates ", my_list) Keluaran List Before [1, 2, 3, 1, 2, 4, 5, 4, 6, 2] List After removing duplicates [1, 2, 3, 4, 5, 6] Hapus duplikat dari daftar menggunakan DictKami dapat menghapus duplikat dari daftar yang diberikan dengan mengimpor OrderedDict dari koleksi. Ini tersedia dari python2. 7 dan seterusnya. OrderedDict menangani mengembalikan Anda elemen yang berbeda dalam urutan di mana kuncinya ada Mari kita gunakan daftar dan gunakan metode fromkeys() yang tersedia di OrderedDict untuk mendapatkan elemen unik dari daftar Untuk menggunakan OrderedDict. fromkey() , Anda harus mengimpor OrderedDict dari koleksi, seperti yang ditunjukkan di bawah ini from collections import OrderedDict_ Berikut adalah contoh untuk menghapus duplikat menggunakan OrderedDict. fromkeys() metode from collections import OrderedDict my_list = ['a','x','a','y','a','b','b','c'] my_final_list = OrderedDict.fromkeys(my_list) print(list(my_final_list)) Keluaran ['a', 'x', 'y', 'b', 'c']_ Dari Python 3. 5+ dan seterusnya, kita dapat menggunakan dict biasa. fromkeys() untuk mendapatkan elemen berbeda dari daftar. Dikte. metode fromkeys() mengembalikan kunci yang unik dan membantu menghilangkan nilai duplikat Contoh yang menunjukkan cara kerja dict. fromkeys() pada list untuk memberikan unique item adalah sebagai berikut my_list = ['a','x','a','y','a','b','b','c'] my_final_list = dict.fromkeys(my_list) print(list(my_final_list)) Keluaran ['a', 'x', 'y', 'b', 'c']_ Hapus duplikat dari daftar menggunakan for-loopMenggunakan for-loop, kami akan melintasi daftar item untuk menghapus duplikat Pertama, inisialisasi array untuk mengosongkan i. e myFinallist = []. Di dalam for-loop, tambahkan centang jika item dalam daftar ada di array myFinallist. Jika item tidak ada, tambahkan item ke array myFinallist menggunakan metode append() Jadi, setiap kali item duplikat ditemukan, item tersebut sudah ada di array myFinallist dan tidak akan disisipkan. Mari kita periksa hal yang sama pada contoh di bawah ini my_list = [1,2,2,3,1,4,5,1,2,6] myFinallist = [] for i in my_list: if i not in myFinallist: myFinallist.append(i) print(list(myFinallist))_ Keluaran [1, 2, 3, 4, 5, 6]_ Hapus duplikat dari daftar menggunakan pemahaman daftarPemahaman daftar adalah fungsi Python yang digunakan untuk membuat urutan baru (seperti daftar, kamus, dll. ) menggunakan urutan yang telah dibuat. Ini membantu Anda mengurangi loop yang lebih panjang dan membuat kode Anda lebih mudah dibaca dan dipelihara Mari kita gunakan pemahaman daftar untuk menghapus duplikat dari daftar yang diberikan [1, 2, 3, 4, 5, 6]_1 Keluaran [1, 2, 3, 4, 5, 6]_ Hapus duplikat dari daftar menggunakan metode Numpy unique()Metode unique() dari modul Numpy dapat membantu kita menghapus duplikat dari daftar yang diberikan Untuk bekerja dengan modul numpy impor pertama Numpy, Anda harus mengikuti langkah-langkah ini Langkah 1) Impor modul Numpy [1, 2, 3, 4, 5, 6]_3 Langkah 2) Gunakan daftar Anda dengan duplikat di dalam metode unik seperti yang ditunjukkan di bawah ini. Output diubah kembali ke format daftar menggunakan metode tolist() [1, 2, 3, 4, 5, 6]_4 Langkah 3) Akhirnya cetak daftar seperti yang ditunjukkan di bawah ini [1, 2, 3, 4, 5, 6]_5 Kode terakhir dengan output adalah sebagai berikut [1, 2, 3, 4, 5, 6]_6 Keluaran [1, 2, 3, 4, 5, 6]_ Hapus duplikat dari daftar menggunakan metode PandasModul Pandas memiliki metode unique() yang akan memberi kita elemen unik dari daftar yang diberikan Untuk bekerja dengan modul Pandas, Anda harus mengikuti langkah-langkah ini Langkah 1) Impor modul Pandas [1, 2, 3, 4, 5, 6]_8 Langkah 2) Gunakan daftar Anda dengan metode duplikat di dalam unique() seperti yang ditunjukkan di bawah ini [1, 2, 3, 4, 5, 6]_9 Langkah 3) Cetak daftar seperti yang ditunjukkan di bawah ini [1, 2, 3, 4, 5, 6]_5 Kode terakhir dengan output adalah sebagai berikut my_list = [1, 2, 3, 1, 2, 4, 5, 4 ,6, 2] print("List Before ", my_list) temp_list = [] for i in my_list: if i not in temp_list: temp_list.append(i) my_list = temp_list print("List After removing duplicates ", my_list)1 Keluaran [1, 2, 3, 4, 5, 6]_ Hapus duplikat menggunakan enumerate() dan daftar pemahamanDi sini kombinasi daftar pemahaman dan menghitung untuk menghapus elemen duplikat. Enumerate mengembalikan objek dengan penghitung untuk setiap elemen dalam daftar. Misalnya (0,1), (1,2) dll. Di sini nilai pertama adalah indeks, dan nilai kedua adalah item daftar. W Bagaimana Anda menghapus duplikat dari teks dengan Python?Untuk menghapus baris duplikat dari file teks atau fungsi Python, kami menggunakan metode penanganan file dengan Python. . Karena kita hanya akan membaca isi dari file ini, buka file input dalam mode read-only terlebih dahulu Sekarang, untuk menulis konten ke file ini, buka file keluaran dalam mode tulis Bagaimana cara menghapus duplikat dalam string teks?Masalah. Anda memiliki kata atau string teks yang sama di dalam sel dan ingin menghapus pengulangan kedua dan selanjutnya. . Pilih rentang sel tempat Anda ingin menghapus teks berulang Tekan Alt + F8 untuk membuka kotak dialog Makro Dalam daftar makro, pilih RemoveDupeWords2 Klik Jalankan Bagaimana Anda menemukan duplikat dalam teks Python?Buat sebuah String dan simpan dalam sebuah variabel. Untuk membandingkan karakter yang dipilih dengan karakter yang tersisa dalam string, loop dalam akan digunakan. Jika kecocokan ditemukan, hitungan dinaikkan 1. Jika hitungan karakter lebih dari 1 setelah loop dalam selesai, ada karakter duplikat dalam string |