¿Alguien tiene enlaces de código a mano que pueda agregar aquí? ¡Gracias por adelantado!

Hola @ebarry , creo que este es un problema más serio en realidad: sweat_smile: hice cambios para esto aquí https://github.com/publiclab/plots2/pull/7609 pero debo haberlo estropeado y haber calculado el recuento incorrecto. pensar: decepcionado: bucle en @jywarren Lo siento, es posible que necesite ayuda para arreglar esto: sweat_smile:

Hola @Tlazypanda, ¿podemos mirar otros lugares donde se usa el código de tipo Tag.counter e intentar cambiar a eso?

https://github.com/publiclab/plots2/pull/7609/files#diff -8fe92870a7f027a46eed82a51c5c16bcR118

Sin embargo, los recuentos se han alejado muy poco. Me pregunto si esto se debe a que algunas cosas se envían spam y luego eso afecta un poco las matemáticas.

Vea, por ejemplo, la diferencia entre estos recuentos:

¿Podemos buscar dónde se calcula el recuento 236 y cambiar a eso, tal vez?

Entonces eso usa una variable de instancia generada por el controlador:

https://github.com/publiclab/plots2/blob/c056cb0b97ebc6b34184ec3dfa9a83e1096395f9/app/views/tag/show.html.erb#L58

Creo que aquí es donde se calcula esto:

https://github.com/publiclab/plots2/blob/c056cb0b97ebc6b34184ec3dfa9a83e1096395f9/app/controllers/tag_controller.rb#L551 -L560

Hola @jywarren , lo que puedo ver en la etiqueta /: id, es decir, la página de presentación de la etiqueta es que solo estamos mostrando notas de investigación y en tarjetas de temas, estamos tratando de mostrar notas de investigación + preguntas.
Entonces, creo que lo que debemos hacer es buscar notas de la misma manera que lo hacemos en la etiqueta # show y para mostrar el recuento en la parte inferior de la tarjeta de tema, solo necesitaremos usar esta expresión matemática:
Número de notas con el nombre de etiqueta: recuento de notas mostradas en la tarjeta de tema

necesitamos buscar notas de la misma manera que lo hacemos en la etiqueta # show

¡Hola, eso es correcto! señalando el concepto de una "fuente única de la verdad" aquí: https://github.com/publiclab/plots2/issues/6855#issuecomment -578331475

Creo que deberíamos usar los mismos cálculos aquí: https://github.com/publiclab/plots2/pull/7476 (basado en # 6855).

@ urvashigupta7 ¡ muchas gracias por participar! ¿Estaría interesado en realizar estos cambios?

También creo que en https://github.com/publiclab/plots2/pull/7476/ , no estamos filtrando el spam. Entonces, en estas líneas, probablemente deberíamos agregar .where(status: 1) :

https://github.com/publiclab/plots2/blob/c056cb0b97ebc6b34184ec3dfa9a83e1096395f9/app/controllers/tag_controller.rb#L551 -L560

Ese código también depende de esto, que no filtra el spam:

https://github.com/publiclab/plots2/blob/f4dfdcbae4dfa60b0ec357081ee1fae6f2089436/app/models/node.rb#L609 -L618

Asimismo, este código también debe filtrar el spam con el mismo filtro:

https://github.com/publiclab/plots2/blob/f4dfdcbae4dfa60b0ec357081ee1fae6f2089436/app/models/tag.rb#L118 -L124

Mmm. Parece que estamos filtrando spam del cálculo @total_posts , ya que se ejecuta / después / estas líneas:

https://github.com/publiclab/plots2/blob/c056cb0b97ebc6b34184ec3dfa9a83e1096395f9/app/controllers/tag_controller.rb#L204 -L218

Sin embargo, ni Tag.counter ni Node.for_tagname_and_type filtran. ¿Quizás esa sea la irregularidad?

El recuento aquí todavía no es correcto, creo. Por ejemplo, https://stable.publiclab.org/tags ahora enumera 692 publicaciones por balloon-mapping pero aquí están las estadísticas para esa etiqueta (en estable):

Creo que debemos depender de esta solución: https://github.com/publiclab/plots2/pull/8245

entonces podemos comprobar esto de nuevo. Reabriendo por un momento ... dedos 🤞

¡https://github.com/publiclab/plots2/pull/8245 ya está listo! Y tiene pruebas unitarias, muy bueno. Bien, ahora esto puede funcionar ...

De acuerdo, dice 573 posts » - hmm

Notas de investigación 469
Preguntas 37
Wiki páginas 77
Personas 346

Quiero decir, notas más wikis = 546 ...? y más preguntas es 583?

Ahora, probando la etiqueta tests en estable, sospecho que puede haber algo de almacenamiento en caché. Agregar esa etiqueta a una nueva nota, https://stable.publiclab.org/notes/aidanswope/05-21-2019/angel-s-point-balloon-map-updated , no resultó en la pestaña de notas que van de 7 a 8, aunque tag.count devuelve 8 al igual que el resultado de tag.run_count

https://stable.publiclab.org/tag/tests

y señalando el enlace a https://github.com/publiclab/plots2/issues/8244

YESSSSS tiene 5 minutos en caché: https://github.com/publiclab/plots2/blob/e97eff7464a544a97f4b38f169f76250600b3148/app/views/tag/show.html.erb#L133

OK, entonces rastreando el recuento de pestañas:

https://github.com/publiclab/plots2/blob/e97eff7464a544a97f4b38f169f76250600b3148/app/models/node.rb#L621 -L630

Node.where(status: 1, type: 'note').includes(:revision, :tag).references(:term_data, :node_revisions).where('term_data.name = ? OR term_data.parent = ?', 'balloon-mapping', 'balloon-mapping').where.not(nid: qids).count => 470

Frente al recuento de cartas temáticas:

NodeTag.joins(:node).where(tid: 10).where('node.status = 1 AND node.type = "note"').where.not(nid: qids).count => 467

😭

Estos tres son la diferencia: [6129, 7236, 7414] -

[#,

,

]

¡Muy extraño! por 2 razones: 3 notas no es lo mismo que las 10 que faltan (aunque todavía no hemos analizado las preguntas), Y estas tres parecen ser normales, excepto que una fue en febrero de 2013 y 2 fueron en mayo de 2013:

• https://stable.publiclab.org/n/6129
• https://stable.publiclab.org/n/7236
• https://stable.publiclab.org/n/7414

(actualización: consulte a continuación los nombres de etiquetas duplicados)

También interesante:

Node.where(status: 1, type: 'note').includes(:revision, :tag).references(:term_data, :node_revisions).where('term_data.name = ? OR term_data.parent = ?', 'balloon-mapping', 'balloon-mapping').where(nid: qids).count => 29

Esto concuerda con:

NodeTag.joins(:node).where(tid: 10).where('node.status = 1 AND node.type = "note"').where(nid: qids).count

frente a 37 como se muestra en la pestaña, que se calcula con:

https://github.com/publiclab/plots2/blob/e97eff7464a544a97f4b38f169f76250600b3148/app/models/node.rb#L640 -L646

¡Ajá! La última sección muestra que las publicaciones etiquetadas question:balloon-mapping están incluidas en ese recuento incluso si no tienen la etiqueta base balloon-mapping

Las siguientes 8 publicaciones parecen tener question:balloon-mapping pero no balloon-mapping :

[13556, 15762, 16426, 18994, 20694, 11301, 12251, 19625]

Bien, eso nos lleva a 2 nodos. Ahora comparemos manualmente:

irb(main):040:0> NodeTag.joins(:node).where(tid: 10).where('node.status = 1 AND node.type = "note"').count
=> 496
irb(main):041:0> Node.where(status: 1, type: 'note').includes(:tag).references(:term_data).where('term_data.name = ?', 'balloon-mapping').count
=> 499

irb(main):022:0> Node.where(status: 1, type: 'note').includes(:revision, :tag).references(:term_data, :node_revisions).where('term_data.name = ? OR term_data.parent = ?', 'balloon-mapping', 'balloon-mapping').collect(&:nid)
=> [146, 253, 254, 268, 403, 511, 724, 732, 743, 913, 1482, 1489, 1620, 1626, 1627, 1632, 1715, 1849, 1968, 1994, 2126, 2138, 2144, 2476, 2589, 2930, 3115, 3325, 4649, 4952, 5038, 5220, 5250, 5978, 6934, 7050, 7189, 7294, 7314, 7491, 7577, 7593, 7995, 8189, 8907, 8913, 8914, 8950, 9019, 9032, 9042, 9086, 9417, 9434, 9742, 9888, 9977, 10541, 11019, 11100, 11223, 11574, 11582, 11827, 12201, 12240, 12491, 12619, 12708, 13095, 13424, 13945, 14022, 14095, 14183, 14185, 14219, 14515, 14572, 14587, 14597, 14600, 14611, 14620, 14813, 14907, 14909, 14983, 15545, 15568, 16591, 16653, 16746, 16877, 18316, 19153, 19272, 19462, 19558, 19578, 19620, 19762, 20331, 23549, 24101, 24102, 1795, 6635, 347, 369, 439, 444, 792, 861, 1665, 1668, 1962, 2135, 2143, 2152, 2245, 2277, 2783, 2784, 3563, 3635, 3670, 4482, 4516, 4755, 4760, 4923, 4925, 6059, 7641, 10181, 10489, 11101, 11724, 13243, 13880, 13948, 17322, 64, 166, 202, 344, 1666, 1816, 1818, 1819, 2919, 3354, 3736, 3821, 4087, 8020, 8947, 9301, 11199, 11260, 11261, 11755, 12161, 1544, 1739, 1742, 1892, 2006, 5494, 9353, 10705, 828, 1515, 1786, 1877, 1926, 1949, 2121, 2625, 2666, 2677, 2846, 2892, 2961, 4092, 4907, 5394, 5415, 5664, 7132, 7367, 7368, 7717, 7964, 8400, 10243, 6175, 9507, 4636, 6293, 3014, 6624, 9806, 10289, 10554, 11278, 11391, 12104, 12622, 12894, 13143, 9935, 10036, 10196, 10450, 11283, 11719, 11769, 12237, 10246, 10605, 2462, 9497, 1889, 2131, 2443, 3026, 4127, 4252, 4673, 5538, 5893, 6608, 8034, 8902, 8959, 9644, 9707, 10045, 10162, 10335, 10336, 10337, 10373, 10540, 10570, 11107, 11110, 11112, 11124, 11143, 11175, 11298, 11336, 12053, 12203, 12590, 16984, 19515, 19580, 23822, 2163, 3634, 7620, 10166, 11056, 11319, 11589, 1541, 1652, 1676, 1677, 1746, 2154, 2237, 2275, 2311, 2623, 2785, 3454, 3652, 3822, 4014, 4691, 4720, 4950, 5161, 7785, 8866, 8926, 8928, 8937, 8958, 8986, 9759, 9915, 10101, 10230, 10244, 10302, 10311, 10374, 10523, 10602, 11021, 11078, 11103, 11253, 11726, 11988, 12686, 12752, 12757, 13400, 13845, 14116, 14660, 14713, 14756, 1716, 2660, 7191, 7192, 1743, 1636, 1900, 9317, 10651, 1741, 13904, 3096, 2352, 2824, 4091, 2715, 6080, 6082, 2732, 3801, 3908, 4545, 7121, 10284, 13791, 10631, 4921, 6751, 9429, 9743, 11577, 17331, 6073, 9858, 10711, 11118, 6525, 10267, 9034, 11252, 11268, 8033, 8868, 10159, 10214, 9027, 9785, 9033, 9076, 9299, 14501, 14508, 14562, 21733, 10282, 9909, 11178, 11738, 10024, 12667, 11262, 11343, 11978, 11983, 11992, 11826, 11061, 10227, 10428, 11077, 11131, 11137, 11280, 11281, 11518, 11551, 11807, 11812, 11947, 12039, 14158, 14729, 14943, 15641, 16273, 16349, 18560, 19269, 19286, 21547, 10343, 14852, 14901, 15352, 15387, 10612, 10638, 10986, 10994, 20181, 11002, 11127, 11128, 11183, 12166, 11342, 11494, 11955, 11673, 11707, 11711, 12190, 18839, 13802, 14595, 12227, 15912, 14007, 13093, 13096, 12981, 13102, 13160, 13194, 13196, 13227, 13242, 13267, 13278, 13281, 13298, 14168, 15161, 23143, 14058, 14766, 13748, 13839, 15603, 14241, 14179, 14239, 14246, 14240, 14255, 14488, 14487, 14245, 14785, 15160, 14703, 14995, 16571, 15172, 15179, 15424, 15713, 15732, 16141, 16284, 16334, 16382, 17387, 17498, 17499, 18498, 16960, 19689, 17815, 19394, 19464, 19650, 19955, 19476, 19477, 23203, 6129, 7236, 7414]

vs:

irb(main):024:0> NodeTag.joins(:node).where(tid: 10).where('node.status = 1 AND node.type = "note"').collect(&:nid)
=> [146, 253, 254, 268, 403, 511, 724, 732, 743, 913, 1482, 1489, 1620, 1626, 1627, 1632, 1715, 1849, 1968, 1994, 2126, 2138, 2144, 2476, 2589, 2930, 3115, 3325, 4649, 4952, 5038, 5220, 5250, 5978, 6934, 7050, 7189, 7294, 7314, 7491, 7577, 7593, 7995, 8189, 8907, 8913, 8914, 8950, 9019, 9032, 9042, 9086, 9417, 9434, 9742, 9888, 9977, 10541, 11019, 11100, 11223, 11574, 11582, 11827, 12201, 12240, 12491, 12619, 12708, 13095, 13424, 13945, 14022, 14095, 14183, 14185, 14219, 14515, 14572, 14587, 14597, 14600, 14611, 14620, 14813, 14907, 14909, 14983, 15545, 15568, 16591, 16653, 16746, 16877, 18316, 19153, 19272, 19462, 19558, 19578, 19620, 19762, 20331, 23549, 24101, 24102, 1795, 6635, 347, 369, 439, 444, 792, 861, 1665, 1668, 1962, 2135, 2143, 2152, 2245, 2277, 2783, 2784, 3563, 3635, 3670, 4482, 4516, 4755, 4760, 4923, 4925, 6059, 7641, 10181, 10489, 11101, 11724, 13243, 13880, 13948, 17322, 64, 166, 202, 344, 1666, 1816, 1818, 1819, 2919, 3354, 3736, 3821, 4087, 8020, 8947, 9301, 11199, 11260, 11261, 11755, 12161, 1544, 1739, 1742, 1892, 2006, 5494, 9353, 10705, 828, 1515, 1786, 1877, 1926, 1949, 2121, 2625, 2666, 2677, 2846, 2892, 2961, 4092, 4907, 5394, 5415, 5664, 7132, 7367, 7368, 7717, 7964, 8400, 10243, 6175, 9507, 4636, 6293, 3014, 6624, 9806, 10289, 10554, 11278, 11391, 12104, 12622, 12894, 13143, 9935, 10036, 10196, 10450, 11283, 11719, 11769, 12237, 10246, 10605, 2462, 9497, 1889, 2131, 2443, 3026, 4127, 4252, 4673, 5538, 5893, 6608, 8034, 8902, 8959, 9644, 9707, 10045, 10162, 10335, 10336, 10337, 10373, 10540, 10570, 11107, 11110, 11112, 11124, 11143, 11175, 11298, 11336, 12053, 12203, 12590, 16984, 19515, 19580, 23822, 2163, 3634, 7620, 10166, 11056, 11319, 11589, 1541, 1652, 1676, 1677, 1746, 2154, 2237, 2275, 2311, 2623, 2785, 3454, 3652, 3822, 4014, 4691, 4720, 4950, 5161, 7785, 8866, 8926, 8928, 8937, 8958, 8986, 9759, 9915, 10101, 10230, 10244, 10302, 10311, 10374, 10523, 10602, 11021, 11078, 11103, 11253, 11726, 11988, 12686, 12752, 12757, 13400, 13845, 14116, 14660, 14713, 14756, 1716, 2660, 7191, 7192, 1743, 1636, 1900, 9317, 10651, 1741, 13904, 3096, 2352, 2824, 4091, 2715, 6080, 6082, 2732, 3801, 3908, 4545, 7121, 10284, 13791, 10631, 4921, 6751, 9429, 9743, 11577, 17331, 6073, 9858, 10711, 11118, 6525, 10267, 9034, 11252, 11268, 8033, 8868, 10159, 10214, 9027, 9785, 9033, 9076, 9299, 14501, 14508, 14562, 21733, 10282, 9909, 11178, 11738, 10024, 12667, 11262, 11343, 11978, 11983, 11992, 11826, 11061, 10227, 10428, 11077, 11131, 11137, 11280, 11281, 11518, 11551, 11807, 11812, 11947, 12039, 14158, 14729, 14943, 15641, 16273, 16349, 18560, 19269, 19286, 21547, 10343, 14852, 14901, 15352, 15387, 10612, 10638, 10986, 10994, 20181, 11002, 11127, 11128, 11183, 12166, 11342, 11494, 11955, 11673, 11707, 11711, 12190, 18839, 13802, 14595, 12227, 15912, 14007, 13093, 13096, 12981, 13102, 13160, 13194, 13196, 13227, 13242, 13267, 13278, 13281, 13298, 14168, 15161, 23143, 14058, 14766, 13748, 13839, 15603, 14241, 14179, 14239, 14246, 14240, 14255, 14488, 14487, 14245, 14785, 15160, 14703, 14995, 16571, 15172, 15179, 15424, 15713, 15732, 16141, 16284, 16334, 16382, 17387, 17498, 17499, 18498, 16960, 19689, 17815, 19394, 19464, 19650, 19955, 19476, 19477, 23203]

Ajá. Tal vez esto:

Tag.where(name: 'balloon-mapping').length => 4
Tag.where(name: 'balloon-mapping').collect(&:tid) => [10, 3205, 3591, 4032]

Sí, esa es la discrepancia:

irb(main):045:0> NodeTag.joins(:node).where(tid: [10, 3205, 3591, 4032]).where('node.status = 1 AND node.type = "note"').count
=> 499
irb(main):046:0> Node.where(status: 1, type: 'note').includes(:tag).references(:term_data).where('term_data.name = ?', 'balloon-mapping').count
=> 499

irb(main):050:0> Tag.where(name: 'balloon-mapping').collect(&:count)
=> [574, 1, 1, 1]

Sin embargo, notablemente no por los errores method o project en # 7334

irb(main):047:0> Tag.where(name: 'method').collect(&:tid)
=> [14474]
irb(main):048:0> Tag.where(name: 'project').collect(&:tid)
=> [14751]

OK, arreglé las etiquetas duplicadas con:

irb(main):053:0> NodeTag.where(tid: [3205, 3591, 4032]).each do |nt|
irb(main):054:1* nt.tid = 10
irb(main):055:1> nt.save
irb(main):056:1> end

sin embargo, apuesto a que hay más en la base de datos. Es posible que queramos hacer un proyecto más grande para consolidarlos.

Actualización: sí, hay otras 28 instancias:

irb(main):063:0> Tag.count
=> 18532
irb(main):065:0> Tag.all.collect(&:name).uniq.count
=> 18504


irb(main):069:0> (Tag.all - Tag.all.group(:name)).collect(&:name)
=> ["fold-up", "gulf-coast", "kite-mapping", "gulf-coast", "brooklyn", "new-york-city", "balloon-mapping", "spectrometer", "farmhack", "white-balance", "fresh-kills", "balloon-mapping", "balloon-mapping", "kite-mapping", "newsletter", "newsletter", "passenger-pigeon", "jamaica-bay", "mobile-spectrometer", "infragram-sandbox", "mailing-lists", "diy-kite", "water-sensing", "carbon-arc", "diy-kite", "diy-kite", "workplace", "emergencies"]

Mi recomendación ahora es:

Hemos reducido esto mucho y tiene dos partes.

1. Etiquetas "fantasma": nombres de etiquetas duplicados, por lo que básicamente algunos no se contaban (resuelto, aunque existen ~ 15 instancias más para algunas otras etiquetas)
2. Etiquetas de formato question:_____ , que se cuentan en la pestaña de preguntas en las páginas /tag/____ , pero si no tienen su propia etiqueta base, no se cuentan en las tarjetas de temas. Ejemplo: 8 publicaciones tienen question:balloon-mapping pero no balloon-mapping , por lo que arrojan nuestro recuento por 8.

Mi opinión sobre (2) es que deberíamos escribirlo y ser conscientes de ello, pero no resolverlo (no puedo pensar en una solución limpia de todos modos).

E, incluso después de tanto indagar, todavía tengo una discrepancia de 1 por balloon-mapping . Pero creo que estamos tan cerca que básicamente deberíamos estar de acuerdo con eso, ya que es una de las etiquetas más grandes y es poco probable que ese problema afecte a otros. ¡Interesado en escuchar la opinión de otros sobre eso también!